- 博客(59)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 IEEE ACCESS账户与ORCID账户关联
参考了添加链接描述现在IEEE ACCESS要求每一位作者提供ORCID账户，并将ORCID账户与IEEE ACCESS账户进行关联。现在详细描述该过程，整个流程大约5分钟。ORCID账户创建1:打开IEEE ACCESS官网链接：IEEE ACCESS，点击Create An Account创建一个IEEE ACCESS账户。2:进入如下页面。如果您已经有ORCID账户，则点击Associate your existing ORCID iD。如果没有，则点击Create an ORCID iD。
2021-07-13 08:33:03
12030
1
原创 BN实验计划
对原始的BN来说，y→=x→−μσ\overrightarrow{y}=\frac{\overrightarrow{x}-\mu}{\sigma}y=σx−μ∂L∂x→=1σ[∂L∂y→−(∂L∂y→,1→)N1→−(∂L∂y→,y→)Ny→]\frac{\partial L}{\partial \overrightarrow{x}}=\frac{1}{\sigma}[\frac{\par...
2020-02-29 22:29:54
279
原创 BN导数
对原始的BN来说，∂L∂x→=1σ[∂L∂y→−(∂L∂y→,1→)N1→−(∂L∂y→,y→)Ny→]\frac{\partial L}{\partial \overrightarrow{x}}=\frac{1}{\sigma}[\frac{\partial L}{\partial \overrightarrow{y}}-\frac{(\frac{\partial L}{\partial \o...
2020-02-28 17:04:32
285
原创 online norm 与 MABN
MABNMABN的出发点是BN依赖于大的BatchSize。作者发现，BN对于BatchSize的依赖不仅体现在均值和方差两个统计量上，还体现在导数上。经过与Online Norm对比发现，这两个对BatchSize依赖的导数项就是导数在1→\overrightarrow{1}1和y→\overrightarrow{y}y上的投影。从这个图中可以看出，当BatchSize小时，这两项导...
2020-02-23 15:57:05
505
原创 数据分布算法
背景Cooperative Edge Caching in User-Centric Clustered Mobile Networks 这篇paper是2018年被IEEE收录的一篇论文，着力于解决多个基站协同缓存过程中的数据放置问题，以降低用户获取文件的时延。这篇paper以用户的视角构建了下载时延目标函数，与之前的工作不同之处在于，综合考虑了基站的缓存能力，带宽，信道质量，文件流行度，用户...
2020-02-21 11:04:23
1263
1
原创 二阶矩和方差在前向传播和反向传播的作用分析
σBN=(x−μ)2N<σFRN=x2N\sigma_{BN}= \sqrt{\frac{(x-\mu)^{2}}{N}}<\sigma_{FRN}=\sqrt{\frac{x^{2}}{N}}σBN=N(x−μ)2<σFRN=Nx2A=xσBN2+ϵ>B=xσFRN2+ϵA = \frac{x}{\sqrt{\sigma_{BN}^2+\epsilon}}&...
2020-01-11 23:04:43
331
原创 邮件内容
邮件内容复现细节：基于resnet20， 对cifar10和cifar100进行训练FRN层完全按照paper提出的公式实现，eps在feature map为1x1时是可学习变量，其余情况下是常量。训练时共使用了400个epoch，前50个epoch用来做lr的warm up，lr从0按照余弦的方式上升到lrmax，在第50个epoch之后，按照余弦的方式下降到0；lrmax的计算方式与p...
2020-01-09 15:04:45
161
原创 FRN提升方法
FRN提升方法经过一些实验，找到了FRN的提升方法，首先上结果。实验结果数据集FRNNewFRNBNcifar1092.40%92.40%92.10%cifar10065.0%68.70%68.70%cifar10的实验结果cifar100的实验结果方法说明FRN:y=max(γxσfrn+β,τ),σfrn=∑xi2H...
2020-01-01 20:52:01
1100
原创 新方法实验记录
BN相关BN复现（cifar10，cifar100）新方法下的BN（cifar10，cifar100）LN相关LN复现（cifar10，cifar100）新方法下的LN（cifar10，cifar100）GN相关GN复现（cifar10，cifar100）新方法下的GN（cifar10，cifar100）...
2019-12-30 14:55:32
149
原创 FRN实验记录
先检查模块的正确性，再做实验FRN单元测试比较了paper中tensorflow版本的输出和自己实现的pytorch版本的输出。import tensorflow as tftf.__version__def FRNLayer(x, tau, beta, gamma, eps=1e-6): nu2 = tf.reduce_mean(tf.square(x), axis=[1,2...
2019-12-11 09:58:53
789
1
原创 3篇BNpaper
Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift这篇文章主要讲了两个问题为什么在诸多网络模型中，Dropout 和BN组合在一起会使得网络性能变差？为什么在Wide ResNet上，Dropout 和BN组合在一起有时会有效？问题原因很简单：Dorpout设计...
2019-12-04 20:43:54
211
原创 BN实验总结
利用每个channel下的max 和min计算均值方差方差方差系数均值resnet-20/cifar-10的错误率(max−min)2(max-min)^2(max−min)2无(max−min)/2(max-min)/2(max−min)/20.28(max−min)2(max-min)^2(max−min)212∗ln(n)\frac {1} {\sqr...
2019-12-03 21:56:49
226
原创 prune实验规划
每个实验一个branch实验一重复上一次实验,不同之处在于,维持10类的输出.{0,1,2,3,4},{5,6,7,8,9}相互迁移实验二维持10类输出,{0,1},{3,4}相互迁移实验三基于实验一,剪枝时只抽取10%作为训练集,{0,1,2,3,4},{5,6,7,8,9}相互迁移实验四基于实验一,剪枝时只抽取30%作为训练集,{0,1,2,3,4},{5,6,7,8,9}相互...
2019-11-27 09:16:28
151
原创 Lottery ticket experiments 1
数据预处理将cifar10数据处理成两个cifar5，其中label为{0,1,2,3,4}的五类数据放置成一组，命名为first_cifar_5，label为{5,6,7,8,9}的五类数据放置成一组，命名为last_cifar_5.数据分享在google drive/shared drive/BN-Quant/prune里。模型训练模型有fc，denseDNN，resnet等，本次实验...
2019-11-23 19:48:13
322
原创 The Lottery Ticket Hypothesis
THE MOTIVATIONTHE MAIN WORKThis paper states “the lottery ticket hypothesis” and proposes “iterative pruning” to identify “winning tickets”The Lottery Ticket HypothesisIterative pruningWhat’s ...
2019-11-19 20:01:40
1064
原创 detach_channel_max试验记录
设输入XiX_{i}Xi为输入X∈X\inX∈{B,C,W,H}的第i个channel。Yi=Xi/max(abs(Xi))∗detach(max(abs(Xi))Y_i=X_i/max(abs(X_i))*detach(max(abs(X_i))Yi=Xi/max(abs(Xi))∗detach(max(abs(Xi))代码如下：class Detach_max(nn.Modul...
2019-11-11 10:08:57
167
原创 开题内容
1：边缘存储的好处边缘存储可提供数据预取和缓存服 务，以克服云存储远距离数据传输 造成的高延迟、网络依赖等问题边缘存储可提供邻近边缘终端 的分布式数据存储服务，借助数据 去重和近似存储技术，缓解云数 据中心的存储和带宽压力边缘 存储能够与云存储协同提供存储服 务，支持边缘计算任务在边缘终端 和云端的协同处理，促进边缘计算 与云计算的融合2：边缘存储面临的主要问题：meaning of...
2019-10-29 21:39:44
150
原创 10.16meeting
1:NormProp问题1：the analysis supporting the proposed algorithm can only be applied to the input layer of a network. The canonical error bound (Proposition 1) presumes that the input features are zero...
2019-10-16 21:39:57
112
原创 10.16
水军检测问题整理摘要水军问题由来已久，水军检测问题一直非常重要。水军检测问题主要面临的困难包括但不限于：源数据难以获取；水军标定规则太主观；水军检测涉及的特征难以规范化表达等。目前对水军检测的工作以图计算和神经网络训练两种方式为主。我们目前的工作集中在用CNN实现水军的检测。由于水军特征繁杂，涉及了至少图结构处理，自然语言处理，数值处理三个维度，且数据会面临维度缺失等数据不规范的问题，难以直接...
2019-10-16 16:58:24
456
原创 10.10
realmax取值对估算有较大影响real_max从channel维度来取real_max从整体维度获取均值估计偏差较大主要原因某些channel 的real_mean 取值为负数，而估计值取值极为接近零。所以real_mean/estimate_mean很大。但是整体来看，估计还不错。换一种方式来画图before:=np.mean(realmeanestimatemean)be...
2019-10-10 21:29:49
120
原创 接口总结
mountaccess()opendir()lookup()getattr()readdir()releasedir()cd 到某处getattr();access();lsopendir()getattr()readdirplus()lookup()readdir()releasedir()catgetattr()lookup()open(...
2019-10-09 15:38:24
119
原创 均值方差估计
均值估计输入为x，是一个（B，Cin）的矩阵。权重是w，是一个（Cin，Cout，w，h）的矩阵。本篇文章是估计z = x*w的分布。假设模型为：输入x为relu的输出，假设x中每一个随机变量符合N(0,1)的半波高斯分布；权重w中的每一个随机变量符合N（μw\mu_wμw,σw2\sigma_w^2σw2）的全波高斯分布。另外假设x，w中的随机变量相互独立，那么z = x * w 的...
2019-10-02 16:26:59
2122
原创 目前做法整理
Wmean=∑inWin,out/NinW_{mean} = \sum_{in} W_{in,out}/N_{in}Wmean=in∑Win,out/NinW′=W−WmeanW^{'}= W - W_{mean}W′=W−Wmeanfakeout=X∗W′fakeout = X*W^{'}fakeout=X∗W′W′′=W′/σ(fakeout)W^{''} = W^{'}/\s...
2019-09-29 22:18:28
101
原创 计算量估计
现有卷积层输出[B,W,H,C]结论在train阶段，若不采用采样和L1norm，传统BN与量化BN计算复杂度之比为7：3，绝对减少了4∗B∗W∗H∗C4*B*W*H*C4∗B∗W∗H∗C若采用了采样和L1norm，复杂度之比为：7：（1+SampleRate）,绝对减少了(6−SampleRate)∗B∗W∗H∗C(6-SampleRate)*B*W*H*C(6−SampleRate)∗B...
2019-08-09 21:47:49
930
原创 TCN实验报告
TCN实验报告数据处理将每个block_data处理成10*400 的二维矩阵，异常值不做剔除。（这里的异常值指-1和0）label设置成0，1.做二分类处理train set占比重0.7test set 占比重0.3模型使用基本参数：batch_size=128,dropout=0.05,epoch=20,initial_lr=0.002,kernel_size=7,训...
2019-08-09 15:53:22
468
3
原创 dignoal-scatter sample methord
For most of the quantinazed network,the quantinazied activation of each hidden layer is bounded to a very limited range[dorefa,wage,TRAINED TERNARY QUANTIZATION…]. So the range of mean and variance wi...
2019-08-08 23:00:20
128
原创 均值估计
结论：1：观察第一个卷积层的输出，有如下特点：首先，值的范围比较小，基本处于(-2,2)之间；其次，值是离散的。那么值得种类也就只有最多10种（2bit量化）。对于均值估计来说，难度就小了一些， 因为值得范围小，所以即便估的精确度低，与实际得偏差也不会大。2：用卷积核对角线采样对均值近似是最好的，其次是中位数和众数（但是中位数和众数算法复杂度高，也不应该考虑），最后是按行采样和按卷积核右下角采...
2019-08-03 18:32:34
2386
原创 Weight Standalizaiton
这篇文章解决了什么问题BN训练十分依赖batchsize。当batchsize过小时，训练效果不好。（因为BN需要batch的统计量）本篇文章的方法可以不依赖batch，从而避免这个问题为什么这个问题重要因为很多场景下，训练没有大的batch或者不能够使用大的batch。如何解决的问题通过对橘色的部分norm，规范化Weights注意，这里并没有引入学习参数lambda和beta。...
2019-07-27 19:51:38
207
原创 xnornet 实验三
结论：1：xnor net 的bn将数值范围压缩在（-1，0，1，2，3，4）这6个值的范围内。2：不同channel会把值映射到不同的范围。同一channel下映射关系基本一致。不同channel间的映射关系可以从下图看出：具体数据chennel0channel 1channel 2：举例2...
2019-07-11 20:55:37
204
原创 xnor net 实验二
结论：1：acc的上升期与beforBN均值的上升期基本一致。说明对卷积层，输出均值的稳定有利于acc提升；猜想对于全连接层，神经元输出值大小的稳定也有利于acc的提升。2：从矩阵图看出，BN前后值相对大小没有发生变化，但绝对值大小差异明显.beforeBNmax−beforeBNmin>=10∗(afterBNmax−afterBNmin)beforeBN_{max}-befo...
2019-07-10 00:59:05
139
原创 xnor net
网络最后一层，BN前后activation均值方差随训练次数的变化固定样本点，也就是采用了相同的数据集子集（因为没必要囊括全部样本点），比较不同channel上的输出。由于卷积层每个channel的输出均为二维矩阵，这里取二维矩阵的均值方差来作为比较对象。下图第一行是均值比较，第二行是方差比较，每列channel相同。从上图可以看出，随着训练次数增加，BN前的均值会大幅上涨，会有一个区间增...
2019-07-04 14:16:59
192
原创 WAGE 邮件内容
Issue 1: How to understand scale factor α\alphaαIn your paper, you proposed a scale factor α\alphaα which is used to replace the batch-calculated scaling parameters in original Batch Normalization. I...
2019-06-27 17:48:58
220
原创 ppt阅读笔记
1：对bn的改进与我在 白皮书阅读笔记中记录的bn的改进方法一致2：WAGE这篇文章核心是量化了四个部分（W：weight，A：activation，G：gradient，E：eroor）。着重分析下这篇文章是如何把bn层融入进其他部分的。首先bn的一个作用是减少了对初始化的依赖。去掉了bn层，为了降低初始化对模型效果的影响，本文采取了一个叫msra的初始化方式，关于这个方法的论文见链接...
2019-06-25 22:48:08
245
原创 白皮书阅读笔记
1：量化设计Uniform Affine Quantizer其中：Δ\DeltaΔ = (xmax−xmin)/(Nlevels−1)(x_{max}-x_{min})/(N_{levels}-1)(xmax−xmin)/(Nlevels−1), z 指代 zero-point，由下面的公式计算：z=−round(xminΔ)z = -round(\frac {x_{min}}{\De...
2019-06-25 15:28:17
1381
原创 量化方法总结（1）
量化模型的特征从training和inference模型是否一致来看，可细分为：post training quantization。在训练时不做quantization，inference时将所有需要quantization的地方做量化。这种做法往往对accuracy损失较大quantization aware training。 在训练时做quantization，但对quantiza...
2019-06-25 11:16:57
6817
原创 Ternary weight networks阅读笔记
本篇文章只对weight做了量化，且是三值量化。量化目标：量化方式：对于Δ∗\Delta^{*}Δ∗的取值，文章给出了下面的解释总之就是正态分布约为0.6σ\sigmaσ,标准分布为13a\frac {1}{3}a31a.trainning 和inference的操作：采用了train-aware quantization。在inference的时候再把全精度的weigh...
2019-06-24 17:27:30
401
原创 BinaryConnect: Training Deep Neural Networks with binary weights during propagations 阅读笔记
量化方法本文提出的方法只对weights 做了二值化，将w映射成{-1，1}。量化方法分成两种。第一种：Deterministic第二种：stochastictraining在forward和backwoods的时候，使用WbW_{b}Wb，在updates 的时候，使用全精度的weights。另外，将weights的值限制在[-1,+1]之间。inference总共有三...
2019-06-24 14:48:48
379
1
原创 深度学习中的Normalization模型——张俊林 阅读笔记
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2MTA0NzA0Mw==&mid=2247489324&idx=1&sn=6d76ba15f2252216c95c2a6500977bd7&chksm=ce1c4740f96bce567d16b24b1fc84c42820b9ddfe9db89dd9c533a5133c290adcb...
2019-06-24 12:37:49
632
原创 TRAINING AND INFERENCE WITH INTEGERS IN DEEP NEURAL NETWORKS
本篇文章主要创新点在于不仅仅提供了对activation 和weights的量化，还通过同样的方式，对gradient和error进行了量化。将模型的量化做的更加深入。这篇文章主要分为两块，第一块是知识铺垫，第二块是四个量化知识铺垫MACs（矩阵乘法）会导致量化bit增加K指量化的bit数。这个图比较难理解的地方在于右边。[kE+kA−1][k_{E}+k_{A}-1][kE+kA−...
2019-06-22 23:45:33
1057
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人