- 博客(61)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 AdaQuant：改进训练后神经网络量化：分层校准和整数编程
AdaQuant：改进训练后神经网络量化：分层校准和整数编程摘要方法AdaQuant：在校准数据集上的逐层量化校验集的大小Integer Programming：实现每层的比特分配基本公式Batch-Norm Tuning重构BN层重新融合BN层偏置调整Quantization Flow实验结果AdaQuantInteger ProgrammingBatch-Norm TuningFull pipeline and ablation study本文是以色列理工学院与英特尔联合提出的基于PTQ的神经网络量
2021-03-27 13:57:47
1552
原创 CVPR2021 | AttentiveNAS：通过注意力采样改善神经架构搜索
AttentiveNAS：通过注意力采样改善神经架构搜索摘要动机Two-stage NAS传统 NAS 问题建模第一阶段：无约束的预训练第二阶段：资源约束的搜索Attentive Sampling NAS感兴趣的子网络Pareto-best architecture setPareto-worst architecture set帕累托感知预训练实验结果搜索空间基于高效性能估算的感知采样训练精度预测器的设置精度预测器有效性的结果与 SOTA 的 NAS 结果比较本文是 Facebook 发表在CVPR
2021-03-15 18:04:59
658
原创 AdaRound：训练后量化的自适应舍入
AdaRound：训练后量化的自适应舍入摘要贡献动机方法基于任务损失的 Rounding从泰勒展开到局部损失AdaRound实验消融实验From task loss to local lossDesign choices for AdaRoundOptimization using STEInfluence of quantization gridOptimization robustness to data对比试验个人总结与思考本文是高通AI研究院发表在ICML 2020上的一篇 PTQ 文章。根据泰勒
2021-03-11 15:16:39
2274
3
原创 APQ：联合搜索网络架构、剪枝和量化
APQ：联合搜索网络架构、剪枝和量化摘要动机联合优化策略细粒度通道剪枝的 OFA 网络Once-For-All 网络的搜索空间Once-For-All 网络的属性面向量化的精度预测器体系结构和量化策略编码精度预测器预测器转移到量化模型面向硬件的进化搜索测量延迟和能量资源受限的进化搜索实现细节量化感知精度预测器的数据准备进化架构搜索量化实验结果与SOTA高效模型的比较联合设计的有效性与MobileNetV2+HAQ对比与多阶段优化和BitOps对比预测器-转移的有效性本文为韩松团队发表在 ICCV 202
2020-12-27 22:37:52
1444
原创 万字综述 | 一文读懂知识蒸馏
知识蒸馏综述摘要知识蒸馏简介知识Response-Based KnowledgeFeature-Based KnowledgeRelation-Based Knowledge蒸馏离线蒸馏（Offline Distillation）在线蒸馏（Online Distillation）自我蒸馏（Self-Distillation）师生架构蒸馏算法对抗蒸馏（Adversarial Distillation）多教师蒸馏（Multi-Teacher Distillation）跨模态蒸馏（Cross-Modal Dist
2020-12-20 11:35:49
12695
1
原创 HAQ：硬件感知的自动混合精度量化系统
HAQ：硬件感知的自动混合精度量化系统摘要方法整体量化框架状态空间（Observation & State）卷积层全连接层动作空间（Action Space）量化方法奖赏函数（Reward Function）RL AgentQ-functionloss function实验结果面向边缘与云端的量化结果延时约束与能量约束下的量化结果模型大小约束下的量化结果本文是MIT韩松团队发表在 CVPR 2019 Oral 上的论文，本文提出了一种基于强化学习策略的自动化的量化框架，并将硬件架构包含在循环中，
2020-12-13 17:01:16
2428
原创 HAWQ-V2：基于Hessian迹的混合比特量化策略
HAWQ-V2：基于Hessian迹的混合比特量化策略摘要方法自动化的位宽选择Hutchinson快速求解Hessian迹敏感度指标分析激活的混合精度量化实验结果ResNet50 on ImageNetInception-V3 on ImageNetSqueezeNext on ImageNetRetinaNet-ResNet50 on COCO消融实验本文为 UC Berkeley 大学发表在 NeurIPS 2020 上的混合精度量化论文，是之前 HAWQ 论文的升级版本。论文题目：HAWQ-
2020-12-06 11:29:04
1482
原创 HAWQ：基于 Hessian 的混合精度神经网络量化
HAWQ：基于 Hessian 的混合精度神经网络量化摘要动机方法海森方法的有效性分析海森矩阵方法推导根据幂迭代求海森矩阵的最大特征值根据海森矩阵最大特征值确定量化精度与顺序实验结果ResNet20 On CIFAR-10ResNet50 on ImageNetSqueezeNext on ImageNetInception-V3 on ImageNet消融实验海森混合精度量化的有效性Block-Wise微调的有效性本文为 UC Berkeley 大学发表在 ICCV 2019上的混合精度量化论文。旨在
2020-11-28 17:46:41
2675
原创 Bi-Real-Net：通过改进表示能力和训练算法提高1-bit CNNs性能
Bi-Real-Net：通过改进表示能力和训练算法提高1-bit CNNs性能动机方法短接嵌入实数值信息二值参数与激活值更新策略拟合激活值反向更新参数二值添加缩放因子Clip 函数替换 ReLU 函数实验结果消融实验对比试验本文由香港科技大学，腾讯 AI lab，以及华中科技大学合作完成，文章发表在 ECCV2018 会议。目的是提升二值化卷积神经网络（1-bit CNN）的精度。虽然 1-bit CNN 压缩程度高，但是其当前在大数据集(如 ImageNet )上的分类精度与对应的实值 CNN 相比有
2020-11-22 19:40:45
692
原创 DARTS-：增加辅助跳连，走出搜索性能崩溃
DARTS-：增加辅助跳连，走出搜索性能崩溃摘要Skip-Connect富集的两重原因方法结果CIFAR-10 和 ImageNetNAS-Bench-201本文是由美团，上交，小米，中科院联合发表的可微分神经网络架构搜索的文章，名为DARTS-。本文主要是解决skip-connect富集导致的训练不稳定问题。本文证明了跳连与其他候选操作相比具有明显的优势，它可以很容易地从劣势状态中恢复过来并成为主导，并提出用辅助跳过连接来剔除这种优势，确保所有操作的竞争更加公平。文章题目：DARTS-: robu
2020-11-15 14:50:48
614
1
原创 GOLD-NAS：针对神经网络可微分架构搜索的一次大手术
GOLD-NAS：针对神经网络可微分架构搜索的一次大手术DARTS目前的问题搜索空间受限双层优化不稳定离散化误差大GOLD-NAS的解决方案搜索空间重定义一阶段优化基于资源约束的渐进式剪枝GOLD-NAS 算法流程图结果帕累托边界CIFAR-10 结果ImageNet 结果本文是华为，清华与同济大学联合发表的基于可微分网络搜索的论文。本文基于传统DARTS搜索空间受限，二阶优化不稳定，超网络离散化误差大的这三个问题，对DARTS进行了一场全面的手术。本文针对上述三个问题提出了渐进式的（Gradual），
2020-10-18 19:56:41
616
1
原创 Additive Powers-of-Two (APoT) Quantization：硬件友好的非均匀量化方法
Additive Powers-of-Two Quantization：硬件友好的非均匀量化方法摘要方法Additive Powers-of-Two量化 (APoT)量化表示均匀量化表示Powers-of-Two (PoT) 量化表示Additive Powers-of-Two（APoT）量化表示参数化Clipping函数 (RCF)权重归一化APoT量化伪代码实验结果CIFAR-10ImageNet本文是电子科大&哈佛大学&新加坡国立联合发表在 ICLR2020 上的一篇非均匀量化（A
2020-10-07 16:27:59
2601
1
原创 GDFQ：基于Data-Free的低比特量化方法
GDFQ：基于Data-Free的低比特量化方法动机方法知识匹配生成器低位宽量化训练过程训练生成器G训练量化模型Q实验结果评估G生成的伪数据是否能够匹配分类边界信息数据集 4-bit 精度比较消融实验本文是华南理工大学的一个团队发表在ECCV2020上的基于生成器的低比特无数据量化（GDFQ）工作。为消除数据依赖问题，GDFQ利用知识匹配生成器以利用预训练全精度模型的分类边界知识与分布信息生成有意义的假数据，以实现精度损失较少的低比特无数据量化。论文题目：Generative Low-bitwidt
2020-09-26 11:43:48
910
原创 ZeroQ：基于Data-Free的30秒快速量化方法
ZeroQ：基于Data-Free的30秒快速量化方法动机方法蒸馏数据（Distilled Data）算法可视化帕累托边界（Pareto Frontier）实验结果ImageNet 结果目标检测结果消融实验蒸馏数据的有效性敏感度分析ZeroQ 是北京大学与 Berkeley 联合发表在 CVPR 2020 的 Data-Free 量化工作。本文是一种无需数据集，通过优化随机数据产生“蒸馏数据”，进而实现均匀量化和混合比特量化的方法。与最近提出的 DFQ 方法相比，ZeroQ 在 MobileNetV2上
2020-09-22 09:52:06
1489
原创 神经网络架构搜索——可微分搜索（DAAS）
神经网络架构搜索——可微分搜索（DAAS）摘要方法操作参数 α\alphaα 的离散化损失边参数 β\betaβ 的离散化损失基于信息熵的离散化损失损失函数作用的可视化实验结果CIFAR-10ImageNet消融实验Error离散化对比操作与边的可视化本文是华为基于可微分网络搜索的论文。本文基于DARTS搜索离散化后性能损失严重的问题，提出了离散化感知架构搜索，通过添加损失项(Discretization Loss)以缓解离散带来的准确性损失。论文题目：Discretization-Aware Ar
2020-09-10 13:45:10
750
原创 神经网络二值量化——ReActNet
神经网络二值量化——ReActNet摘要动机方法二值基准网络结构泛化`Sign`和`PReLU`函数图示&公式代码优化分布损失公式代码训练策略实验结果消融实验可视化可学习的系数可视化激活分布可视化本文为香港科技大学与卡内基·梅隆大学联合发表在ECCV2020。本文作者同系MetaPruning与Bi-RealNet的作者。本文基于二值网络训练精度低的问题，提出了三点优化，分别为重构二值网络结构，泛化传统的Sign和PReLU函数，分别表示为RSign和RPReLU和采用了一个分布损失来进一步强制
2020-08-21 11:45:19
3176
1
原创 神经网络低比特量化——LSQ
神经网络低比特量化——LSQ摘要方法量化计算公式STEP SIZE GRADIENTSTEP SIZE GRADIENT SCALE直通估计器实验结果Weight DecayImageNetAccuracy VS. Model Size消融实验Step Size Gradient Scale Impact添加知识蒸馏提高精度本文为IBM的量化工作，发表在ICLR 2020。论文题目：Learned Step Size Quantization。为了解决量化精度越低，模型识别率越低的问题，本文引入了一种新
2020-08-08 10:16:41
2582
2
原创 神经网络低比特量化——DSQ
神经网络低比特量化——DSQ摘要简介问题描述方法量化表示二值网络量化表示多位均匀量化表示量化函数渐进函数可微软量化（DSQ）函数实验结果消融实验二值量化消融实验均匀量化消融实验CIFAR-10ImageNet本文为商汤科技的量化工作,发表在 ICCV 2019，论文题目：Differentiable Soft Quantization:Bridging Full-Precision and Low-Bit Neural Networks。为了解决量化精度越低，模型识别率越低的问题，本文提出了一种可微软
2020-08-02 13:34:55
3557
原创 神经网络架构搜索——可微分搜索（Cyclic-DARTS）
神经网络架构搜索——可微分搜索（Cyclic-DARTS）摘要方法预训练联合学习网络架构S-Net -> E-NetE-Net -> S-Net算法伪代码实验NAS-Bench-201CIFARImageNet消融实验组件分析相关性分析评估网络的深度搜索轮数的影响总结本文为微软研究院的NAS工作，论文题目：Cyclic Differentiable Architecture Search。 传统的DARTS在浅层网络（8 Cell）中搜索最优架构，然后在深层评价网络(20 Cell)中测量其
2020-07-25 09:15:47
702
原创 神经网络架构搜索——二值可微分搜索（BATS）
二值可微分搜索（BATS）摘要方法搜索空间重定义标准 DARTS 搜索空间的问题二值神经网络搜索空间搜索的正则化和稳定性DARTS 搜索的不稳定分析温度正则（temperature regularization）二值搜索策略实验消融实验二值网络架构CIFARImageNet本文为三星发表在 ECCV 2020 的基于二值网络搜索的 NAS 工作（BATS），论文题目：BATS: Binary ArchitecTure Search。通过结合神经网络架构搜索，大大缩小了二值模型与实值之间的精度差距，并在C
2020-07-18 09:17:53
1417
原创 神经网络架构搜索——可微分搜索（Latency-DARTS）
神经网络架构搜索——可微分搜索（Latency-DARTS）摘要动机方法延迟预测模块（LPM）数据收集训练细节延时预测结果可微分时延损失定义时延损失嵌入到搜索的Loss中实验CIFARImageNet总结本文为华为诺亚的NAS工作，针对DARTS搜索出网络结构往往对硬件不友好的问题，本文在优化中加入可微分的时延损失项，使搜索过程可以在精度和时延之间进行平衡系数的权衡。论文题目：Latency-Aware Differentiable Neural Architecture Search论文地址：h
2020-07-11 16:01:51
1063
原创 神经网络架构搜索——可微分搜索（ DARTS+）
神经网络架构搜索——可微分搜索（ DARTS+）动机方法实现早停准则1早停准则2实验结果CIFARTiny-ImageNet-200ImageNet华为诺亚方舟实验室的NAS工作，针对现有DARTS框架在搜索阶段训练过程中存在 skip-connection 富集现象，导致最终模型出现大幅度的性能损失的问题，提出了一种可微分的神经网络架构搜索算法DARTS+，将**早停机制（early stopping）**引入到原始的 DARTS算法中，不仅减小了 DARTS 搜索的时间，而且极大地提升了 DARTS
2020-07-04 10:52:12
1241
1
原创 神经网络架构搜索——可微分搜索 （Noisy-DARTS）
神经网络架构搜索——可微分搜索 （Noisy-DARTS）动机FairDARTS: Sigmoid函数替换Softmax函数NoisyDARTS：skip-connection注入噪声方法实现如何加噪声？加入怎样的噪声？实验结果架构参数可视化CIFAR-10实验结果ImageNet实验结果消融实验有噪声 vs. 无噪声无偏噪声 vs. 有偏噪声高斯噪声 vs. 均匀噪声加性噪声 vs. 乘法噪声小米实验室 AutoML 团队的NAS工作，针对现有DARTS框架在搜索阶段训练过程中存在 skip-con
2020-07-01 20:18:24
1188
原创 神经网络架构搜索——可微分搜索（Fair-DARTS）
神经网络架构搜索——可微分搜索（Fair-DARTS）动机skip-connection 富集现象skip connections 的不公平优势softmax 的排外竞争部署训练的离散化差异（discretization discrepancy）方法sigmoid 函数替换 softmax0-1 损失函数l2 0-1 损失函数l1 0-1 损失函数实验CIFAR-10精度比较skip connections 数量比较ImageNet精度比较sigmoid 函数的共存性消融实验去掉 Skip Connecti
2020-07-01 20:12:49
1111
原创 半小时拿下Python数据处理之Seaborn篇
半小时拿下Python数据处理之Seaborn篇Seaborn简介Seaborn样式matplotlib与seaborn绘图比较Seaborn 5种主题风格用despine()移除轴线临时设置图表样式重载seaborn样式的元素使用`plotting_context()`和`set_context()`设置布局元素的规模Seaborn配色方案调色板分类色板圆形画板使用xkcd颜色自定义调色板连续色板`cubehelix_palette()`调色板`light_palette()` 和`dark_palett
2020-05-19 22:39:26
1644
原创 半小时拿下Python数据处理之Pandas篇
半小时拿下Python数据处理之Pandas篇Pandas数据结构SeriesDataFramePandas 数据操作Series索引DataFrame索引运算与对齐`Series` 对齐操作`DataFrame` 对齐操作函数应用排序处理缺失数据数据统计计算和描述常用的统计计算统计描述import pandas as pdPandas数据结构SeriesSeries是一维的数据结构。通过list构建Seriesser_obj =pd.Series(range(10,15))print(t
2020-05-19 22:35:40
654
原创 半小时拿下Python数据处理之Matplotlib篇
半小时拿下Python数据处理之Matplotlib篇matplotlib三种代码风格pyplotpylabObject Oriented子图多图散点图（scatter）条形图 (bar)直方图（hist）饼状图（pie）箱型图（boxplot）颜色与样式颜色样式网格（grid）图例（legend）坐标轴范围调整坐标轴刻度调整图中添加新坐标轴图中画注释符号图形中纯文字标注图像中画数学公式填充上色画填充好的图形美化图形极坐标函数积分图二维散点概率分布图完整的绘制程序综合绘制三维图形绘制3D曲面图绘制三维散点图
2020-05-19 22:32:17
620
原创 半小时拿下Python数据处理之Numpy篇
这里写目录标题Numpy知识点汇总ndarray的内存结构Numpy数组初始化可以调用np.array去从list初始化一个数组:一些内置的创建数组的函数Numpy数组数据类型使用astype复制数组并转换数据类型使用astype将float转换为int时小数部分被舍弃使用astype把字符串转换为数组，如果失败抛出异常。astype使用其它数组的数据类型作为参数Numpy的复制和视图完全不复制视图或浅复制深复制Numpy数组取值和赋值切片自由地取值和组合用条件判定去取值总结Numpy的基本数学运算逐元素运
2020-05-19 22:25:19
700
原创 神经网络架构搜索——可微分搜索（SGAS）
神经网络架构搜索——可微分搜索（SGAS）动机方法整体思路三个指标边的重要性选择的准确性选择的稳定性两种评估准则评估准则1：评估准则2：实验结果CIFAR-10(CNN)ImageNet(CNN)ModelNet40(GCN)PPI(GCN)参考KAUST&Intel发表在CVPR 2020上的NAS工作，针对现有DARTS框架在搜索阶段具有高验证集准确率的架构可能在评估阶段表现不好的问题，提出了分解神经网络架构搜索过程为一系列子问题，SGAS使用贪婪策略选择并剪枝候选操作的技术，在搜索CNN和
2020-05-17 15:32:50
1225
原创 神经网络架构搜索——可微分搜索（PC-DARTS）
神经网络架构搜索——可微分搜索（PC-DARTS）动机贡献点方法部分通道连接(Partial Channel Connection)边缘正规化(Edge Normalization)实验结果CIFAR-10ImageNet消融实验参考华为发表在ICLR 2020上的NAS工作，针对现有DARTS模型训练时需要 Large memory and computing 问题，提出了 Partial Channel Connection 和 Edge Normalization 的技术，在搜索过程中更快更好。
2020-05-17 15:30:55
1992
1
原创 神经网络架构搜索——可微分搜索（P-DARTS）
神经网络架构搜索——可微分搜索（P-DARTS）动机方法实验结果CIFAR-10ImageNet参考华为发表在 ICCV 2019上的NAS文章，致力于解决在 proxy 训练与 target 测试的模型 depth gap 问题。Paper: Progressive Differentiable Architecture Search:Bridging the Depth Gap between Search and EvaluationCode: https://github.com/chen
2020-05-17 15:28:29
758
原创 神经网络架构搜索——可微分搜索（DARTS）
神经网络架构搜索——可微分搜索（DARTS）背景算法核心思想搜索空间Cell的组成优化策略生成最终Cell结构normal cell searchreduce cell search网络结构堆叠结果CIFAR-10ImageNet参考背景神经网络架构搜索之前主流的方法主要包括：强化学习，进化学习。他们的搜索空间都是不可微的，Differentiable Architecture Search 这篇文章提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以在搜索效率上比之前不可微的方法快几个数量级
2020-05-17 15:25:22
4152
原创 Tensorflow神经网络之DCGAN
DCGAN简介DCGAN在GAN的基础上优化了网络结构，加入了 conv，batch_norm 等层，使得网络更容易训练，网络结构如下：注意：本图只是示例，与下面实际网络参数不对应。Tensorflow实现DCGANfrom __future__ import division, print_function, absolute_importimport matplotlib.pyp...
2019-02-25 14:05:56
442
原创 Tensorflow神经网络之GAN
生成对抗网络简介生成对抗网络（GAN）启发自博弈论中的二人零和博弈（two-player game），类似于周伯通的绝学——“左右互搏”。GAN 模型中的两位博弈方分别由生成式模型（generative model）和判别式模型（discriminative model）充当。生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求...
2019-02-25 14:05:16
494
原创 Tensorflow神经网络之LSTM
LSTM 简介公式 LSTMLSTM作为门控循环神经网络因此我们从门控单元切入理解。主要包括：输入门：It遗忘门：Ft输出门：Ot候选细胞：~Ct细胞：Ct隐含状态：Ht假设隐含状态长度为h，数据Xt是一个样本数为n、特征向量维度为x的批量数据，其计算如下所示（W和b表示权重和偏置）：最后的输出其实只有两个，一个是输出，一个是状态，输出就是Ht，而状态为(Ct,Ht...
2019-02-25 14:04:40
2213
原创 TensorBoard高级篇
多层感知机的Tensorboard可视化from __future__ import print_functionimport tensorflow as tf导入数据集# Import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_s...
2019-02-25 14:03:58
535
原创 TensorBoard基础篇
TensorBoard简介TensorBoard是Tensorflow自带的一个强大的可视化工具，也是一个web应用程序套件。在众多机器学习库中，Tensorflow是目前唯一自带可视化工具的库，这也是Tensorflow的一个优点。学会使用TensorBoard，将可以帮助我们构建复杂模型。这里需要理解“可视化”的意义。“可视化”也叫做数据可视化。是关于数据之视觉表现形式的研究。这种数据的视...
2019-02-25 14:03:15
305
原创 Tensorflow模型的保存与读取
前言首先，我们从一个直观的例子，讲解如何实现Tensorflow模型参数的保存以及保存后模型的读取。然后，我们在之前多层感知机的基础上进行模型的参数保存，以及参数的读取。该项技术可以用于Tensorflow分段训练模型以及对经典模型进行fine tuning（微调）Tensorflow 模型的保存与读取（直观）模型参数存储import tensorflow as tf# 随机生成v1...
2019-02-25 14:02:22
1020
原创 Tensorflow神经网络之卷积神经网络
Tensorflow卷积神经网络实现from __future__ import division, print_function, absolute_importimport tensorflow as tfimport matplotlib.pyplot as pltimport numpy as np导入数据集# Import MNIST datafrom tensorfl...
2019-02-25 14:01:18
411
原创 Tensorflow神经网络之多层感知机Eager API
Tensorflow多层感知机Eager APIfrom __future__ import print_functionimport tensorflow as tfimport tensorflow.contrib.eager as tfe设置 Eager API# Set Eager APItfe.enable_eager_execution()导入数据集# Impor...
2019-02-25 13:54:09
198
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人