- 博客(28)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Regularized Mask Tuning: Uncovering Hidden Knowledge in Pre-trained Vision-Language Models
先前大量在CLIP模型上的有效微调方法只考虑了通过添加额外模块学习特定任务知识，没有探索冻结的CLIP参数，本文采用掩码调整（Mask Tuning）探索视觉语言模型VLM的良好学习知识结构，并揭示其中针对特定任务领域的隐藏知识。神经生理学领域，已经发现大脑皮层中神经元对各种视觉特征表现出不同知识。这些知识分布在不同神经元中，这些神经元具有特定功能并相互协同工作，成为神经通路（neural pathway）。当有新环境知识到来，神经元将会与过去学到的旧知识进行比较。
2024-04-14 16:26:02
986
原创 Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
深度神经网络通常高度参数化，并且可以在不牺牲模型性能的情况下对其大多数参数进行剪枝。彩票假说表明在初始化时存在一个稀疏自网络，可以对其进行训练，以实现与原始密集网络相同性能水平。这种匹配子网络可以通过带倒带的迭代幅度剪枝（IMP）得到，它包含以下三个步骤：1. 一定次数的迭代训练网络，2. 剪枝具有最小幅度的权重，3. 将权重倒回早期迭代，同时将剪枝后权重固定为0。该过程重复几轮，最终自网络可以实现整个网络性能的匹配彩票。尽管IMP简单，但它在寻找稀疏掩码方面提供了SOTA性能，尤其是在极端稀疏的情况下。
2024-04-08 22:10:00
958
原创 Supervised Fine-tuning in turn Improves Visual Foundation Models
从NLP中的监督微调（Supervised Fine-tuning）获得的灵感，本文探索了细粒度SFT在预训练后增强视觉基础模型潜力。本文提出了一种二阶段方法ViSFT释放视觉基础模型细粒度知识。具体地，通过一些域内任务执行视觉联合学习增强视觉基础模型，然后在域外基准任务上进行测试。
2024-04-04 13:12:52
490
原创 FasterViT: Fast Vision Transformers with Hierarchical Attention
本文引入了层次注意力（Hierarchical Attention）的Carrier Token（CT），该令牌以低成本获得比局部窗口更大的注意力足迹。
2024-03-21 17:48:31
891
原创 Disentangled Transfer Learning for Visual Recognition
大规模预训练加微调的框架已经在各个领域推广。但是由于GPU内存或时间预算的原因，传统的微调可能是难以解决的，因为必须更新整个大模型参数。最近，参数有效迁移学习（PETL）被提出仅更新可训练参数的极小子集。由于其效率和防止过度拟合的能力，PETL的许多变体相继出现。然而可训练参数的大幅减少并不一定意味着GPU内存使用量同等减少：节省的GPU内存百分比仍然很小（约为25%）。如果由于GPU内存不足而无法对大模型进行微调，即使是PETL框架也可能失败。这个缺点是至关重要的，也是根本性质。
2024-02-22 11:41:42
893
原创 Boosted Dynamic Neural Networks
尽管深度学习模型在各种计算机视觉任务上取得成功，但在实际应用中部署模型时，必须考虑计算资源的限制和推理效率。作为深度学习应用一个关键话题，高效深度学习最近得到了广泛的研究，包括高效架构设计，网络剪枝和网络量化。与对应的大baseline模型相比，这些轻量化模型通常表现出显著的推理加速，且性能下降很小或可以忽略不计。动态神经网络是高效深度学习模型另一个分支。实际上轻量级模型运行速度更快，性能较低，而大模型运行速度较慢，性能较高。
2024-02-22 11:40:47
850
原创 Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective
为了建立经济且轻量化的网络替代方案，模型压缩是一种工具，越来越受到欢迎。在压缩的大量研究中，模型剪枝是主要方法之一，目标是在不影响模型性能的情况下剪枝最不显著的权重。它通常在训练的收敛之后、训练过程中甚至在训练开始之前应用。由此产生的稀疏性范围从单个权重等细粒度元素到神经元、块和注意力头等粗粒度结构。大多数传统剪枝算法以模型为中心方式产生稀疏神经网络–分析架构拓扑，并通过学习参数化权重掩码或基于训练动态、架构属性计算代理启发式等捕获关键子集。
2024-02-08 16:01:08
960
原创 Merging of neural networks
典型的神经网络训练从随机初始化开始，并进行训练，直到在某些局部最优中达到收敛。最终结果对开始的随机种子非常敏感。因此，人们可能要多次进行实验以避免碰到不幸种子。最终选择的网络正是具有最佳验证精度的实验。本文认为启动种子之间的差异可能通过在每次初始化中在隐藏层中选择稍微不同的特征来解释。人们可能会有一个问题，能以某种方式为网络训练选择更好的特征？一种方法是训练更大网络然后通过通道剪枝选择最重要通道。
2024-02-08 15:58:51
848
原创 Dynamic Sparse Training with Structured Sparsity
动态稀疏训练（Dynamic Sparse Training，DST）如RigL是SOTA稀疏训练方法，学习满足参数比密集网络少85%-95%权重的非结构化稀疏神经网络（SNN），同时维持相近的泛化性能。稀疏学习方法在训练和推断时都利用稀疏度，不像剪枝算法Learning n:m fine-grained structured sparse neural networks from scratch只在推断时利用稀疏度。
2024-01-29 18:09:21
870
原创 Initializing Models with Larger Ones
神经网络权重初始化对其优化至关重要。适当初始化有助于模型收敛，并防止梯度消失问题。两个著名的初始化技术，Xavier初始化和Kaiming初始化，在神经网络训练中发挥了重要作用。它们仍然是PyTorch等现代深度学习库中默认方法。这些方法都是为从随机初始化开始训练神经网络而开发的。在当时，这是普遍的做法。然而形式已经发生了变化。由于社区的集体努力，各种预训练的模型现在很容易获得。这些模型在大型数据集上进行训练（如ImageNet-21K和LAION-5B），并经常由专家优化。
2024-01-29 18:08:17
1142
原创 Sparse Model Soups稀疏模型汤
一些研究表明，通过利用多个模型，而不是保留验证数据集上选择最优的模型并丢弃其余模型，可以显著提高预测其性能。这种集成将单独训练的模型通过平均化输出预测组合在一起。集成预测已经被证明可以提高预测性能，并对预测不确定指标产生积极影响如校准、OOD以及模型公平性。集成学习一个显著缺点是，所有模型必须在部署过程中进行评估，因此推理成本增加了m倍，这个问题已经通过利用稀疏化、更高效的模型集合解决。一些研究提出将参数平均化以构建用于推理的单个模型。
2024-01-24 09:51:33
953
原创 RMNet: Equivalently Removing Residual Connection from Networks
自从AlexNet问世以来，SOTA的CNN架构变得越来越深。例如，AlexNet只有5个卷积层，很快被VGG和GoogleNet分别扩展到19和22层。然而由于梯度消失和爆炸问题，简单地堆叠层的深度网络很难训练–当梯度反向传播到更早的层时，重复乘法可能会使梯度无限小或无限大。标准化初始化在很大程度上解决了这个问题。中间标准化层使具有数十层的网络能够聚合。同时另一个退化问题也暴露出来：随着网络深度增加，精度饱和，然后迅速退化。ResNet解决了退化问题，并通过添加从块输入到输出的残差连接来实现1K+层模型。
2024-01-24 09:50:45
749
原创 Sparse Iso-FLOP Transformations for Maximizing Training Efficiency
模型尺寸和训练数据的增加导致了很多深度学习的突破（AlexNet、ResNet、Transformer、GPT、AlphaGo等）。因此训练和部署深度神经网络的计算和内存占用呈指数级增长。为了能够部署大模型，已经引入了多种技术（例如蒸馏、量化、剪枝）来减少推理FLOPs。虽然这些技术提高了推理效率（测试精度与推理FLOPs）但相关训练成本仍然过高。本文中关注于提高DNN训练效率（测试精度与训练FLOPs）。近期的研究已经探索了使用权重稀疏性减少训练中花费的FLOPs。
2024-01-17 09:36:27
946
原创 MCUFormer: Deploying Vision Transformers on Microcontrollers with Limited Memory
用于现实应用的深度神经网络部署通常需要高性能计算设备，如GPU和TPU。由于这些设备的高昂价格和能耗，不可接受的部署费用严格限制了深度模型在各种任务中使用。用于现实应用的深度神经网络部署通常需要高性能计算设备，如GPU和TPU。由于这些设备的高昂价格和能耗，不可接收的部署费用严格限制了深度模型在各种任务中使用，尤其是在没有足够电池支持的场景中。在低能耗的廉价物联网设备上部署深度神经网络称为许多工业应用中的实用解决方案。
2024-01-17 09:35:38
966
原创 Alternating Compressed/DeCompressed
深度神经网络在解决各种任务方面取得巨大进展，推动了研究和行业对部署这些模型的有效版本浓厚兴趣。为此，已经开发了完整的模型压缩家族，如剪枝和量化，这些方法现在都有硬件和软件支持。神经网络剪枝是本文的关注领域，这是一种由最长历史的压缩方法。剪枝的基本目标是获得很多连接通过设置为0而移除的神经网络，同时维持网络的精度。已经提出了无数种剪枝方法，目前已经了解到，将连接数量而言，许多流形的网络可以被压缩一个数量级以上，而不会造成显著的精度损失。
2024-01-15 16:40:15
1005
原创 SA2VP: Spatially Aligned-and-Adapted Visual Prompt
通过参数高效微调技术将大型预训练视觉模型适应到特定下游任务已经被证实为一个高效的策略，特别是在训练数据有限的场合。它不仅从预训练模型蒸馏与下游任务相关的先验知识，而且通过仅引入少量参数调整符合提高训练效率。作为突出的PEFT方法，提示调整已经获得了在NLP领域显著的成功，并已经在CV领域探索了它的潜力。大部分已有的视觉提示调整方法遵循顺序建模范式，这源于NLP中提示的学习方法。
2024-01-15 16:39:14
817
原创 Uncovering the Hidden Cost of Model Compression (小模型部分)
深度学习发展已经从训练特定任务的模型转向广泛的任务不可知预训练。目标是构建一个具有鲁棒通用表示的模型，在不需要密集训练情况下促进许多下游任务。这类模型现在包含在术语“基础模型”。在更广泛的迁移学习中，这些预训练模型对下游任务的有效性通常通过简单且计算高效的适应方法来证明，如线性探测（LP）。传统上，迁移学习是使预训练模型适应各种下游任务的基础，历史上仅限于全微调（FT）和线性探测。前者虽然通常性能优秀，但也是成本更高的方法，而后者计算上更便宜，但与全微调相比，通常表现出更低的性能。
2024-01-12 10:18:57
1012
1
原创 TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning
具有丰富传感器的智能边缘设备在日常生活中无处不在。这些设备每天都通过传感器不断收集新的敏感数据，同时有望在不牺牲的隐私的情况下提供高质量定制服务。这些对高效的人工智能系统提出了新的挑战，这些系统不仅可以运行推理，还可以根据新收集的数据不断微调预训练的模型（即设备训练）。有很多有效的推理技术可以减少可训练参数数量和计算FLOPs，然而参数有效或FLOPs有效技术并不能直接节省训练内存。制约训练内存的是激活层，而不是参数。例如如图1右比较了ResNet-50和MobileNetV2-1.4。
2024-01-12 10:17:47
828
原创 UniAdapter: Unified Parameter-Efficient Transfer Learning for Cross-modal Modeling
预训练-微调范式在自然语言处理，计算机视觉和多模态建模中取得了巨大的成功，其中模型首先用大规模数据预训练，然后针对每个下游任务进行全微调。最近的研究进一步发现，通过引入额外的可训练模块来微调/调整基础模型以适应新的模态。近期的研究进一步发现，通过引入额外的可训练模块来微调/调整基础模型以适应新的模态，显著优于以前的研究，例如用于图像到视觉传输的时间建模模块。
2024-01-08 16:09:14
1069
原创 Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory
在海量因特网数据上训练的大规模深度神经网络已经在各种CV和NLP任务缺德了成功。最为流形和直观的迁移预训练模型知识到下游任务的策略是全微调。然而全微调整个模型是计算上禁止的昂贵，特别是有百万级参数的大模型。而且这也容易在相对小的下游数据集遭到过拟合问题。为了解决这些问题，探索参数有效迁移学习（PEFT）收到了越来越多的兴趣，它促进了通过调整部分网络参数或插入小的可训练模块到预训练网络的域自适应。主流的SOTA PEFT方法可以粗糙地划分为三类：1. 部分调整：只更新一些任务特定参数并冻结大部分原始参数。
2024-01-08 16:04:24
709
原创 TinyCLIP
大型视觉-语言模型（如CLIP）由于其显著的零样本迁移能力和在文本到图像生成方面前所未有的性能，最近获得了极大的关注。由于视觉和语言的极大复杂性，目前的方法往往采用大量的参数来赋予模型强大的跨模态能力。这反过来导致了这些模型在存储，内存和计算时间方面的高成本，这促使了对模型压缩的需求，使其在现实世界应用中更小更快。知识蒸馏作为一种核心模型压缩技术，在单模态领域已经得到广泛的研究和应用，然而它在多模态领域的潜力尚未被挖掘。首先类似于CLIP的多模态模型通常由两个分支组成：图像编码器和文本编码器。
2023-11-04 19:18:47
204
原创 Self-Distillation for Further Pre-training of Transformers
大型Transformer模型在大量未标注数据预训练标注数据集后在标注数据集微调的应用已经在各种视觉和自然语言处理下游任务上取得了巨大的成功。然而如果预训练域和微调域存在较大差异时，直接微调的方法可能获得次优性能。一些改进方法提出在微调前在目标未标注数据集上继续预训练的策略。然而这些方法只能在语言模型上使用，在视觉Transformer模型上容易出现过拟合问题。为了解决这个限制，本文提出一种自蒸馏作为正则化的策略。假定神经网络参数θinitϕinitθinitϕinit。
2023-07-09 16:38:57
61
原创 Improved Feature Distillation via Projector Ensemble基于多个投影器集成的知识蒸馏
已有的知识蒸馏方法可以大致分为基于logit，基于特征和基于相似度的方法。根据之前研究，与其他两种算法相比，基于特征的方法通常可以提取出更好的学生网络。本文推测，模仿教师特征的过程为学生网络训练提供了更清晰的优化方向。尽管特征提取具有更好的性能，但缩小学生模型和教师模型特征空间之间差距仍然具有挑战性。为了提升学生模型特征学习能力，已经开发了各种通过设计更强大的目标函数并确定学生和教师模型层之间更有效的的连接的特征蒸馏方法。
2023-05-17 13:56:21
299
1
原创 Discriminator-Cooperated Feature Map Distillation for GAN Compression
图像生成任务将随机噪声或源域图像转换到另一个用户需要域的图像。近些年GAN蓬勃发展，产生了大量图像到图像翻译、风格迁移、图像生成等研究。图像生成在日常娱乐上由广泛应用。然而运行这些程序的平台通常有较差内存存储和有限计算能力的特点。然而GAN也因可学习参数和乘法累加运算（MAC）的激增而臭名昭著，这对部署基础设施的存储需求和计算能力提出了巨大挑战。为了解决上述问题使GAN有更好的服务生活能力，例如剪枝神经网络搜索量化的方法已经广泛探索以获得一个更小的生成器。
2023-04-25 22:48:11
196
原创 Calibrating the Rigged Lottery: Making All Tickets Reliable
虽然稀疏学习在各种深度学习任务上减少内存和减少推断时间上取得了成功，产生的稀疏模型的可靠性仍然是没有探索的。先前的研究表明深度神经网络往往过于自信，本文发现稀疏学习加剧了这个问题。使用较多的模型预测可靠性指标是Expected Calibration Error（ECE），测量模型预测的置信度与模型精度间差异。且ECE值越小意味着越高的置信度。模型过于自信的问题是太自信以至于不能注意到不正确的决策，使在例如自动医疗和自动驾驶等现实应用中的安全问题。本文首次研究稀疏学习中的可靠性问题。
2023-04-06 21:40:39
69
1
原创 FacT: Factor-Tuning for Lightweight Adaptation on Vision Transformer
近期研究已经探索了将预训练的ViT模型通过调整较少比例的参数自适应并改善存储效率。该方法称为Parameter Efficient Transfer Learning (PETL)。目前PETL方法已经展示了只调整0.5%比例参数，ViT在下游任务中可以获得比完整微调方法更好的性能。LoRA: Low-Rank Adaptation of Large Language Models还表明，优化密集层的权重增量的低秩分解矩阵是适应大模型的一种有前途的方法。
2023-04-05 16:21:42
329
原创 DETRs with Hybrid Matching
基于DEtection TRansformer（DETR）的模型在各种基础视觉识别任务（目标检测、实例分割、全景分割、指向性目标分割、视频实例分割、姿态估计、多目标跟踪、深度估计、文本检测、线分割检测、基于点云或多视图的3D目标检测、视觉问答等领域）上取得了巨大成功。目前已有很多角度对于DETR模型进行改进，包括重新设计Transformer编码器，Transformer编码器架构或者重新设计查询公式。不同于先前的改进方法，本文方法关注于由一对一匹配（对于一个GT只分配一个查询）造成的低效率训练问题。
2023-04-05 16:17:22
1930
2
原创 [知识蒸馏] Data Efficient Stagewise Knowledge Distillation模型简介
文章目录IntroductionMethodExperimentIntroduction本文知识蒸馏方法（SKD）属于中间层蒸馏方法。特殊的是本文提出逐阶段（stagewise）训练,即训练学生网络时一次只训练一个部分（block），该方法可以在较少的数据集下取得较好的模型精度提升效果。MethodExperiment...
2021-01-17 22:37:41
220
cioudioutest.py
2020-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人