- 博客(250)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 深度学习（生成式模型）—— Consistency Models
Diffusion model需要多次推断才能生成最终的图像，这将耗费大量的计算资源。前几篇博客我们已经介绍了加速Diffusion model生成图像速率的DDIM和Stable Diffusion，本节将介绍最近大火的Consistency Models（代表模型：Dalle-3），其允许Diffusion model仅经过一次推断就生成最终的图像，同时也允许少量多次推断来生成最终的图像。
2024-02-04 16:43:28
1447
原创 深度学习（生成式模型）——score-based generative modeling through stochastic differential equations
文章目录前言SDE是什么SDE与DDPM前向过程的关系逆向过程的SDE∇xtlogp(xt)\nabla_{x_t}\log p(x_t)∇xtlogp(xt)与DDPM预测的噪声ϵ\epsilonϵ的关系逆向过程SDE与DDPM逆向过程的关系Probability Flow (PF) ODE前言yang song博士在《Score-Based Generative Modeling Through Stochastic Differential Equations》一文中提出可以使用SDE（随
2024-02-04 15:09:55
1348
原创 深度学习（生成式模型）—— Controlnet：Adding Conditional Control to Text-to-Image Diffusion Models
之前的文章里，我们已经总结了AIGC几篇经典文章，这篇博文，我们将总结ICCV的best paper ControlNet，后续的文章将解析score base以及consistency model。以往的condition diffusion model多通过文字来控制生成的图像，但是控制粒度仍然不够细。试想一个场景，我们对于生成图像中人类的姿态有所要求，例如下图，我们很难用语言来描述符合要求的人类姿态，现有的文生图模型很难满足我们的需求。基于此背景，便有了ControlNet，其在文生图模型。
2024-01-30 16:56:12
977
原创 深度学习（生成式模型）—— stable diffusion：High-Resolution Image Synthesis with Latent Diffusion Models
对比GAN，diffusion model的训练更为容易，但是其测试时往往需要进行多次前向传播，推断速度十分缓慢。从噪声到图像，DDPM通常需要重复迭代采样1000次，目前比较有代表性的加速采样方式有1、DDIM：从采样公式推导出发，将迭代次数下降到10~50次2、stable diffusion：通过减少diffusion model的计算量，进一步提升了推断速度，目前stable diffusion已成为diffusion model的标配。
2024-01-25 16:28:20
1015
原创 深度学习（生成式模型）——ADM：Diffusion Models Beat GANs on Image Synthesis
在前几篇博文中，我们已经介绍了DDPM、DDIM、Classifier guidance等相关的扩散模型基础，从本节博客开始，将介绍一些经典偏应用类的文章。《Diffusion Models Beat GANs on Image Synthesis》是openAI在2020年发表的一篇文章。文章从模型结构入手，通过扩大模型容量，在图像生成任务上击败了当时的SOTA Big GAN。此外还提出了Classifier guidance，用于控制扩散模型生成指定类型的图像，具体推导流程可以查阅前文。
2023-12-11 11:07:07
2188
7
原创 深度学习（生成式模型）——Classifier Free Guidance Diffusion
在上一节中，我们总结了，其有两个弊端，一是需要额外训练一个分类头，引入了额外的训练开销。二是要噪声图像通常难以分类，分类头通常难以学习，影响生成图像的质量。Classifier Free Guidance Diffusion解决了上述两个弊端，不需要引入额外的分类头即可控制图像的生成。本节所有符号含义与前文一致，请读者阅读完前三篇博文后在查阅此文。本文仅总结backbone为DDIM情况下的Classifier Free Guidance Diffusion。
2023-11-09 17:41:56
1644
3
原创 深度学习（生成式模型）——Classifier Guidance Diffusion
文章目录前言问题建模条件扩散模型的前向过程条件扩散模型的反向过程条件扩散模型的训练目标前言几乎所有的生成式模型，发展到后期都需要引入"控制"的概念，可控制的生成式模型才能更好应用于实际场景。本文将总结《Diffusion Models Beat GANs on Image Synthesis》中提出的Classifier Guidance Diffusion（即条件扩散模型），其往Diffusion Model中引入了控制的概念，可以控制DDPM、DDIM生成指定类别（条件）的图片。问题建模本章节所
2023-11-09 15:26:02
942
1
原创 深度学习（生成式模型）——DDIM：Denoising Diffusion Implicit Models
上一篇博文介绍了DDIM的前身DDPM。DDPM的反向过程与前向过程步数一一对应，例如前向过程有1000步，那么反向过程也需要有1000步，这导致DDPM生成图像的效率非常缓慢。本文介绍的DDIM将降低反向过程的推断步数，从而提高生成图像的效率。值得一提的是，DDIM的反向过程仍然是马尔可夫链，但论文里有讨论非马尔可夫链的生成模型。本博文只总结DDIM如何提高DDPM的生成图像效率。
2023-10-30 19:19:58
2981
14
原创 深度学习（生成式模型）——DDPM：denoising diffusion probabilistic models
文章目录前言DDPM的基本流程前向过程反向过程DDPM训练与测试伪代码前向过程详解反向过程详解DDPM损失函数推导结语前言本文将总结扩散模型DDPM的原理，首先介绍DDPM的基本流程，接着展开介绍流程里的细节，最后针对DDPM的优化函数进行推导，以让读者明白DDPM参数估计的原理。本文不会对扩散模型的motivation进行讲解，作者有点鬼才，完全想不到他是怎么想出这种训练范式的生成式模型的代表作为GAN，然而，GAN的训练十分困难，对抗训练稍有不慎便会陷入模式坍塌(model collapse)。
2023-10-18 16:28:53
1341
原创 深度学习——MetaFormer Is Actually What You Need for Vision
总结了CVPR oral文章《MetaFormer Is Actually What You Need for Vision》
2022-07-25 16:32:52
1741
1
原创 强化学习——Proximal Policy Optimization Algorithms
文章目录前言为什么需要PPOTRPOPPO前言本文对论文《Proximal Policy Optimization Algorithms》进行总结，如有错误，欢迎指出。为什么需要PPO随机策略梯度的数学表达式为∇J(θ)=ES[EA∼π(.∣S;θ)[Qπ(S,A)∇θlnπ(A∣S;θ)]](1.0)\nabla J(\theta)=E_S[E_{A\sim \pi(.|S;\theta)}[Q_\pi(S,A)\nabla_{\theta}\ln\pi(A|S;\theta)]]\tag{
2022-04-28 16:26:31
3547
原创 强化学习——多智能体强化学习
文章目录前言多智能体系统的设定合作关系设定下的多智能体系统策略学习的目标函数合作关系下的多智能体策略学习算法MAC-A2C前言本文总结《深度强化学习》中的多智能体强化学习相关章节，如有错误，欢迎指出。多智能体系统的设定多智能体系统包含有多个智能体，多个智能体共享环境，智能体之间相互影响。一个智能体的动作会改变环境状态，从而影响其他智能体。多智能体之间存在四种常见的关系完全合作关系：多个智能体之间的目标一致，做出动作后获得的奖励相同。完全竞争关系：某个智能体获得收益会导致某些的智能体亏损。
2022-04-22 14:48:44
15744
2
原创 强化学习——不完全观测问题、MCTS
文章目录前言不完全观测问题MCTS选择扩展模拟回溯决策价值网络与策略网络的训练AlphaGoAlphaGo Zero前言本文的知识点总结自《深度学习强化学习》，如有错误，欢迎指出不完全观测问题前面几篇博客介绍的强化学习算法，智能体都可以从环境中获知总体状态，类似于MOBA类游戏的观战系统，可以观测到地图上双方的动向。然而在某些场景下，智能体只能从环境中获知局部状态，例如王者荣耀中，视野机制导致每位玩家仅能看到整个地图中的一小部分状态。设ttt时刻智能体观测到的状态为oto_tot，我们可以仅依
2022-04-19 16:33:39
1093
原创 强化学习——连续控制
文章目录前言连续控制DPGDPG的优化目标On-Policy DPGOff-Policy DPG前言本文总结《深度强化学习》中连续控制章节的内容，如有错误，欢迎指出。连续控制前面几篇博客总结的强化学习方法，动作空间都是离散有限的。但动作空间不一定总是离散的，也可能是连续的，例如驾驶车辆，汽车转向角度的动作空间就是连续的。针对上述问题，一个可行的解决方案是将动作空间离散化，除此之外，可以直接使用连续控制相关的强化学习方法。本文将总结确定策略梯度算法（DPG）。DPGDPG属于策略学习的方法。具
2022-04-18 09:40:29
2723
原创 强化学习——策略学习
文章目录前言策略学习策略学习的目标前言前段时间都在忙毕业论文，强化学习这块的总结就拉下了，本小节将对《深度强化学习》中的策略学习章节进行总结。如有错误，欢迎指出。策略学习价值学习让神经网络学习最优动作价值函数Qπ(s,a)Q_{\pi}(s,a)Qπ(s,a)，而策略学习让神经网络学习最优策略函数π(a∣s)\pi(a|s)π(a∣s)，其中aaa表示智能体执行的动作，sss表示环境状态。如下图所示，策略学习中的神经网络的输入为状态sss，输出为智能体执行各个动作的概率，接着依据概率随机抽样一个动
2022-04-12 15:59:20
4061
1
原创 强化学习——价值学习中的SARSA
文章目录前言SARSASARSA算法的训练流程SARSA算法与DQN算法的区别前言本文介绍的SARSA算法需要配合后续的策略学习内容使用，无法单独使用。本文为《深度强化学习》的阅读笔记，如有错误，欢迎指出SARSADQN等价值学习算法目的是拟合最优动作价值函数，从而控制智能体进行决策，而SARSA等算法的目的是拟合动作价值函数Qπ(st,at)Q_{\pi}(s_t,a_t)Qπ(st,at)，用于评价策略π\piπ的优劣，更具体的，SARSA常与策略网络一同用于策略学习中的Actor- C
2022-01-22 09:35:30
1092
原创 强化学习——价值学习中的DQN
文章目录前言DQN算法损失函数推导训练DQN前言本文为《深度强化学习》的阅读笔记，如有错误，欢迎指出DQN算法DQN算法通过神经网络拟合最优动作价值函数Q∗(st,at)Q_*(s_t,a_t)Q∗(st,at)，神经网络结构如下，输入为状态s，输出为每个动作的动作价值函数Q∗(st,at)Q_*(s_t,a_t)Q∗(st,at)的值，即Q值，∗*∗表示最优策略，有多少个动作，就有多少个输出，DQN处理离散动作空间。损失函数推导DQN的损失函数为最优贝尔曼方程，其数学表达式为Q
2022-01-17 10:32:08
4140
原创 强化学习——基础概念
文章目录前言基础概念概率论蒙特卡洛强化学习基础概念前言本文所有概念均摘自《深度强化学习》，如有错误，欢迎指出基础概念概率论随机变量为一个不确定量，通常用大写字母表示，其取值取决于一个随机事件一次实验，随机变量的取值称为观测值，通常用小写字母表示离散随机变量的概率可通过概率质量函数获得连续随机变量的概率可通过概率密度函数求积分获得蒙特卡洛简言之，利用观测值来计算目标的近似结果，利用的观测值越多，计算结果越精确，例如随机变量AAA的期望为E(A)E(A)E(A)，我们可以进行m次实验
2022-01-10 10:25:31
487
原创 深度学习(增量学习)——ICCV2021：SS-IL: Separated Softmax for Incremental Learning
文章目录前言思考前言该论文从类别不平衡的角度解决持续学习中的灾难性遗忘问题。在保存部分旧数据的情况下，新旧数据之间会出现类别不平衡，导致模型在训练时过度关注新数据，忽略旧数据，从而导致灾难性遗忘。本文将简单介绍该论文提出的方法，并介绍其中较为有意思的实验，最后给出我对本篇文章的看法思考作者将分类器的输出按照新旧类别分为两部分，两部分单独做softmax，这个做法有点反直觉，举个例子，假设我们有四个类别，标签分别为1、2、3、4，旧类别为1、2，新类别为3、4，当我们输入一张类别4的图像时，如何保
2021-10-29 15:43:01
2532
6
原创 深度学习(增量学习)——(ICCV)Striking a Balance between Stability and Plasticity for Class-Incremental Learning
文章目录前言MethodSPBSPB-I对比学习旋转预测SPB-M实验思考前言这篇文章发表于ICCV2021，是一篇结合自监督做增量学习的文章，该论文研究的问题为class Incremental本文将总结论文提出的方法，并对实验部分做个简单分析，最后讲讲我对这篇文章的看法Method本文一共有三种方法，分别为SPB、SPB-I、SPB-M，本文将依次介绍三者SPBSPB就是UCIR的变种，当task T的训练数据到来时，作者利用特征提取器提取task T训练数据的embedding，对em
2021-10-22 09:42:10
1358
原创 深度学习(增量学习)——ICCV2022：Contrastive Continual Learning
文章目录前言Contrastive Continual Learning实验思考前言CVPR2022上的增量文章有些繁杂，具体体现在不少文章提出了新的实验设置来评估模型，不是很合个人胃口，故总结的不多，但有一篇将因果推断与增量结合的文章很有趣，文章名为《Distilling Causal Effect of Data in Class-Incremental Learning》，ICCV2022上的增量文章比较常规，有不少工作将自监督与增量做结合，本文将总结《Contrastive Continual
2021-10-15 09:50:48
5058
5
原创 深度学习——Patches Are All You Need
文章目录前言ConvMixer的结构设计网络结构的一些思路思考前言这篇文章目前投递至ICLR 2022，暂无发表记录。自从2020年ViT问世以来，关于transformer的文章层出不穷，ViT有如此良好的性能，是因为其独特的网络结构，还是因为其独特的输入形式？这篇文章设计了ConvMixer网络，验证了ViT的良好性能可能来源于其独特的输入形式。本文将会简单介绍ConvMixer网络的结构，并简单总结由ViT引出的几个设计网络结构的思路，最后会简单谈谈我对这篇文章的看法。ConvMixer的
2021-10-11 10:17:43
3185
1
原创 深度学习(自监督:MoCo V3):An Empirical Study of Training Self-Supervised Vision Transformers
文章目录前言MoCo V3ViT自监督训练过程中的“不稳定”现象前言MoCo V3是何凯明团队的新作，发表在ICCV 2021上，是一篇自监督文章，在MoCo V2的基础上做了一些小改动，同时report了ViT自监督训练过程中的“不稳定”现象，并给出了一个trick，用于减缓ViT自监督训练不稳定的现象。凯明团队的文章还是一如既往的细致，本文主要总结MoCo V3的操作流程以及ViT自监督训练过程中的“不稳定”现象。MoCo V3相关的性能试验不会过多总结本文为个人总结，如果错误，欢迎指出本文默
2021-09-16 10:18:17
1577
3
原创 深度学习(自监督:SimSiam)——Exploring Simple Siamese Representation Learning
文章目录前言SimSiam简述实验前言该文章是何凯明组发表于CVPR2021上的文章，目前已获得最佳论文提名，主要解决自监督对比学习中的奔溃解问题。奔溃解即不论什么输入，特征提取器输出的特征向量都相同。本文将简单介绍SimSiam，记录其中较有意思的实验结果。作者并没有解释为什么SimSiam可以避免奔溃解，但文章的确非常出彩。SimSiam简述上图即SimSiam的整体结构，具体而言对输入图像x施加数据增强，得到x1x_1x1、x2x_2x2将x1x_1x1、x2x_2x2输
2021-06-15 16:46:03
6874
3
原创 深度学习(自监督:SimCLR)——A Simple Framework for Contrastive Learning of Visual Representations
文章目录前言SimCLR简述实验数据增强对性能的影响Unsupervised contrastive learning benefits (more) from bigger modelsA nonlinear projection head improves the representation quality of the layer before itContrastive learning benefits (more) from larger batch sizes and longer trai
2021-06-14 18:30:19
1964
原创 深度学习(自监督:BYOL)——Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
文章目录前言BYOL简述实验前言该文章为deepmind团队出品，目前挂在arxiv上，并没有查到相应的发表记录。该文章主要解决对比学习中，只存在正例时出现的模型奔溃解问题，即不论输入是什么，模型的输出都是一个常数。即使只有正例，BYOL仍然达到了SOTA水平，如下图：这表明在对比学习中，负例不一定需要存在。个人认为负例可以避免奔溃解，但是对于高性能的自监督模型而言不是必须的，例如BYOL。同时相比于使用负例的对比学习算法(例如SimCLR)，不使用负例的对比学习算法通常对于batch siz
2021-06-14 09:53:10
3575
原创 深度学习(自监督:CPC v2)——Data-Efficient Image Recognition with Contrastive Predictive Coding
文章目录前言CPC v1介绍CPC v2介绍实验前言这篇文章发表在ICML 2020上，是DeepMind团队的文章。这篇文章对CPC v1进行了改进，在ImageNet上的top-1准确率从 48.7%提升至71.5%。本文将简单介绍CPC v2，实验部分在此不总结。论文的Figure 1给出了一个很有意思的图，如下图：蓝线为利用CPC v1 pretrain一个ResNet，将其在ImageNet上finetune后的性能，红线为ResNet直接在ImageNet上training fro
2021-06-13 16:45:50
2421
原创 深度学习(自监督:MoCo v2)——Improved Baselines with Momentum Contrastive Learning
文章目录前言前言这篇文章是何凯明老师团队的文章，作者发现SimCLR一文中提到的trick在MoCo上依然有效。关于MoCo，可以浏览我的上一篇文章：链接具体而言encoder的输出会经过一个线性fc层处理，将fc层替换为SimCLR中的两层MLP（隐藏层为2048维，使用ReLU激活函数）具体性能如下图所示TTT为InfoNCE中的温度超参数，一个简单的替换操作就可以将性能提升最多6%，确实很让人惊讶。使用SimCLR中的模糊数据增强，SimCLR中的color distortion数据
2021-06-13 09:32:15
1045
原创 深度学习(自监督:MoCo)——Momentum Contrast for Unsupervised Visual Representation Learning
文章目录前言自监督简述MoCo简述前言本篇文章是何凯明老师在CVPR 2020上的文章文章地址：链接代码地址：链接本文前半部分将对自监督任务做一个简短介绍，包括自监督任务中常见的损失函数——InfoNCE、自监督的用途、自监督的评估方式，后半部分将对MoCo做一个介绍，具体的实验结果请自行查阅原论文。如有错误，欢迎指正。自监督简述自监督无需人工标注标签，其让海量数据自身产生伪标签，将伪标签作为监督信号，训练特征提取器，训练得到的特征提取器将用于下游任务，例如图像分割、目标检测、图像分类等任务
2021-06-12 16:08:23
7804
原创 深度学习——Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
文章目录前言Swin Transformer的结构Patch Merging前言Swin Transformer是微软研究院于2021年3月推出的Transformer模型，用于处理CV中的任务，例如图像分类、图像分割、语义分割等等，该模型的性能非常惊人，其结果如下：ImageNet-1k上，预训练准确率可达86.4%COCO目标检测数据集上，box AP可达58.7%，比sota高出2.7%，mAP可达51.1，比sota高出2.6%ADE20K语义分割数据集上，mIOU可达53.5%，比so
2021-04-28 09:22:08
1021
原创 深度学习——ViT：an image is worth 16x16 words: transformers for image recognition at scale
文章目录前言ViT的结构ViT的输入分类使用的feature vector实验前言ViT使用Transformer的Encoder做图像识别，这篇文章发表在ICLR 2021上，是一片oral文章，具体可见我是链接其实个人看完transformer后，感觉Transformer更像是一个是一个广义卷积神经，Q、K、V矩阵完全可以看成由多个卷积堆叠在一起组成，只是相比于CNN，Transformer在网络的浅层就通过注意力机制建立了全局视野，其实完全可以尝试在CNN的浅层施加注意力机制，从而建立全局视野
2021-04-10 16:11:48
1022
原创 深度学习——transformer
文章目录前言self attention前言目前transformer在计算机视觉中非常火热，在面试过程中，也被面试官询问过相应内容，在此做一个简单的总结self attentionTransformer中的self attention和CV中的attention机制非常近似，都是通过建立一组输入数据之间的联系，来决定哪部分数据更为重要。本节将介绍self attention的具体流程首先，self attention中存在三个非常重要的vector，分别是key vector、query vec
2021-04-07 10:36:24
3873
原创 深度学习论文笔记（增量学习）——CVPR2020：Mnemonics Training: Multi-Class Incremental Learning without Forgetting
文章目录前言工作流程前言目前也写了较多增量学习的文章了，我的目的是在写的过程中对方法的细节进行梳理，帮助自己理解，其中难免有表述不当的地方，请各位辩证看到我文章中的观点与描述，如有错误，还望指出。本篇文章发表于2020年CVPR，论文代码地址作者从一个非常有趣的点出发，从而让模型抵抗灾难性遗忘。现有的增量学习算法多数都会存储部分旧图片，作者将旧图片作为优化参数，通过优化让旧图片尽可能反映旧类别的特性，从而让模型尽可能较少的遗忘。作者通过让保存的旧图片计算出的loss值与使用全部训练图片计算出的los
2020-08-01 15:42:25
3504
1
原创 深度学习（生成式模型GMVAE）——deep unsupervised clustering with gaussian mixture variational autoencoders
文章目录前言GMVAE的生成过程GMVAE的损失函数reconstruction termconditional prior term前言传统的VAE，隐变量服从标准高斯分布（单峰），但有时候，单个高斯分布可能不能完全表达图像x的特征，比如MINIST数据集有0~9这10个数字，直觉上使用10个高斯分布来替代单个高斯分布更为合理，因此有学者将混合高斯分布模型（GMM）与VAE进行结合，其结果便是GMVAE。FBI warning本文为代码与论文结合进行理解的产物，如有错误，欢迎指出。本文不会进行EL
2020-07-12 20:30:42
4023
4
原创 深度学习（增量学习）——CVPR2020：Semantic Drift Compensation for Class-Incremental Learning
文章目录前言Embedding Network前言之前投的顶会论文中了，匆忙返校，与朋友们挥别，大学四年，给自己画上了一个完美的句号。《Semantic Drift Compensation for Class-Incremental Learning》发表于CVPR2020，该算法针对于class incremental learning设计，与以往使用交叉熵作为损失函数的增量学习算法不同，该文章选用Triple loss作为损失函数，利用LwF、EWC、MAS等文章提出的正则项抵抗遗忘（命名为Em
2020-07-09 20:58:41
3636
原创 深度学习论文笔记（rethinking knowledge distillation）——On the Efficacy of Knowledge Distillation
文章目录前言疑问：高准确率的大模型一定就是好teacher吗？问题二问题一这篇文章非常有意思，本文文字部分较多，主要记录了个人对于文章的一些思考前言《On the Efficacy of Knowledge Distillation》于2019年发表在ICCV上。通过实验，作者发现了一个“怪相”，准确率越高的模型并不一定就是好的teacher模型，对于同一个student模型而言，teacher模型越大，teacher模型的准确率越高，知识蒸馏得到的student模型性能却越差。作者认为是studen
2020-06-16 20:30:33
1141
原创 数学知识杂记
文章目录本博文记录在阅读论文时遇到的一些数学知识，方便以后查阅Frobenius norm(Frobenius 范数)马氏距离独立多元高斯分布变分推断
2020-05-29 08:49:02
224
原创 深度学习——贝叶斯神经网络
文章目录前言什么是贝叶斯神经网络How to train BNNBNN的损失函数前言看了网上不少贝叶斯神经网络的文章，不少文章写的有点马虎，甚至一些说的不清不楚的文章，评论区许多人称赞是好文章，不禁让人怀疑他们是否真的看懂了文章。本文将总结贝叶斯神经网络，首先，我将简单介绍一下什么是贝叶斯神经网络（BNN）；接着我将介绍BNN是怎么训练的，BNN是怎么预测的；最后，我会介绍BNN背后的运作原理。如果您在阅读过程中发现了什么错误，请务必在评论区中指出，避免错误的观点在网上流传。什么是贝叶斯神经网络
2020-05-29 08:33:03
32286
17
原创 深度学习（增量学习）—— Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation
文章目录前言motivationmethod前言我将看过的增量学习论文建了一个github库，方便各位阅读地址，本文总结的论文位于Regularization文件夹本文总结2019年ICCV论文《Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation》，这篇文献的出发点非常有趣，其...
2020-05-05 09:45:22
1308
jdk文件,里面只有文件，无需安装
2018-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人