- 博客(228)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 从数据分布的角度提高对抗样本的可迁移性
对抗迁移性攻击一般是先通过代理模型生成对抗样本，然后将该样本迁移到其它黑盒模型中进行攻击，对抗迁移性的根本原因目前仍有待于探究。以前的工作主要从模型的角度探讨原因，例如决策边界、模型架构和模型容量等。在该论文中，作者从数据分布的角度研究对抗样本的可迁移性，其核心思想是针对于无目标攻击，将图像移出其原始分布会使不同的模型很难对图像进行正确分类。针对于有目标攻击，则是将图像拖入目标分布会误导模型将图像分类为目标类。因此作者提出了一种通过操纵图像的分布来生成对抗样本的新方法。实验结果证明了所提出方法的有效性。
2022-12-08 18:43:50
1988
原创 policy gradient详解（附代码）
policy gradient是强化学习中一种基于概率策略的方法。智能体通过与环境的交互获得特定时刻的状态信息，并直接给出下一步要采取各种动作的概率，然后根据该状态动作的策略分布采取下一步的行动，所以每种动作都有可能被选中，只是选中的概率性不同。智能体直接学习状态动作的策略分布，在强化学习的训练中，用神经网络来表示状态动作分布，给一个状态，就会输出该状态下的动作分布。强化学习算法直接对策略进行优化，使指定的策略能够获得最大的奖励。 考虑一个随机参数化的策略πθ\pi_\thetaπθ，强化学习主要目标是
2022-11-05 13:19:21
1886
1
原创 Sigmoid类神经网络的鲁棒性验证
该论文是关于神经网络鲁棒性理论类的文章。类似有Sigmoid激活函数的神经网络，由于其非线性，使得在进行神经网络鲁棒验证评估时，不可避免地会引入了不精确性。当前的一个研究方向是寻找更严格的近似值以获得更精确的鲁棒验证结果。然而，现有的紧密度定义是启发式的，缺乏理论基础。在该论文中，作者对现有的神经元紧密度表征进行了全面的实证分析，并揭示它们仅在特定的神经网络上具有优势。另外，作者基于神经网络紧密度的概念重新提出了一个统一的神经网络紧密度定义，并表明计算神经网络紧密度是一个复杂的非凸优化问题。为了能够更好地
2022-10-24 17:48:17
2787
1
原创 通过随机平滑验证对抗鲁棒性
当前很多研究工作提出了用于训练分类器的启发式算法，其目的是使分类器对对抗扰动具有一定鲁棒性。然而，这些启发式算法中的大多数算法缺乏相应的理论基础做支撑。随之而来出现了关于分类器可证鲁棒性的一系列理论研究工作，即在任何输入样本点的预测在围绕在该样本点的某个集合内是一个可验证的常数。在该文中，作者首次提供了随机平滑的严格鲁棒性保证证明，论文分析表明，使用高斯噪声进行平滑会在 ℓ2\ell_2ℓ2范数下产生可证明的鲁棒性，而且论文中验证神经网络鲁棒性的方法可以扩展到像ImageNet等足够大的神经网络中。该论
2022-09-03 17:41:42
2346
4
原创 统计假设检验
这里的“接受”或“拒绝”一个假设的行为，只是反映了当事者在给定样本之下对该命题所采取的一种态度，一种行为，而不是从逻辑上或理论上“证明”该命题正确与否。由于不能同时控制一个检验的犯第一类，第二类错误的概率，在此背景下，会采取折中的方案，通常的作法是仅限制犯第一类错误的概率，这就是费希尔的显著性检验，显著性水平。由于样本是随机的，故当应用某种检验做判断时，可能做出正确的判断，也可能做出错误判断。做出接受或拒绝的决策。就是一个检验统计量，因为要检验的假设是正态总体均值，在方差已知的场合，样本均值。...
2022-08-26 21:29:51
476
原创 基于梯度的黑盒迁移对抗攻击（附代码）
黑盒迁移攻击是对抗攻击中非常热门的一个研究方向，基于动量梯度的方法又是黑盒迁移攻击的一个主流方向。当前大部分研究主要通过在数据样本的尺寸，分布，规模，时序等方面来丰富梯度的多样性，使得生成的对抗样本在迁移到其它的模型攻击时，能够有更高的攻击成功率。本文会介绍最近几年有代表性的黑盒迁移攻击的论文，这些论文的方法经常会被当成论文比较的baseline。我对论文中涉及到一些数学结论进行补充证明，大部分论文中给出的源码是tensorflow的，我又根据论文的算法流程图用pytorch对论文的核心方法重新编程了一下
2022-08-06 16:27:47
3063
1
原创 torch.autograd.grad求二阶导数
表示是否需要将梯度将会加入到计算图中，当计算高阶导数或者其他计算时会将其设置为需要设置为。：表示是否需要将计算图释放掉，当计算二阶导数时需要设置为。：表示是否只返回输入的梯度，而不返回其他叶子节点的梯度。以下给出了具体的二阶导数解析解的数学实例。求偏导，然后相加求平均得到损失函数。时，根据数学解析解得到的二阶导数为。：表示“向量-雅克比矩阵”的向量。，对应的代码运行的实验结果也为。的元素求平均可以得到损失函数。：表示微分函数的输出。：表示微分函数的输入。......
2022-08-03 10:14:11
2343
原创 基于共轭梯度法的对抗攻击
深度学习模型容易受到对抗样本的攻击，尽管基于最速下降的现有方法已经取得了很高的攻击成功率，但优化的病态问题偶尔会降低它们的攻击性能。实验结果表明，对于大多数模型，论文提出的方法比现有的SOTA算法能够以更少的迭代次数找到更优的对抗样本，而且论文所提出方法的更多样化的搜索显著提高了对抗攻击的成功率。此外，为了研究投影对APGD的影响，作者还计算了两个搜索点之间行进距离的比率，它表示投影浪费的更新距离量。论文中提供了算法源码，其代码有些复杂，以下代码是根据论文的核心算法重新编写的较为简单的核心代码。......
2022-07-22 09:55:50
718
原创 Imagenet预训练模型验证集分类
Imagenet验证集数据大小为6.5G，共有1000类的50000张图片。本文主要是对这1000类的50000张图片的标签信息进行处理分类汇总成一个csv表格，便于实验读入信息需要。Imagenet验证集标签整理的文件和代码链接如下所示： 待处理的文件有两个，一个是imagenet_img_info.txt文件，它包含了50000张图片与100个类别的对应关系。另一个文件是imagenet_img_info.txt文件，它包含了Imagenet数据集中1000个类别详细信息。最终输出的用于实验的
2022-07-11 15:09:50
3924
原创 Diffusion模型详解
在上一篇《基于流的深度生成模型》中详解介绍了有关流的生成模型理论和方法。目前为止，基于GAN生成模型，基于VAE的生成模型，以及基于flow的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。GAN在对抗训练过程中会出现模式崩塌和训练不稳定的问题；VAE则严重依赖于目标损失函数；流模型则必须使用专门的框架来构建可逆变换。本文主要介绍关于扩散模型，其灵感来自于非平衡热力学。它们定义了扩散步骤的马尔可夫链，将随机噪声缓慢地添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。 与VAE或
2022-07-04 10:22:21
6386
1
原创 元代理模型可迁移对抗攻击
该论文是关于黑盒攻击可迁移性的文章。在当前大量的研究中，许多方法直接攻击代理模型并获得的可迁移性的对抗样本来欺骗目标模型，但由于代理模型和目标模型之间的不匹配，使得它们的攻击效果受到局限。在该论文中，作者从一个新颖的角度解决了这个问题，通过训练一个元代理模型（MSM），以便对这个模型的攻击可以更容易地迁移到到其它模型中去。该方法的目标函数在数学上被表述为一个双层优化问题，为了能够让训练过程梯度有效，作者提出了新的梯度更新过程，并在理论上给出了证明。实验结果表明，通过攻击元代理模型，可以获得更强的可迁移性的
2022-06-29 15:25:59
1150
原创 基于流的深度生成模型
到目前为止，两种生成模型GAN\mathrm{GAN}GAN和VAE\mathrm{VAE}VAE并不能准确地从真实数据x∈D{\bf{x}}\in \mathcal{D}x∈D中学习出概率分布p(x)p({\bf{x}})p(x)。以隐变量的生成模型为例，在计算积分p(x)=∫p(x∣z)dzp({\bf{x}})=\int p({\bf{x}}|{\bf{z}})d{\bf{z}}p(x)=∫p(x∣z)dz时，需要遍历所有的隐变量z{\bf{z}}z的取值这是非常困难，且不切实际的。基于Flow\m
2022-06-27 15:15:54
1507
原创 最优传输理论下对抗攻击可解释性
该论文是关于对抗攻击理论性的文章，作者为对抗攻击提供了非常可靠的解释性。当前最优传输理论是深度学习理论中非常热门一个的方向，作者从最优传输理论的角度去分析对抗攻击的现象。当学习具有最优传输问题对偶损失的1-Lipschitz1\text{-}\mathrm{Lipschitz}1-Lipschitz神经网络时，模型的梯度既是最优传输方案的方向，也是最接近对抗样本的方向。沿着梯度移动到决策边界不再是一种对抗攻击，而是一种反事实的解释，即可以看作明确地从一个类传输到另一个类。通过对可解释AI\mathrm{A
2022-06-22 08:33:52
549
原创 Fisher信息量检测对抗样本代码详解
1 引言 在上一篇《Fisher信息量在对抗样本中的应用》中详尽地阐述了Fisher信息量在对抗攻击，防御，以及检测中的应用，并解析了三篇具有代表性的论文。Fisher信息量是可以用来去挖掘深度学习模型对抗行为的深层原因的非常好用一个数学工具。本文主要基于用Fisher信息量去检测对抗样本的一篇论文《Inspecting adversarial examples using the Fisher information》的代码进行深度解析，该论文提出了三个指标对对抗样本进行检测分别是Fisher信息矩阵迹
2022-06-19 18:01:34
568
原创 黑盒属性：所见即所分类
该论文是关于显著图分割和定位的论文。目前深度神经网络可解释性的一个直观的方法就是深度模型输出各个预测类别的显著图。大多数现有的方法要么使用激活和梯度，要么通过反复干扰输入来找到这种属性。在该论文中，作者通过训练另一个深度神经网络解释器来生产显著图，以预测预先训练好的黑盒分类器的属性，只显示图像中与分类器相关的部分，并过滤掉其它无关的部分。论文中定性和定量的实验结果表明，与其他方法生成的显著图相比，论文中提出的方法生成了更清晰和更精确的显著图边界。论文链接： https://arxiv.org/abs/2
2022-06-18 08:39:41
621
原创 Push & Pull：注意力攻击生成可迁移对抗样本
该论文是关于对抗样本可迁移性的文章。在该论文中，作者提出了一种可迁移注意力攻击（TAA\mathrm{TAA}TAA），该方法基于关注图像特定区域和特征对干净图像进行对抗扰动。另外，作者还将三元组损失函数引入到对抗样本的生成策略中，在攻击过程中干净图像被迭代地“推”离源类，同时随着攻击进行“拉”近到目标类，以实现对抗样本较高的可迁移性。实验结果表明，该方法不仅提高了对抗样本的可迁移性，而且保持了较高的白盒目标攻击成功率。论文链接： https://ieeexplore.ieee.org/docume
2022-06-15 08:02:21
665
2
原创 自适应步长快速对抗训练
该论文是关于对抗训练理论分析性的文章，目前对抗训练及其变体已被证明是抵御对抗攻击的最有效防御手段，但对抗训练的过程极其缓慢使其难以扩展到像ImageNet这样的大型数据集上，而且在对抗训练的过程中经常会出现模型过拟合现象。在该论文中，作者从训练样本的角度研究了这一现象，研究表明模型过拟合现象是依赖于训练样本，并且具有较大梯度范数的训练样本更有可能导致灾难性过拟合。因此，作者提出了一种简单但有效的方法，即自适应步长对抗训练 (ATAS)。 ATAS学习调整与其梯度范数成反比的训练样本自适应步长。...
2022-06-12 14:53:44
997
原创 利用特征可分性增强对抗训练
1 引言2 预备知识3 论文方法minfθmax∥x′−x∥p≤ϵL(fθ(x′),y)\min\limits_{f_\theta}\max\limits_{\|\bf{x}^{\prime}-\bf{x}\|_p\le \epsilon}\mathcal{L}(f_\theta({\bf{x}}^{\prime}),y)fθmin∥x′−x∥p≤ϵmaxL(fθ(x′),y)LFS(h,ATG,xi)=∑(x,xi′)∈Eca+(i)s(h(xi),h(xi′))+∑(x,xj)∈E
2022-06-01 19:41:39
658
原创 ICLR2022：基于积分梯度的迁移对抗攻击
IGi(f,x,r)=(xi−ri)×∫η=01∂f(r+η×(x−r))∂xidη\mathrm{IG}_i(f,\boldsymbol{x},\boldsymbol{r})=(x_i-r_i)\times\int_{\eta=0}^1\frac{\partial f(\boldsymbol{r}+\eta\times(\boldsymbol{x}-\boldsymbol{r}))}{\partial x_i}d\etaIGi(f,x,r)=(xi−ri)×∫η=01∂xi∂f(r+η×(x−r
2022-05-30 20:44:17
852
3
原创 深度强化学习中的对抗攻击和防御
1 引言2 预备知识2.1 对抗攻击maxδL(fθ(x+δ),y)s.t. δ∈G\max\limits_{\delta} L(f_\theta(x+\delta),y)\quad \mathrm{s.t.}\text{ }\delta\in \mathcal{G}δmaxL(fθ(x+δ),y)s.t. δ∈Gxt+1=Proj∞x,ϵ(xt+α⋅sgn(∇L(fθ(xt),y)))x_{t+1}=\mathrm{Proj}^{x,\epsilon}_{\infty}
2022-05-23 20:07:45
1301
原创 路径积分基本定理
在微积分中，积分基本定理告诉我们怎样定义积分，具体形式如下所示∫abF′(x)dx=F(b)−F(a)\int_a^b F^{\prime}(x)dx=F(b)-F(a)∫abF′(x)dx=F(b)−F(a)则向量场的路径积分定理如下所示：假定CCC是一个平滑的曲线...
2022-05-13 21:22:37
1218
原创 CVPR2022：通过基于神经元属性的攻击提高对抗迁移性
3 论文方法 特征级别的攻击在生成对抗样本的过程中会破坏掉积极的特征从而扩大消极的特征。因此，由特征级别生成的对抗样本可有继承误导其他A:=∑i=1N2(xi−xi′)∫01∂F∂xi(x′+α(x−x′))dαA:=\sum\limits_{i=1}^{N^2}(x_i-x^{\prime}_i)\int_0^1\frac{\partial F}{\partial x_i}(x^{\prime}+\alpha(x-x^{\prime}))d\alphaA:=i=1∑N2(xi−xi′)∫0
2022-05-12 10:15:16
922
原创 Fisher信息量在对抗样本中的应用
Inspecting adversarial examples using the Fisher informationFθ=ED∼p(D∣θ)[∇θlogp(D∣θ)∇θ⊤logp(D∣θ)]=−ED∼p(D∣θ)[∇θ∇θ⊤logp(D∣θ)]\begin{aligned}\mathbb{F}_\theta&=\mathbb{E}_{\mathcal{D}\sim p(\mathcal{D}|\theta)}[\nabla_\theta \log p(\mathcal{D}|\theta
2022-05-06 08:10:27
776
原创 Fisher信息量
E[∂∂θlogf(X;θ)∣θ]=∫R∂∂θf(x;θ)f(x;θ)f(x;θ)dx=∂∂θ∫Rf(x;θ)dx=∂∂θ1\begin{aligned}&\mathbb{E}\left[\left.\frac{\partial }{\partial \theta}\log f(X;\theta)\right|\theta\right]\\=&\int_{\mathbb{R}}\frac{\frac{\partial}{\partial \theta}f(x;\theta)}{f(x;\t
2022-05-05 16:42:50
8832
1
原创 CVPR2022 Oral：GAN监督的密集视觉对齐
3 GAN监督学习L(fθ,y)=ℓ(fθ(x),y)\mathcal{L}(f_\theta,y)=\ell(f_\theta(x),y)L(fθ,y)=ℓ(fθ(x),y)
2022-05-02 09:27:03
614
1
原创 多维随机变量函数分布
设二维随机变量(X,Y)(X,Y)(X,Y)的联合密度函数为p(x,y)p(x,y)p(x,y)，如果函数{u=g1(x,y)v=g2(x,y)\left\{\begin{aligned}u&=g_1(x,y)\\v&=g_2(x,y)\end{aligned}\right.{uv=g1(x,y)=g2(x,y)有连续偏导数，且存在唯一的反函数{x=x(u,v)y=y(u,v)\left\{\begin{aligned}x&=x(u,v)\\y&=y(u,v)\en
2022-05-01 15:33:10
437
原创 含参变量定积分性质
在常微分方程和偏微分方程以及有关物理问题中，常用到形如∫abf(x,y)dx\int_a^b f(x,y)dx∫abf(x,y)dx的积分，其中变量yyy和积分变量xxx没有关系，在积分的过程中视为常量，yyy叫做参变量，则可知积分值是yyy的函数：I(y)=∫abf(x,y)dxI(y)=\int_a^b f(x,y)dxI(y)=∫abf(x,y)dx本文以下目的是要研究函数I(y)I(y)I(y)的性质，例如，连续性，可微性等等。 定理1： 若函数f(x,y)f(x,y)f(x,y)在闭矩形
2022-05-01 09:54:25
782
原创 元学习提高黑盒对抗攻击
3 论文方法3.1 元对抗扰动训练f(x+v)=t,for most x∼μf(x+v)=t, \quad \mathrm{for \text{ } most\text{ }}x \sim \mu f(x+v)=t,for most x∼μv′←v−α⋅1n∑i=1n∇vL(fi,B+v,t)v^{\prime}\leftarrow v - \alpha \cdot \frac{1}{n}\sum\limits_{i=1}^n\nabla_v L(f_i,\ma
2022-04-12 10:34:05
3923
1
原创 InsetGAN：全身图像生成
1 引言2 相关工作3 论文方法3.1 Full-Body GAN3.2 Multi-GAN优化minwA,wB∫ΩL(GA(wA),GB(wB))\min\limits_{{\bf{w}}_A,{\bf{w}}_B}\int_{\Omega}\mathcal{L}(\mathcal{G}_{A}({\bf{w}}_A),\mathcal{G}_{B}({\bf{w}}_B))wA,wBmin∫ΩL(GA(wA),GB(wB))Lcoarse:=λ1L1(IA↓,IB↓)+λ2
2022-04-04 08:31:51
5921
4
原创 SMI-FGSM：空间动量提高对抗迁移性
2 相关工作fθ(xadv)≠y,s.t.∥xadv−x∥p≤ϵf_\theta(x^{adv})\ne y, \quad s.t. \quad \|x^{adv}-x\|_p\le \epsilonfθ(xadv)=y,s.t.∥xadv−x∥p≤ϵxadv=x+ϵ⋅sign(∇xJ(x,y))x^{adv}=x+\epsilon \cdot \mathrm{sign}(\nabla_x J(x,y))xadv=x+ϵ⋅sign(∇xJ(x,y))xt+1adv=xtadv+α⋅sign(
2022-03-30 22:35:00
1288
4
原创 中科院与腾讯联合出品CVPR2022新作：LAS-AT利用可学习攻击策略进行对抗训练
3 论文方法3.1 方法概述xadv=x+δ←g(x,a,w)x_{adv}=x +\delta \leftarrow g(x,a,w)xadv=x+δ←g(x,a,w)3.2 对抗训练公式化表述minwE(x,y)∼DL(fw(xadv),y)\min\limits_{w}\mathbb{E}_{(x,y)\sim \mathcal{D}}\mathcal{L}(f_w(x_{adv}),y)wminE(x,y)∼DL(fw(xadv),y)minwE(x,y)∼D[maxθEa
2022-03-18 21:45:53
1091
原创 通用评估神经网络鲁棒性方法—CLEVER
引言 神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向，该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题，并利用极值理论方法进行评估，进而提出了一种度量神经网络鲁棒性的通用方法-CLEVER，该方法可以对不可知的攻击方式进行评估，并且对于大规模的神经网络计算成本较少。...
2022-03-09 09:04:42
6047
原创 SCI Writing - Results
1 What does the Results section include? State only results that are most relevant to research questionsOnly the findings of your studyData presented in tables, charts, graphs, and other figuresA contextual analysis of this dataExplanation of data de
2022-02-28 07:51:45
217
原创 SCI Writing - Methodology
Tips for warning a strong methodology Remeber that your aim is not just to describe your methods, but to show how and why applied them and to demonstrate that your research was rigorously conducted. The methodology section should clearly show why your met
2022-02-27 20:48:29
411
原创 SCI Writing - Introduction
1 Must answer two main questions What is the gap in knowledge that currently exists and why does it need filling? (importance of the study)How does this study fill that gap? (role of the study)2 The Flow of the Introduction2.1 Clearly identify the
2022-02-26 16:34:22
376
原创 SCI Writing - Abstract
1 Purpose and Motivation Why is it important to study?Rising incidents of rabies among domestic animals is an increasing concern in Brazilian cities.2 Problem What is your research trying to understand or solve?The purpose of this study is to inves
2022-02-25 18:06:42
243
原创 机器学习著名定理之—No Free Lunch定理详解
No Free Lunch定理定理（No Free Lunch）: 假定A\mathcal{A}A是一个在域X\mathcal{X}X的二分类任务中任意一个机器学习算法，其损失函数为0-10\text{-}10-1损失。令nnn是一个大小为∣X∣/2|\mathcal{X}|/2∣X∣/2的训练集，存在域X\mathcal{X}X中的分布D\mathcal{D}D，则有 存在一个函数f:X→{0,1}f:\mathcal{X}\rightarrow \{0,1\}f:X→{0,1}，且有LD(f)=
2022-02-22 21:55:29
2137
原创 清华大学出品：罚梯度范数提高深度学习模型泛化性
论文方法L(θ)=LS(θ)+λ⋅∥∇θLS(θ)∥pL(\theta)=L_{\mathcal{S}}(\theta)+\lambda \cdot \|\nabla_\theta L_{\mathcal{S}}(\theta)\|_pL(θ)=LS(θ)+λ⋅∥∇θLS(θ)∥p∥h(θ1)−h(θ2)∥2≤K⋅∥θ1−θ2∥2\|h(\theta_1)-h(\theta_2)\|_2\le K \cdot \|\theta_1 - \theta_2\|_2∥h(θ1)−h(θ2)∥2≤
2022-02-13 18:36:40
10277
17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人