- 博客(30)
- 资源 (4)
- 收藏
- 关注
RSS订阅翻译 C/C++以链接库的形式调用Go代码
参考: https://gist.github.com/geraldstanje首先编写go代码, 保存并命名为 test.go, 代码如下package mainimport "C"import ( "sort" "fmt")//export Addfunc Add(a, b int) int { return a + b}//export Subfunc Sub(a, b int) int { return a - b}//export Pri
2021-06-17 09:23:22
420
1
原创 Windows cmake 编译慢无响应文件下载失败?
大多是因为下载不通畅导致, 可以设置cmake通过代理即可, 在Windows命令行输入以下命令:$HTTP_PROXY="http://localhost:10808",cmake下载文件即可通过代理进行, 注意代理地址根据自己的实际情况进行更改.
2021-06-14 20:39:09
1524
原创 [解读] 浅析变分自编码器 (VAE)
变分自编码器 (VAE)VAE 开篇论文:(1312) Auto-Encoding Variational Bayes(1401)Stochastic Backpropagation and Approximate Inference in Deep Generative ModelsVAE 教程 (1606) Tutorial on Variational AutoencodersVAE 综述 (1906) An Introduction to Variational Autoencoders
2020-06-30 21:53:42
985
1
原创 [解读] Improving the Robustness of Capsule Networks to Image Affine Transformations
本文从理论和实验上表明了动态路由机制对胶囊网络的泛化性和对数据仿射变换的健壮性都没有起到太大的作用, 并且提出了两个小改进, 一个是对所有胶囊使用同一个矩阵进行线性变换, 另一个是取消了动态路由, 使用平均池化处理前一层的胶囊.论文链接: https://arxiv.org/abs/1911.07968v3相关工作有很多工作致力于改进路由迭代算法. 例如文献 [27] 将已有的路由算法归纳为一个加权的核密度估计框架, 并且提出了两个使用不同优化策略的快速路由算法. 文献 [6] 提出了一种基于注意力机
2020-06-26 11:13:51
379
原创 [解读] Capsules with Inverted Dot-Product Attention Routing
本文提出一种新的胶囊网络路由算法, 主要有以下三个亮点: 首先通过一个反向的点积注意力来设计路由, 其次使用层规范化方法, 最后使用并发迭代路由的方法来取代序列式的迭代.论文链接: https://arxiv.org/abs/2002.04764v2开源代码:https://github.com/apple/ml-capsules-inverted-attention-routinghttps://github.com/yaohungt/Capsules-Inverted-Attention-Rou
2020-06-21 21:57:28
836
原创 [解读] Graph Attention Networks
本文提出一种图注意力网络 (GAT), 可用于图结构数据的节点分类任务, 解决了先前基于图卷积模型的缺点. 注意力机制能够给每个邻节点不同的可学习的权重, 增强了网络的表达能力, 避免了大规模的矩阵运算.链接: https://arxiv.org/abs/1710.10903v3开源代码: https://github.com/Diego999/pyGAT相关工作自注意力机制的一大优势是它能够聚焦于最相关的部分来帮助做决策. 自我注意已被证明对于诸如机器阅读 (Cheng et al., 2016)
2020-06-06 21:54:07
478
原创 [解读] Semi-Supervised Classification with Graph Convolutional Networks
作者受到谱图卷积的局部一阶近似的启发, 提出一种可扩展的图卷积网络, 可用于具有图结构数据的半监督学习.论文链接: https://arxiv.org/abs/1609.02907v4相关工作本文考虑节点分类的半监督问题, 即所有节点中只有一部分的标签是已知的. (Zhu et al., 2003; Zhou et al., 2004; Belkin et al.,2006; Weston et al., 2012) 等提出的方法, 标签信息通过某种显式的正则化基于图的正则化项来表达, 并且标签 信
2020-06-06 21:53:25
552
1
原创 [解读] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks
尽管生成对抗网络 (GANs) 在图像合成任务中取得了巨大成功, 但它们在适应不同数据集方面却异常困难, 部分原因是训练期间的不稳定以及对超参数的敏感性. 引起这种不稳定的一个普遍认为的原因是, 当真实和生成分布的支撑没有足够的重叠时, 从鉴别器到生成器的梯度将变得无用. 本文提出了多尺度梯度生成对抗网络(MSG-GAN), 这是一种简单但有效的技术, 通过允许从鉴别器到生成器的梯度流向多个尺度来解决此问题, 该技术为高分辨率图像合成提供了一种稳定的方法, 并且可以替代常用的渐进式生长技术. 实验表明 M
2020-05-30 08:38:24
3679
原创 [解读] The relativistic discriminator: a key element missing from standard GAN
在标准的 GAN 中, 鉴别器用来估计输入样本为真实样本的概率, 生成器用来生成逼真的样本, 来提高被鉴别器鉴别为真实样本的概率. 然而本文提出生成器应该同时降低真实样本的真实性的概率.首先因为这符合一个先验知识, 即在一个批次中有一半数据是真实的, 并且可以用散度最小化来验证这个设想, 在最佳设置中, 标准的 GAN 等效于积分概率度量 (IPM) 的 GAN.作者表明相对鉴别器 (relativistic discriminator) 能够产生这样的效果, 即用来估计真实样本比虚假样本更真实的概率.
2020-05-30 08:30:58
4404
原创 [解读] Multi-objective training of Generative Adversarial Networks with multiple discriminators
本文研究了多目标优化问题, 即通过使用多个鉴别器来提升生成样本的质量, 提出一种超体积最大化方法来进行训练, 这个优化方法在训练速度和生成样本质量之间达到了较好的权衡.论文链接: https://arxiv.org/abs/1901.08680v1相关工作在最近的研究中已经进行了大量的研究来克服 GAN 框架内的不稳定性, 诸如 BEGAN (Berthelot et al., 2017) 之类的一些架构已将自动编码器用作鉴别器, 并提出了新的损失函数以帮助稳定训练. 诸如 TTUR (Heusel
2020-05-22 12:27:56
690
原创 [解读] You Only Train Once Loss-Conditional Training of Deep Networks
传统的机器学习问题中, 损失函数往往是多个损失项的线性组合, 而权重系数却需要人工提前确定, 这就会带来一些问题, 比如这些权重如何影响最终的训练结果是不得而知的, 如何选择一组好的权重也是个困难的问题. 本文提出一种方法来解决这个问题, 通过对模型做简单的改动, 随机采样权重系数来参与模型训练. 通过理论分析证明这个方法能够实现与传统方法相当的性能, 并且没有需要人工确定权重的困扰.论文链接: https://openreview.net/forum?id=HyxY6JHKwr相关的工作与我们的方法
2020-05-15 21:35:20
946
1
原创 [解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation
本文提出一种寻找差异的生成式对抗网络(Difference-Seeking Generative Adversarial Network, DSGAN), 与传统的 GAN 不同, 这种网络用来生成未被发现的 (训练集以外的) 样本, 这些样本可以用来帮助半监督学习和新颖性检测以及对抗训练. 注意对这些未被发现的样本的分布不做任何要求.论文链接: https://openreview.net/forum?id=rygjmpVFvB相关的工作已经证明，看不见的样本可以应用于多种应用. Dai et al
2020-05-15 21:33:26
276
原创 [解读] Positional Normalization
规范化 (Normalization) 方法是加速深度神经网络训练的常用方法, 已经有许多归一化方法的变体, 但它们都只是跨空间的规范化, 并且会丢弃掉规范化计算过程中得到的统计信息. 本文提出一种与众不同的跨通道的规范化方法, 作者认为这是一种很自然的想法, 因为这将能够从图像或特征图的某一位置提取到一阶和二阶矩, 捕获到某种结构信息.论文链接: https://arxiv.org/abs/1907.04312v2Github 项目地址: https://github.com/Boyiliee/PON
2020-05-09 11:56:11
1616
原创 [解读] Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks
论文链接:本文提出一个新奇的方法来加快神经网络的训练速度, 基于这样一个想法, 即对输入进行白化处理有助于加快收敛速度. 已知独立的随机变量之间一定是白化的(不相关的), 所以对网络输入进行独立成分分析能够获得白化的输入. 然而进行独立成分分析是十分耗时的, 为此作者提出一种被称为 Independent-Component (IC) 的神经网络结构来实现, 这个结构是批归一化和 dropout...
2020-05-07 00:02:37
879
1
原创 直观解释矩阵的特征值与特征向量
矩阵的特征值与特征向量究竟意味着什么?我的脑子比较笨, 很多东西一定要解释地特别直观, 否则我就是一头雾水. 尤其是矩阵的特征值与特征向量, 是线性代数中非常重要的概念. 我下决心要搞明白它到底有什么直观的含义.现在只考虑二阶方阵, 并且特征值都是实数. 即假设A=(4−211),A =\left( \begin{matrix} 4 & -2 \\1 & 1\end{mat...
2020-05-02 17:15:58
1042
原创 [解读] Coupled Generative Adversarial Networks
论文链接: https://arxiv.org/abs/1606.07536v2Github 项目地址: https://github.com/mingyuliutw/cogan本文提出耦合的生成对抗网络(CoGAN), 以学习多域图像的联合分布. 与现有方法不同, 后者需要训练集中不同域中对应图像的元组, 而 CoGAN 可以学习联合分布而无需任何对应图像的元组. 它可以仅从边际分布中抽取样...
2020-04-27 22:49:36
1375
原创 [解读] Why Adam Beats SGD for Attention Models
链接: https://arxiv.org/abs/1912.03194v1本文解释了为什么 Adam 优化方法比 SGD 要更有效, 简单说是因为 SGD 中的梯度范数的偏差太大导致的, 也就是说梯度向量的范数或者某些分量过大. 基于这个分析提出一个新的梯度裁剪方法, 效果比 Adam 还要好.相关的工作随机梯度下降 (SGD) 是用于训练神经网络的规范算法 (Robbins &...
2020-04-25 21:00:23
723
原创 [解读] Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One
链接: https://arxiv.org/abs/1912.03263v2本文提出一个解释常用分类模型的新思路, 将之解读为一种基于能量模型, 得到一个生成模型和判别模型的混合模型, 这种混合模型的训练, 能够同时提高分类精度和样本生成质量.相关的工作(Xie et al., 2016) 做了一个相似的解读, 但是模型定义并不相同, 他们定义了一个基于条件的模型 p(x∣y)p(\math...
2020-04-25 20:59:36
1482
1
原创 [解读] Dynamic Convolution: Attention over Convolution Kernels
链接: https://arxiv.org/abs/1912.03458v2本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升.相近的工作动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制.与 SENet 不同的是, 动态卷积处理的对象是卷积...
2020-04-25 20:58:06
5081
1
原创 [解读]Mean Shift Rejection:Training Deep Neural Networks Without Minibatch Statistics or Normalization
链接: https://arxiv.org/abs/1911.13173v1深度卷积网络在较高的学习率下训练不够稳定, 使用归一化技术可以改善这一情况, 加快收敛. 批归一化 (Batch Normalization) 需要一定量的样本进行归一化计算, 这增加了额外的计算和内存消耗, 对于分布式计算, 也产生了通信的瓶颈. 本文给出了一种新的训练不稳定的解释, 认为是一种均值偏移的积累导致训练不...
2020-04-25 20:56:38
180
原创 [解读] ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
链接: https://arxiv.org/abs/1809.03627v2ClusterGAN 是一个 GAN 的变体, 通过使得生成样本反推的隐变量在隐空间中具有明显的簇的特征, 来提升 GAN 的性能.相关工作InfoGAN [4] 是一个研究在隐空间中进行可解释性的表征学习的开创新方法, 目标是创建可解释性的和可解的隐变量. 虽然 InfoGAN 使用了离散的隐变量, 但它不是为聚类...
2020-04-25 20:55:58
1756
原创 [解读] GTN: Generative Teaching Networks
链接: https://arxiv.org/abs/1912.07768v1参考:https://www.leiphone.com/news/201912/FBZsLSCZSgyD5fIq.htmlhttps://cloud.tencent.com/developer/news/492236Generative Teaching Network (GTN), 它可以生成数据和训练环境, 让...
2020-04-25 20:53:00
1279
原创 [解读] Your Local GAN: Designing Two Dimensional Local Attention Mechanisms for Generative Models
链接: https://arxiv.org/abs/1911.12287v1项目地址: https://github.com/giannisdaras/ylg解读: https://www.leiphone.com/news/201912/FBZsLSCZSgyD5fIq.html相关的工作SAGAN [26] 是一个添加了自注意力的 GAN, SAGAN 中的注意力层是密集的, 它有一些...
2020-04-25 20:51:39
1499
原创 [解读] COEGAN Evaluating the Coevolution Effect in Generative Adversarial Networks
链接: https://arxiv.org/abs/1912.06172v1, https://arxiv.org/abs/1912.06180v1本文提出一种协同进化的生成式对抗网络(COEGAN), 将进化和协同训练应用到 GAN 中, 该方法将能够克服 GAN 训练中遇到的梯度消失和模型崩溃问题, 能够生成更有效的网络结构. 试验结果表明该方法训练稳定并且表现优秀.相关的工作Neuro...
2020-04-25 20:50:55
449
原创 [解读] Deep Unsupervised Clustering with Clustered Generator Model
链接: https://arxiv.org/abs/1911.08459v1本文研究在深度生成网络中嵌入类别隐变量从而实现无监督聚类学习生成模型.相关的工作Conditional-VAE (CVAE) [23] 考虑了离散的用于聚类的类别隐变量, 与本文非常相近, 但它是一种监督和半监督学习, 标签是事先给定的. HashGAN [5] 结合了 Pairs of Conditional Wa...
2020-04-25 20:49:15
509
原创 [解读] Unsupervised Feature Learning via Non-Parametric Instance Discrimination
Unsupervised Feature Learning via Non-Parametric Instance Discrimination链接: https://arxiv.org/abs/1805.01978v1解释链接: https://blog.csdn.net/qq_16936725/article/details/51147767本文提出了一种视觉特征的无监督学习算法, ...
2020-04-25 20:47:01
1818
原创 [解读] Deep Clustering for Unsupervised Learning of Visual Features
链接: https://arxiv.org/abs/1807.05520v2本文通过在传统的卷积网络中嵌入 k 均值聚类算法, 得到伪标签, 实现无监督的视觉特征学习, 也是一种自监督学习.相关的工作有不少无监督特征学习方法, 例如 [10] 中也使用了 k 均值聚类来预训练卷积网络, 但训练是逐层进行的, 而不是端到端的. 在 [3,16,35,66,68] 中也通过学习卷积特征进行图像...
2020-04-25 20:43:32
1985
1
原创 BP神经网络基础和数学原理
BP神经网络基础和数学原理BP神经网络(Back Propagation, 反向传播), 是一种前馈型神经网络, 也是全连接层的结构. 感知器, BP神经网络, 卷积神经网络和径向基网络都是常见的前馈型神经网络, BP神经网络也是一种多层感知器.基本概念上图是一个简单的BP神经网络结构, 由输入层、隐藏层、输出层组成,其中每个绿色的圆圈是一个神经元, 蓝色的连接线表示数值的传递. 输入层有...
2020-03-15 17:15:08
978
原创 卷积神经网络 (CNN) 基本原理和公式
卷积神经网络(CNN)基本原理和公式推导卷积神经网络是一种前馈型神经网络, 受生物自然视觉认知机制启发而来的. 现在, CNN 已经成为众多科学领域的研究热点之一, 特别是在模式分类领域, 由于该网络避免了对图像的复杂前期预处理, 可以直接输入原始图像, 因而得到了更为广泛的应用. 可应用于图像分类, 目标识别, 目标检测, 语义分割等等. 本文介绍可用于图像分类的卷积神经网络的基本结构.深度...
2020-01-09 23:26:17
96029
10
原创 如何计算任意两个矩形的IOU值？
如何计算任意两个矩形的IOU值？上图中是两个矩形，这两个矩形可以是任意大小的，也可以不相交, 但四条边要与坐标轴平行.IOU的计算公式为两个矩形交的面积与并的面积之比，即淡黄色区域面积与浅蓝色和淡黄色区域面积和的比值。下面给出伪代码，可适用于任何情形：xA = max(x11,x21)yA = max(y11,y21)xB = min(x12,x22)yB = min(...
2018-09-29 09:51:50
4635
8
Java手机游戏软件改键值
2011-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人