- 博客(18)
- 收藏
- 关注
RSS订阅原创 对ResNet和DenseNet的一点比较
ResNet和DenseNet有一点显著的不同，那就是Residual Block比Dense Block要小得多
2019-04-08 17:20:20
8723
5
原创 数据不匹配与卷积“平移不变”
最近为了做人脸属性转换，训练了一个人脸性别识别的分类器，在这个过程中，对训练数据与目标数据分布不匹配以及如何解决有一点感想，在这篇文章中做一下分享。因为人脸属性转换使用CelebA作为数据集，所以分类器也使用相同的数据集，在CelebA上训练以及降低方差都没什么难度。但使用CelebA之外的人脸图片测试时则表现很差，比如对下面图片（都是从互联网上手动收集，希望没有触犯什么版权。。。）判别男女时几...
2019-03-22 23:06:25
1934
原创 破解VAE的迷思
IntroVAE https://arxiv.org/abs/1807.06358生成质量很高，但可以看出还原人像还是有些不像，因为潜空间编码只有512（for 1024 x 1024 image）或256（for 128 x 128 image）CVAE-GAN https://arxiv.org/abs/1703.10155也一样，实际上它根本没给还原结果因为信息有所损失，所以它们两个...
2019-02-10 00:08:19
3615
原创 AI生成模型之人脸变换
18年6月的时候，在时光网看到一篇文章《漫威英雄男变女》，觉得很有意思，用深度学习做的话也不难。当时就有两个思路：一是使用VAE，操作属性向量二是直接在损失里面加一个性别变化的目标另外，不使用像素的L2距离做损失，而是使用一个人脸识别网络。等到我真的动手做的时候发现，这些想法别人早都已经有过了，参考相关工作，特别是StarGAN的工作简直是完美。现在的深度学习领域就是这样，你稍微想一想...
2019-02-09 20:13:34
4638
原创 VAE的哲学，GAN的哲学
深度生成模型希望通过学习真实数据的分布，来产生和真实数据分布一致的样本。本文对两种生成模型：VAE和GAN做定性的介绍。对于生成模型，我们不仅希望产生的样本的分布尽量和真实数据（这里需要注意真实数据和训练集数据的区分）分布重合...
2019-01-31 11:29:52
1489
原创 人脸转换GAN
目前有很多效果不错的GAN可以做人脸translation，下面三个（StarGAN有点老，大概一年前吧）很有意思，值得借鉴。TL-GAN直接使用GAN，后面接一个特征鉴别网络，来提取潜空间变量的意义，这样就可以控制潜空间变量生成图像。缺点是只能生成，不能从原图像转换。TL-GAN使用了一个预训练MobileNet，然后接了GlobalAveragePooling2D和全连接，训练面部属性鉴别...
2019-01-15 16:51:45
4690
原创 卷积网络做Dropout的新利器——DropBlock
谷歌团队最近提出了一种用在卷积网络上的新的dropout方法——DropBlock，我觉得很有必要向大家介绍一下。简单的说，Dropout强迫神经网络不单独依赖某一个特征，从而提高网络的泛化能力，但使用卷积网络处理的数据（不仅仅是图像数据）通常具有空间上的关联性，因而对于位于某一空间区域的对象，随机丢弃难以drop掉该对象的信息，Dropout的目的也就不能充分达到。DropBlock则drop...
2018-11-09 22:57:15
1887
原创 深度学习探秘：以DenseNet为实例的运算性能与模型结构分析
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2018-10-18 22:49:46
1122
原创 DenseNet模型分析
4. DenseNet模型分析这是本系列的最后一篇文章，我会针对DenseNet中的密集连接和瓶颈层进行一些分析探讨，进而引发出对DenseNet网络结构的一些可能的改进。4.1 密集连接DenseNet的核心概念就是两点：一是把ResNet的跨层连接从Add变成Concatenate二是把前面每层都这样直接连接到后面这样使得网络中的任一层都可以使用低层的信息。transition...
2018-10-18 22:40:17
2235
6
原创 DenseNet性能分析
#3. DenseNet性能分析本节中的性能谈的不是正确率，而是运算速度之类的性能。##3.1 DenseNet内存使用分析###3.1.1 深度学习中的内存分析基础首先，让我们理解一下深度学习训练中，显存都消耗在哪了？一是参数本身。对卷积层来说，每一层卷积的参数数量为 kernel_szie × kernel_szie × Channel_In × Channel_Out，注意卷积层...
2018-10-18 22:35:36
7251
11
原创 DenseNet训练实践
在Cifar10上训练DenseNet，复现DenseNet论文的结果是后面两篇分析工作的基础，因此本系列的第一篇，将首先讨论深度学习的训练过程中的几个方面：1. 数据集1.1 Cifar10数据集Cifar10数据集有6万张32X32的图片，是一个小型的数据集，但数据的复杂度足够，下图来自DenseNet论文，可以看出，不用数据增强的话，ResNet的正确率也很难超过90%，因而足以用来验...
2018-10-16 22:09:48
11070
6
原创 NLP的新时代
这是一篇三个月前的文章：《NLP领域的ImageNet时代到来：词嵌入「已死」，语言模型当立》，我就不搬砖了，写得很好，建议大家先看一下。简单说就是作者总结并预言NLP的预训练模型已经可以使用，大家不用再从头训练了，今后就可以像图像领域一样使用迁移学习，快速构建自己的应用。作者的话言犹在耳，谷歌的BERT就横空出世了！《NLP历史突破！谷歌BERT模型狂破11项纪录，全面超越人类！》为了方便读...
2018-10-14 17:57:02
580
原创 SRNN——RNN的新革命
新智元的这篇文章《比RNN快136倍！上交大提出SRNN，能做并行计算》已经对SRNN做了足够的介绍，简单说就是以下4步：把整个序列分成n个子序列并行的在每一个子序列上运行RNN（LSTM，GRU或者任何其他RNN单元都可以）把每个子序列的输出作为新的序列，重复步骤1，2上述过程可以重复k次，形成k层RNN序列，每层的RNN参数可以不同因此，该结构可以实现高度的并行，整个序列中的...
2018-09-13 16:01:48
1503
原创 平行宇宙中的一滴水
先引用一段小说山爷取出了一个平时盛水的陶碟，陶碟里装的却是火麻籽榨出的油，然后将一根草茎一半浸入油中、另一半伸出碟沿外。这种草茎的内部纤维很密实萱软、吸水性非常好，能将火麻油都吸透其中。然后山爷取出燧石以火麻丝引火，点燃了草茎。 草茎并没有迅速地燃烧，顶端升起了一朵火苗，昏暗的光线将整个石屋中的东西都隐约照亮了。虎娃看得是目瞪口呆，惊讶的问道：“山爷，这是什么？” 山爷答道：“这是灯，...
2014-10-31 17:51:29
1881
原创 柳河东独钓寒江雪，范文正心怀天下忧！
先转载一篇，耐心看完后，再看后面就明白了IT外企那点儿事(21): 为什么受伤的总是我当一个人怀着大侠的心，却拥有着凡人的身的时候，便在风雨飘摇的江湖中不免受伤了。…于是程序员们在公司里面工作郁闷，而在外面找工作的时候又屡屡碰壁的时候，便从一个孤傲者，变为一个受伤害者，于是往往呈现出以下的情况：•拍案而起的闻一多，大吵大闹，自杀式袭击：所谓光脚的不怕穿鞋的，你是管理者，在公司有级别...
2014-01-03 14:45:55
1057
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人