- 博客(4)
- 收藏
- 关注
RSS订阅原创 DeiT小总结
ViT成功的将Transformer引入了计算机视觉领域，但是很多人发现ViT复现很是困难，一个就是它需要的计算复杂度很高，8块V100需要训练85天，二就是很不稳定。DeiT就提出了一系列改进来解决这方面的问题，使得ViT真正开始起作用了。 1.DeiT选取了更好的超参数可以保证模型能够更好的收敛 2.DeiT做了许多的数据增广可以使得模型能够在更小的数据集上面训练 ...
2021-12-19 11:56:37
2256
原创 深度学习编程小tips
ViT网络paddle代码 加入位置信息 在ViT中引入一个额外的token用来学习全局信息从而进行分类 Mutil Head Attention #基于paddle #2021/12/13 #注：该代码是paddlepaddle官方开的ViT课程中老师编写的，我只是把它搬运过来以防丢失，方便随#时查找 import paddle import paddle.nn as nn import numpy as np from PIL import Image from a...
2021-12-16 12:55:58
1594
原创 论文精度——Is it Time to Replace CNNs with Transformers for Medical Images?
卷积神经网络(CNNs)已经在自动医学图像诊断的领域统治了十来年。最近，基于Transformer的模型(ViTs)已经成为CNNs的一个有竞争力的替代品，它同样具有相当高的性能水平，同时具有一些有趣的特性，可能有助于更好的完成医学成像任务。在这项工作中，我们探索是否该转向基于transformer的模型，或者我们是否应该继续使用CNNs——我们能简单地切换Transformers吗?转而使用transformers有什么优点和缺点?我们在三种主流医学图像数据集上进行了一系列的实验来思考这些问题。我们的研究
2021-12-12 14:20:49
2540
原创 论文精读系列——Masked Autoencoders Are Scalable Vision Learners
神奇的MAE，是什么使得它能够屠榜？它怎么做到从一点点像素点中还原出整张图片？在它的基础上还有那些问题值得思考？
2021-12-12 00:13:00
2279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人