- 博客(7)
- 收藏
- 关注
RSS订阅原创 【论文笔记】Switch Transformer, Google 2021
论文信息标题：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity作者：William Fedus, Barret Zoph, Noam Shazeer, (Google 2021)资源：paper、code摘要MoE (Mixture of Expert) 模型的特点：select different parameters for each incoming e
2022-02-11 16:35:15
2090
原创 卡尔曼滤波OpenCV源码解析
卡尔曼滤波OpenCV源码解析卡尔曼滤波核心OpenCV代码详解init()predict()correct()举个例子卡尔曼滤波核心参考文献：https://www.cs.unc.edu/~welch/media/pdf/kalman_intro.pdfhttps://blog.csdn.net/bendanban/article/details/44221279翻译原文没意思，关键要理解每个矩阵的含义，核心计算是下面的公式：OpenCV代码详解函数接口如下，主要的成员函数是：init()
2021-04-19 20:11:37
591
原创 从STN网络到deformable convolution
1 STN (Spatial Transformer Network)1.1 来源论文来源：https://arxiv.org/pdf/1506.02025.pdf 参考博客： 1. https://blog.csdn.net/ly244855983/article/details/80033788（论文解读） 2. https://blog.csdn.net/xbi...
2018-06-27 10:40:22
3756
原创 TensorFlow中的随机数 tf.random_uniform
TF中的随机数Tensorflow中提供了若干算子来生成均匀分布、正态分布的随机数，或者实现随机排列、随机挑选等功能。Operations Functions tf.random_normal Outputs random values from a normal distribution. 正态分布 tf.truncated_normal Outputs random values fr...
2018-06-04 19:13:48
8850
原创 Tensorflow激活函数 对比分析
1、ReLU (tf.nn.relu)优点：1）使网络可以自行引入稀疏性，提高了训练速度；2）计算复杂度低，不需要指数运算，适合后向传播。缺点：1）输出不是零均值，不会对数据做幅度压缩；2）容易造成神经元坏死现象，某些神经元可能永远不会被激活，导致相应参数永远不会更新。2、Sigmoid (tf.sigmoid)它的曲线呈现S形，将变量映射到(0,1)这个值域范围上。它的导数 f'(x)=f(x)...
2018-05-22 21:09:56
3332
原创 conv2d 从原理到实现 相关资料
1、基础原理http://www.datakit.cn/blog/2016/03/23/bp_cnn.html2、简单的conv2d使用例子http://brightliao.me/2017/04/15/understanding-gradients-of-conv2d-in-experiments/https://blog.csdn.net/mao_xiao_feng/artic...
2018-05-21 14:56:27
2084
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人