k1125403307-CSDN博客

原创 Task06/07-批量归一化和残差网络；凸优化；梯度下降; 优化算法进阶；word2vec；词嵌入进阶

本文记录学习下面六个任务过程中思考过的问题及大家讨论过程中学习到的知识点，欢迎指正。批量归一化和残差网络；凸优化；梯度下降;优化算法进阶；word2vec；词嵌入进阶基础知识部分直接参考Dive-into-DL-PyTorch做完batach nornamlization后为何又拉伸/偏移？理论证明详见论文：Batch Normalization: Accelerating ...

2020-02-23 11:36:53 225

原创 pytorch-知识点笔记4/5-卷积神经网络基础；leNet；卷积神经网络进阶机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

本文记录学习下面三个任务过程中思考过的问题及大家讨论过程中学习到的知识点，欢迎指正。过拟合欠拟合及其解决方案梯度消失、梯度爆炸循环神经网络进阶基础知识部分直接参考Dive-into-DL-PyTorch如何构建Vocab时使得总得查询次数最少根据词频，和构建Huffman树同样思想，所以此处增加sortclass Vocab(object): # This class is sa...

2020-02-16 18:28:18 263

原创 pytorch-知识点笔记3-过拟合欠拟合及其解决方案/梯度消失、梯度爆炸/循环神经网络进阶

本文记录学习下面三个任务过程中思考过的问题及大家讨论过程中学习到的知识点，欢迎指正。过拟合欠拟合及其解决方案梯度消失、梯度爆炸循环神经网络进阶基础知识部分直接参考Dive-into-DL-PyTorchnet.eval()与net.train()是如何实现开关dropoutnet.eval()-> train(self, mode=False)-> self.train...

2020-02-14 22:36:50 722

原创 pytorch-知识点笔记2-文本预处理/语言模型/rnn

本文记录学习下面三个任务过程中思考过的问题及大家讨论过程中学习到的知识点，欢迎指正。文本预处理语言模型rnn基础知识部分直接参考Dive-into-DL-PyTorchngram的缺点以及如何解决gram模型的缺点：参数系数，参数空间过大，存储和内存吃不消参数空间过大数据稀疏但如何解决上述问题，只需要加入平滑方法，如Additive smoothingGood-Turi...

2020-02-14 17:33:39 332

原创 pytorch-知识点笔记1-线性回归/Softmax与分类模型/多层感知机

本文记录学习过程中遇到的过的问题及大家讨论过程中学习到的知识点线性回归Softmax与分类模型多层感知机pytorch矩阵4种乘法的区别：*, torch.mul, torch.mm, torch.matmul简单理解：前两者是点成，后两者是矩阵乘法具体可参考： torch.Tensor的4种乘法以下定义方式等价torch.randn(size=[3,4]) # torch.r...

2020-02-13 23:21:32 630