- 博客(7)
- 收藏
- 关注
RSS订阅原创 BERT模型
BERT是基于Vaswani et al(2017)的论文"Attention is all you need"中提出的transformer模型构建的多层双向transformoer encoder。就是说BERT只是一个NLP方向的编码器。他能对单独句子进行表征，也可以对问答等进行表征。具体可以看论文论文题目：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文发表时间：2018年10月1
2020-08-03 20:24:43
208
原创 TensorFlow实现HAN文本分类
HAN模型结构HAN模型总共包含三层，分别是词汇层、句子层和输出层，其中词汇层和句子层都包含一层encoder和一层attention层在词汇层，HAN首先将文本分为K个句子，每个句子的长度为T，然后在词汇层，每个句子分别会进入一层encoder层和一层attention层，最终得到该句子的一个向量表示s_i。记数据集为D，其中N表示数据集的大小，x表示文本的词汇序列，y表示文本的标签。在encoder时，记g _ { w }为encoder层的变换函数，则对于一个文本中的第i个句子\left{ w
2020-07-31 19:57:23
489
转载 使用机器学习完成中文文本分类
文章参考：https://blog.csdn.net/weixin_40924580/article/details/83049592https://blog.csdn.net/ywangjiyl/article/details/107546396机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。机器学习通过历史数据训练出模型，然后利用学习获得的模型对新数据进行预测机器学习模型机器学习是对能通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对应于人类对经验进行归纳的
2020-07-25 19:21:20
582
原创 ancanda里面安装torchtext
conda install -c derickl torchtext这是我们大家查博客或者百度时能够找到的安装命令一般有可能遇到让我们去anacuda官网搜索其他包的问题这里贴出一个新的安装命令conda install -c pytorch torchtext在这里插入代码片...
2020-03-06 18:58:39
1939
原创 伯禹第三次打卡
GAN生成对抗网络：只是提出一种网络架构。GAN简单的想法就是用两个模型，一个是生成模型，一个是判别模型，判断模型用于对数据的判断，生成模型则是模型自己去产生数据。这两个模型一同对抗， 生成模型生成的数据去欺骗判别模型，判别模型去判断数据的真假，从而二者共同完善从而达到稳定。判别模型比较好理解，就像分类一样，有一个判别界限，通过这个判别界限去区分样本。从概率角度分析就是获得样本x属于类别y...
2020-02-25 12:34:45
80
原创 伯禹学习第二次打卡
seq2seq模型定义sequence to sequence模型是一类End-to-End的算法框架，也就是从序列到序列的转换模型框架。应用场景机器翻译聊天机器人文本摘要生成图片描述生成诗词生成故事风格改写代码补全思路seq2seq可以说是基于RNN提出的生成序列的模型，一般来说，对于基础的RNN我们可以输入一段序列数据得到一个输出结果，而seq2seq则可以输出一段序列...
2020-02-18 16:00:24
130
1
原创 梯度消失
梯度消失因为疫情的原因，最近在家学习，并在伯禹平台上学习深度学习。在循环神经网络这一节内容中的课后习题，我遇到一个新的名词：梯度消失，但是课程中并没有提到相关内容，于是我自己查了查，作为日志。我们知道神经网络有输入层、隐藏层、输出层3层结构，反向传播算（BP算法）是从输出层到输入层逐层进行误差传递以及更新权重，无论是机器学习还是深度学习，都是在一次次的训练中根据前一次的误差进行梯度下降以及权重...
2020-02-14 15:35:21
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人