will_jay1995-CSDN博客

原创基于pytorch的自然语言处理——损失函数

文章目录前言一、意义？二、均方误差损失三、分类交叉熵损失四、交叉熵损失总结前言在面试题中会出现介绍损失函数并且进行对比的情况，在这本书中提到了，就简单做下介绍，反正我是不能靠这个赚钱了，但是也是一种热爱，尽力了解吧，没有人指导怕是要放弃了，没有奢望。一、意义？如何帮助指导训练算法通过查看数据来选择正确的参数。二、均方误差损失mean squared error MSE预测值与目标值之差的平方的平均值解决回归问题，比如平均均方误差（MAE）和均方根误差（RMSE）三、分类交叉熵损失用于

2021-03-28 20:07:44 297

原创自然语言处理实战——LSTM

文章目录前言一、LSTM凭什么可以替换RNN？二、LSTM的神秘之处是什么？三、一些细节1.脏数据2.dropout3.未知词条4.字符级建模5.使用one-hot向量6.数据集较小总结前言前文提到过用CNN、RNN、来解决隐藏在文本背后的语义问题，进而进行模型的训练。LSTM在解决长距离文本存在的依赖。LSTM在所有涉及时间序列、离散序列和NLP领域问题的应用中都取代了RNN。一、LSTM凭什么可以替换RNN？LSTM主要解决两个问题：在模型训练的过程中选择记住什么以及学习预测目标标签（学习

2021-03-25 10:30:53 2413

原创自然语言处理实战——循环神经网络RNN

文章目录前言一、RNN优点是什么，为什么要介绍RNN？二、RNN步骤1.倒入模块2.数据处理模块3.数据分词和向量化4.目标变量解压缩5.加载和准备数据6.初始化网络参数7.加载测试数据和训练数据8.初始化一个空的Keras网络9.添加一个循环层10.dropout层三、超参数总结前言前文介绍了如何用神经网络解决计算机识别数字化的文字背后的逻辑，本文针对CNN提出更高级的RNN。一、RNN优点是什么，为什么要介绍RNN？RNN相比CNN有哪些优势？CNN是通过获取局部关系来发掘顺序关系的，

2021-03-24 08:51:47 472

原创自然语言处理实战——卷积神经网络（CNN）

文章目录前言一、卷积神经网络是什么？二、卷积神经网络的细节。1.构建块2.步长3.卷积核的组成4.填充5.学习6.窗口三、卷积神经网络的流程1.准备数据2.向量化数据3.划分训练/测试集合4.设置CNN参数5.填充及截断词条序列6.构建一维CNN7.dropout8.输出9.编译CNN10.优化11.拟合12.训练CNN13.保存模型14.加载模型15.测试样本16.预测1.引入库2.读入数据总结前言前文表述过语言的意义隐藏在文字的背后，蕴藏在形成词的特定组合意图和情感中。在感知机逐渐发展为前馈网络

2021-03-23 20:55:15 991

原创自然语言处理实战——词向量推理（word2vec）

文章目录前言一、为什么介绍词向量推理（W2V）？二、如何得到W2V？三、是否有其他更优秀的词向量表示呢？四、补充总结前言还是以回答几个问题的形式介绍词向量一、为什么介绍词向量推理（W2V）？词向量推理（W2V）的优势是什么？似乎回答了这个问题就能解释词向量出现的意义和价值。第一点：前人所使用表示词的方法中全部忽略了上下文或者附近词的信息，都是以单个词的词义来表示单词的。第二点：LSA过大的词袋，词的部分含义也会消失。综上所述，W2V解决了不仅可以表示上下文之间的关系而且还能表示更大词袋的

2021-03-21 11:00:56 394

原创自然语言处理实践——词频背后的语义

文章目录前言一、怎样表示语义？二、多主题语义如何表示？三、这些方法的用途？总结前言在文章中表示词义的方法很简单，例如onehot就可以解决，但是在复杂的长篇的文章中想要表示相近词的意思使用简单的词义表示方法会更加困难，所以如何表示语义变成了亟需解决的问题。所以本文将重点讲述这个问题。前文使用了TF-IDF向量和矩阵，表明每个词对于文档中的一小段文本总体含义的重要程度。主要提到的一些名词：LSA（latent senmatic analysis）:隐性语义分析LDA（linear dis

2021-03-16 14:41:12 180

原创自然语言处理——词中的数学

自然语言处理——词中的数学将自然语言的文本转换成数值，可以对他们进行处理并计算；主要介绍如何将文字转化为计算机可以理解的数值; 介绍这些数值的作用和用途。文章目录自然语言处理——词中的数学前言一、词这种原材料如何获取？二、计算机如何认识词袋？==**为什么用向量表示词？**====**那么为什么要解决矩阵稀疏的问题？**==三、词向量可以用来做什么？四、为何提出TF-IDF？五、词向量与TF-IDF如何联系？【总结】前言词是指文章中的词，什么样的词可以在文章中占有重要地位？现在以数学方

2021-03-13 15:02:08 501

will_jay1995的博客