- 博客(2)
- 收藏
- 关注
RSS订阅原创 xlnet
本文主要简析XLNet模型的动机，核心实现过程，以及优缺点。一. 动机目前，无监督表示学习中最成功有两种模型：AR自回归模型和AE自编码模型。自回归模型采用上文或下文信息预测当前词。典型模型例如GPT，ELMO，其中ELMO采用了两个方向自回归模型，本质上同样属于自回归。缺点在于不能同时利用上文或下文信息。而自编码模型属于利用上下文信息预测当前词信息，典型模型如BERT，在输入中随机Mask掉一部分单词，训练时根据上下文单词来预测被Mask的单词。缺点在于预训练任务和真实场景之间存在偏差。因此，为了利用
2021-01-06 20:44:20
284
1
原创 聚类
本文旨在讲解k-mean算法前，对聚类算法的原理进行剖析。一. 说明和假设以例题入手进行剖析。样本分布函数假设为正态分布。二. 参数估计首先考虑样本的混合密度为p(x∣θ)=∑j=1cp(x∣ω,θi)P(ωi)p(x|\theta)=\sum_{j=1}^c p(x|\omega,\theta_i)P(\omega_i)p(x∣θ)=j=1∑cp(x∣ω,θi)P(ωi)则样本集的联合概率密度为：p(D∣θ)=∏k=1np(xk∣θ)p(D|\theta)=\prod_{
2020-12-07 12:59:50
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人