- 博客(20)
- 收藏
- 关注
RSS订阅原创 Transformer详解
目录模型结构Attention放缩点积Attention（Scaled Dot-Product Attetion）多头Attention（Multi-Head Attention）Transformer中的Attention嵌入和Softmax位置编码使用Self-Attention的原因Transformer内部细节Encoder内部细节残差网络E...
2019-10-30 15:45:06
2974
7
原创 Attention机制
目录Encoder-Decoder框架Soft-Attention模型Attention机制的本质思想Hard-Attention模型Local-Attention模型静态Attention模型Self-Attention机制为什么要引入Attention机制Attention机制有哪些Self-Attention在长距离序列中强大的原因Encoder-...
2019-10-29 21:42:35
676
1
原创 正则化
目录Batch_Size需要Batch_Size的理由在合理范围内，增大Batch_Size好处盲目增大Batch_Size的坏处归一化归一化的作用归一化的类型批归一化BatchNormalization为什么需要归一化BN层及使用位置批归一化BN的优点批归一化BN的缺点批归一化算法流程Weight Normalizaition和Bat...
2019-10-29 09:26:03
3773
原创 激活函数
目录为什么需要激活函数？为什么需要非线性激活函数常见的激活函数sigmoid激活函数tanh激活函数ReLU激活函数Leaky ReLU激活函数P-ReLU激活函数R-ReLU激活函数ELU激活函数Maxout激活函数SoftPlus激活函数softmax激活函数激活函数的性质选择激活函数为什么需要激活函数？1、激活函数可以引入非...
2019-10-28 21:30:45
407
原创 深层神经网络难以训练的原因
目录梯度消失梯度爆炸权重矩阵的退化导致模型的有效自由度减少解决梯度消失的方法解决梯度爆炸的方法梯度消失梯度消失：前面隐藏层的学习速度显著低于后面隐藏层梯度消失的根本原因：梯度爆炸梯度爆炸的根本原因：当，前面的网络层比后面的网络层梯度变化更快。权重矩阵的退化导致模型的有效自由度减少参数空间中学习的退化速度减慢，导致减少了模型的有效维数；有效自由度减...
2019-10-28 15:48:45
1552
原创 反向传播BP算法
目录反向传播的作用反向传播的公式推导误差反向传播输出层的权重参数更新隐藏层的权重参数更新输出层和隐藏层的偏置参数更新BP算法的四个核心公式BP反向传播算法流程反向传播解释梯度消失的原因反向传播的作用梯度下降法中需要利用损失函数对所有参数的梯度来寻找局部最小值点；而反向传播算法就是用于计算该梯度的具体方法，其本质是利用链式法则对每个参数求偏导。...
2019-10-28 15:07:42
288
原创 过拟合和欠拟合
图解欠拟合和过拟合1）横轴为训练样本数量，纵轴为误差欠拟合：高偏差过拟合：高方差2）横轴为模型复杂度，纵轴为误差A：欠拟合；C：过拟合；B：模型正常3）横轴为正则项系数，纵轴为误差降低过拟合的方法1）重新清洗数据，数据不纯会导致过拟合，此类情况需要重新清洗数据2）数据增强（增加训练样本数量）图像：平移、旋转、缩放利用生成对抗网络（...
2019-10-28 15:01:25
266
原创 逻辑斯蒂回归算法
逻辑斯蒂分布二元逻辑斯蒂回归模型二元逻辑斯蒂回归的损失函数及优化方法二元逻辑斯蒂回归的正则化逻辑回归也会面临过拟合问题，所以我们也要考虑正则化。常见的有L1正则化和L2正则化。逻辑回归的L1正则化的损失函数表达式如下，相比普通的逻辑回归损失函数，增加了L1的范数做作为惩罚，超参数作为惩罚系数，调节惩罚项的大小。二元逻辑回归的L1正则化损失函数表达式如下：...
2019-10-28 10:24:34
1830
原创 交叉验证
简单交叉验证首先，我们随机的将样本数据分为两部分（比如：70%的训练集，30%的测试集），然后用训练集来训练模型，在测试集上验证模型及参数。接着，我们再把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。S折交叉验证S折交叉验证会把样本数据随机的分成S份，每次随机的选择S-1份作为训练集，剩下的1份做测试集。当这一轮完成后，重新随机选择...
2019-10-24 20:38:51
312
原创 损失函数
损失函数适用于分类问题的损失函数以二分类为例，y∈{+1,−1}y\in \left \{ +1,-1 \right \}y∈{+1,−1}，损失函数通常表示为yf(x)yf(x)yf(x)的递减函数，我们希望sign(f(xi,θ))=yisign\left ( f \left ( x_{i}, \theta \right ) \right ) = y_{i}sign(f(xi,θ))=...
2019-10-24 15:39:43
249
原创 牛客网剑指offer编程实践51-66题
51、 构建乘积数组给定一个数组A[0,1,...,n-1],请构建一个数组B[0,1,...,n-1],其中B中的元素B[i]=A[0]A[1]...A[i-1]A[i+1]...A[n-1]。不能使用除法。解答：方法：B[i]**的值可以看作下图的矩阵中每行的乘积。**下三角用连乘可以很容求得，上三角，从下向上也是连乘。因此我们的思路就很清晰了，先算下三角中的连乘，即我...
2019-05-27 11:11:02
203
原创 牛客网剑指offer编程实践41-50题
41、和为S的连续正数序列小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck!解答：方法1：动态...
2019-05-27 10:38:36
145
原创 牛客网剑指offer编程实践31-40题
31、 整数中1出现的次数（从1到n整数中1出现的次数）求出1~13的整数中1出现的次数,并算出100~1300的整数中1出现的次数？为此他特别数了一下1~13中包含1的数字有1、10、11、12、13因此共出现6次,但是对于后面问题他就没辙了。ACMer希望你们帮帮他,并把问题更加普遍化,可以很快的求出任意非负整数区间中1出现的次数（从1 到 n 中1出现的次数）。解答：方法：设...
2019-05-24 20:20:44
135
原创 牛客网剑指offer编程实践21-30题
21、栈的压入、弹出序列输入两个整数序列，第一个序列表示栈的压入顺序，请判断第二个序列是否可能为该栈的弹出顺序。假设压入栈的所有数字均不相等。例如序列1,2,3,4,5是某栈的压入顺序，序列4,5,3,2,1是该压栈序列对应的一个弹出序列，但4,3,5,1,2就不可能是该压栈序列的弹出序列。（注意：这两个序列的长度是相等的）解答：# 【思路】借用一个辅助的栈，遍历压栈顺序，先讲第一个放...
2019-05-24 19:43:34
197
原创 牛客网剑指offer编程实践11-20题
11、二进制中1的个数输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。解答：方法：如果一个整数不为0，那么这个整数至少有一位是1。如果我们把这个整数减1，那么原来处在整数最右边的1就会变为0，原来在1后面的所有的0都会变成1(如果最右边的1后面还有0的话)。其余所有位将不会受到影响。举个例子：一个二进制数1100，从右边数起第三位是处于最右边的一个1。减去1后，...
2019-05-24 16:58:25
112
原创 牛客网剑指offer编程实践1-10题
牛客网剑指offer编程实践1-10题1、二维数组中的查找在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数解答：方法1：遍历整个二维数组，判断数组中是否含有该整数方法2：从二维数组的左下角tag开始判断，如果目标整数大于tag，t...
2019-05-23 21:27:18
112
原创 Hexo搭建git博客
本文主要内容是本站博客使用Next主题的个性化定制和部分优化细节。最后搭建的博客。注：如果上传到hexo搭建的gitblogshan上时，代码块内的html和js仍然会被解析，可以在代码块开头和结尾加上<xmp></xmp>标签，hexo就不会解析代码块内的内容，但仍然有些字符需要被转义。Hexo+github搭建个人博客 Hexo博客搭建的基础流程为： 安...
2019-05-22 10:33:07
399
转载 Word2016公式编号右对齐
1、输入公式和编号，公式和编号之间加入“#”符号（编号在公式内）2、把光标放在公式的最后（在公式内），按回车即可转载至：https://blog.csdn.net/vector_Lu/article/details/80330390...
2019-03-03 16:10:33
364
转载 Excel转换成Json工具
Excel转换成Json工具：可执行版本下载：https://github.com/neil3d/excel2json/releases完整项目源代码下载：https://github.com/neil3d/excel2json主要功能是：把Exce的l表单转换成json对象，并保存到一个文本文件中详细帮助文档请见：https://neil3d.github.io/app/excel2json.h...
2018-05-23 19:56:11
2989
1
原创 基于HMM的中文分词
隐马尔可夫模型（HMM）在中文分词中的应用隐马尔可夫模型的详细解释隐马尔可夫模型的一些范例介绍隐马尔可夫模型中有两个序列，一个是状态序列，另一个是观测序列，其中状态序列是隐藏的。用具体的例子来解释。 假设一个房间内有N个装有球的盒子，在这些盒子中分别有M种不同颜色的球，我根据某一个概率分布（初始概率分布，在中文分词中就是一句话中第一个字符对应的状态概率）随机地选取一个初始...
2018-05-19 17:33:04
15942
23
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人