韬光养晦气-CSDN博客

原创语音生成，语音识别基础知识

声学->音频->语音范围逐渐缩小通过语谱图可以看出不同语音的特点。OOV：Out of Vocabulary 问题语音识别评估指标accuracy 音素错误率，词错误率（Word Error Rate, WER）,字错误率（Character Error Rate），句错误率（Sentence Error Rate）effciency 实时错误率（删除、插入、替换，可能会超过100%）语音生成浊音：声带振动，声音波形具有周期性，有稳定音高清音：声带不振动，波形类

2020-09-05 16:27:42 514

原创语音算法笔记（5）——语音识别应用系统的搭建

声明：本专栏文章为深蓝学院《语音算法：前沿与应用》课程个人学习笔记，更多学习资源请咨询深蓝学院相关课程。语音识别场景：offline整句识别、streaming识别嵌入式语音识别、云端语音识别解码器把语音特征转换为文本Input：语音信号特征、声学模块、语言模型Output：语音对应的文本结果假设核心：利用输入构建搜索空间，使用搜索算法得到最优结果。其中重要的是：什么样的搜索空间，什么搜索算法？动态解码器（HDecoder）其中，sp代表句中的停顿。（

2020-08-12 10:38:49 648

原创语音算法笔记（4）——语音识别前沿课题

声明：本专栏文章为深蓝学院《语音算法：前沿与应用》课程个人学习笔记，更多学习资源请咨询深蓝学院相关课程。远场语音识别siri（2011）：近场语音识别echo（亚马逊，2014）：远场语音识别当说话人和麦克风相离3-5米时，可以认为是远场语音识别。困难：1.背景噪声 2.扬声器音乐干扰 3.麦克风灵敏度 4.墙面折射声波 5.声波漫射解决方法：1.数据增强——加混响（卷积）、加噪声（时域叠加，调节噪声能量，控制信噪比）、音量扰动（训练数据音量随机放大或缩小）、速度扰动（改变速度t

2020-07-26 20:21:36 1031

原创语音算法笔记（3）——从序列建模的角度理解ASR

声明：本专栏文章为深蓝学院《语音算法：前沿与应用》课程个人学习笔记，更多学习资源请咨询深蓝学院相关课程。ASR中的序列模型seq to seq任务的输入输出应当是不同长度，否则可以把每一个时刻的任务都认为是静态分类任务。可以将许多OCR(手写字体识别)和SMT(机器翻译)算法借鉴过来，因为本质上都是sequence模型。Attention/Transformer based ASR模型框架：input->encoder->context->decoder->out

2020-07-25 21:13:40 595

原创语音算法笔记（2）——从GMM-HMM到端对端

语音算法目标给定语音特征，找到最有可能的文字序列，X：语音特征序列， W：文字序列，可用贝叶斯公式描述：语音识别系统输入语音信号，经过特征提取模块，得到整个系统输入的语音特征（也可以直接用waveform做算法的输入）。之后将特征输入decoder模块。decoder模块包含语言模型、声学模型和dictionary（发音词典），其中dictionary可以做为语言模型和声学模型的桥梁，当两者采用不同的建模单元时（词、声韵母），可以通过dictionary实现映射。语言模型对词序列本身

2020-07-19 00:53:20 592

原创语音算法笔记（1）——基于深度学习的语音算法综述

发展历史：机器阶段Wolfgang von Kempelen‘s speaking machine 发声机器（语音合成 Mama Papa Haha）Thomas Edison's 留声机Radio Rex玩具用户喊Rex，小狗从房子里出来（语音唤醒，工作原理：电磁铁对500hz频率敏感，Rex词接近500hz）模型阶段——更加科学、系统应用阶段...

2020-07-16 20:37:15 1555

转载心率失常心电数据

MIT-BIH Arrhythmia Database DirectoryNext:RecordsUp:ContentsPrevious:ForewordIntroductionThis introduction describes how the database records were obtained, and discusses the characte...

2019-04-26 15:40:48 2492 1

原创 linux在anaconda下安装theano报错解决

在linux在anaconda下安装theano时（参考使用conda安装theano环境）测试theano时报错use old gpu back-end，将~/.theanorc中device=gpu更改为device=cuda，再次运行，报错为缺模块pygpu。在conda install pygpu后，仍不能运行，显示找不到cudnn.h的位置，解决办法是在~/.theanorc文件...

2018-07-23 22:04:29 786

原创客观赋权法的python实现

这两天实现了一些客观赋权法，这里做一个整理。在进行赋权前，先导入数据（列：各维属性；行：各样本），并自行进行去空值、归一化等操作。import pandas as pdimport numpy as npdata=pd.DataFrame(pd.read_excel('路径'))1.熵权法若某个指标的信息熵越大（即离散程度越大），表明指标提供的信息量越多，在综合评价中所能起到的作用也越大，权重...

2018-06-28 20:10:35 7987

转载强化学习与DQN

在Q-learning中很重要的一点，是要去预估未来收益，所以在离散情况下，一般用的是table-based Q-learning算法。它会给出一张表，不断去迭代，直到这张表收敛稳定。当状态空间太大，例如围棋和游戏，就要用深度神经网络。强化学习存在的两点问题：1.信用分配问题(credit assignment problem) 击中砖块并且得分和前一时刻如何移动横杆没有直接关系；前面某一时刻的横...

2018-05-23 20:06:32 2569

原创 Deep Learning Specialization课程笔记——机器学习策略

分析机器学习问题时，有一些基本套路，可以避免我们南辕北辙。如果在training set上表现不佳，应当训练一个更大的网络或者用更好的最佳化演算法（如adam）；如果dev set，对应regularization或bigger training set；如果training 和dev set都表现好，test set表现差，对应bigger dev set；如果这三者表现都不错，...

2018-05-13 16:51:51 214

原创强化学习(RL)

强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。——wiki强化学习在许多学科都有应用，除了AI外，还包括自动化的控制理论，数学中的运筹学和认知科学。在机器学习中，通常可以分为有监督学习（分类，回归），无监督学习（聚类，降维）和强化学...

2018-05-10 21:57:28 3605

原创 Deep Learning Specialization课程笔记——超参数设定，批量标准化等

Hyperparameter tuning学习速率alpha的设定十分重要。在随机选取时，不要用grid，而是随机选点，如下图，因为可能某个超参数比另一个效果更显著，所以随机选时可以给这个显著参数更多的机会（25个值而非5个值）。之后可以小范围再进行密度更高的抽样，如下图：另外，可以选取恰当的scale来研究超参数，比如0.0001-0.1，可以把尺度设为0.0001-0.001，0.001-0....

2018-04-27 11:04:27 721

原创 Deep Learning Specialization课程笔记——最优化算法

Mini-batch gradient descent假设有5000000样本，我们选取每一个小训练集有1000个样本，则：算法如下，实际上就是分成5000份然后做循环：代价函数对比：当mini-batch的大小等于训练集大小m，就是批量梯度下降。梯度下降时噪声小，步长大，可以达到最小值，下图蓝色线。缺点：在每次迭代中风遍历整个训练集，花费时间长。当mini-batch的大小为1，就是随机梯度下降...

2018-04-22 21:40:13 368

原创 Deep Learning Specialization课程笔记——正则化和最优化

Machine Learning Application本周学习如何在实际运用中使神经网络高效工作。训练神经网络，你必须做很多决定：神经网络多少层？每层多少隐藏单元？学习速率多少？用什么激活函数？而这些超参数并不常常一次性猜中，所以需要idea->code->experiment的不断循环。关于测试集大小问题：当数据量巨大时，测试集所占比例可以变小（如30%->10%）另一个准则...

2018-04-15 14:49:52 484

原创 Deep Learning Specialization课程笔记——深层神经网络

Forward Propagation in a Deep Network对第l层来说：Z^[l]=W^[l]*A^[l-1]+b^[l]A^[l]=g^[l](Z^[l])这个地方是可以对1...l...n层做一个for loop。Getting your matrix dimensions rightW^[l]的维度为(n^[l],n^[l-1])，b^[l]的维度为(n^[l],1)dW的维...

2018-04-02 10:37:21 692

原创 Deep Learning Specialization课程笔记——浅层神经网络

Neural Network Overview一个神经元构成（其中a=yhat）：那么，当有两层隐藏层时，具体的计算过程，是每层有每层的w和b，进行上述z[1]->a[1]->z[2]->a[2]->L的运算，其中z[1]和z[2]的输入分别为w[1]，b[1]和w[2]，b[2]。同样，在神经网络中，也会像逻辑回归一样，计算后向传播的da[2]，dz[2]，dw[2]，d...

2018-03-31 19:54:18 194

原创 Deep Learning Specialization课程笔记——神经网络编程基础

Vectorization非向量化和向量化的区别：在jupyter notebook上：import timea=np.random.rand(1000000)b=np.random.rand(1000000)tic=time.time()c=np.dot(a,b)toc=time.time()print ("vectorized version:"+ str(1000*(toc-...

2018-03-23 11:20:32 297

原创 Deep Learning Specialization课程笔记——神经网络基础

第二周的课程，首先是重温神经网络编程的基本知识。Binary classification逻辑回归是二元分类问题。比如：根据图片判断cat or not的问题。这时，图像矩阵包含的元素总数为64*64*3（红绿蓝三色 64*64为图像大小）所以用n(x)=12288表示输入特征向量x的维度；输出y为1或0（标签）。当测试用例为m个时，给出的X:这种nx*m写法比m*nx在神经网络的运用时会更简单。...

2018-03-21 20:31:03 204

原创 Deep Learning Specialization课程笔记——深度学习介绍

第一门课：神经网络和深度学习，会包含四周的课程，将学习如何建立神经网络，包括深度神经网络，以及如何用数据训练它。在这门课的结尾，将建立一个神经网络识别猫。what is a neural network?一张图解释什么是ReLU函数，就像房价预测的曲线是一样的：（同时这张图展示了什么是单个的神经元neuron）影响房价的不同因素共同决定了housing price：（这时，输入x参数是大小，卧室数...

2018-03-20 14:16:56 523

原创机器学习基石第十六讲笔记

Lecture 16: Three Learning Principles16-1 奥卡姆剃刀简单的假说H（few parameters），简单的模型（small number of hypotheses）16-2 抽样偏差1948年的总统选举，电话抽样结果和实际结果不一致。原因：电话未普及，富人被抽样。抽样有偏差时，会影响学习结果。举例：推荐系统是在时间轴上，不能随机取样；银行信用卡的系统，只有...

2018-03-13 21:15:23 195

原创机器学习基石第十五讲笔记

Lecture 15: Validation验证15-1 模型选择问题什么是好的模型？答：可以让Eout最小。但这就面临着问题：我们不可能知道Eout的值。那么该怎么选呢？也不可以visual去选。（如果高维呢）选Ein最小的？答：不可以，过拟合情况；或者可能有bad generalization。一种答案：选有最好的测试结果的模型。在已有数据中留下一小部分当做做完模型的测试集。15-2 测试集上...

2018-03-09 16:45:13 295

原创机器学习基石第十四讲笔记

Lecture 14: Regularization 规则化14-1 规则化假说集regularization:the magic 从多次的hypothesis set走回到低次的hypothesis set，避免了overfit的发生。ill-posed problems:指有很多的函数都满足solution，所以要限制一下，不然会出现问题。so how to step back?高次的hypo...

2018-03-06 21:18:01 265

原创机器学习基石第十三讲笔记

Lecture 13: Hazard of Overfitting 过拟合的危险13-1 什么是过拟合失败的一般化：low Ein，high Eout。VC维很大的时候，会造成过拟合。VC维太小的时候，会造成欠拟合。造成过拟合的原因：过大的VC维，噪声，少的data size N。 13-2 噪声和data size的作用Overfit：Ein很小但Eout特别大。当没有noise时，g2也会做得...

2018-03-05 11:42:18 289

原创机器学习基石第十二讲笔记

Lecture 12: Nonlinear Transformation非线性变换12-1 二次Hypotheses线性假设优点：dVC的复杂度受限制；缺点：在某些点上无法分开，造成Ein很大。改进：比如用圆圈来区分那么怎么用圆圈做PLA或回归问题呢？（如何系统地讨论这个问题呢）设的公式为：这时，x和z事件中有这样的转化：所以可以把二次重新转换为一次，接着用线性来进行操作。根据w指的不同，二次曲线...

2018-03-01 20:17:00 228

原创机器学习基石第十一讲笔记

Lecture 11: Linear Models for Classification11-1 二分类的线性模型在上一节比较了线性分类，线性回归和逻辑回归：那么linear classification求解Ein时是NP难问题，能否由后两者帮忙求解？算出三种情况的error function，分别为：可以画出error function的图为：其中，scaled ce=log2(1+exp(-y...

2018-02-28 21:21:24 235

原创机器学习基石第十讲笔记

Lecture 10: Logistic Regression 逻辑回归10-1 逻辑回归问题心脏病预测问题：是否有心脏病的soft的二元预测问题（20%？80%？）：training集在理想中，f是0-1的数；但实际上，f只有0或1（患病或者不患病）。那么这时应当如何求得好的hypothesis呢？加上x0, 算一个加权分数s：之后把s转化为0-1中间的数，结果如图：故逻辑回归的表达式为：用h来...

2018-02-27 20:59:30 257

原创机器学习基石第九讲笔记

Lecture 9: Linear Regression线性回归9-1 线性回归问题信用额度问题：x=(x0,x1,x2,...,xd)为顾客特征，y是输出的加权后的信用额度，线性回归假说为h，如图：那么线性回归长什么样呢？在输入为一维时如左图，输入为二维时如右图：线性回归分析想要做的就是找到一个最好的线或者最好的面，希望红色的线的部分越小越好。那通常是怎么

2018-02-03 16:33:10 579

原创机器学习基石第八讲笔记

Lecture 8: Noise and Error8-1 噪声和可行解噪声来源：错误标记，相同的所有特征但不同标记，错误的特征。VC bound在有noise的情况下是否仍正常呢？答：将固定的理想目标函数f(x)替换为变化的P(y/x)，对每一个点的预测结果可以看为“最理想的预测结果f(x)”+“noise”的结果。整个VC bound没有问题，仍可以继续使用。Fun tim

2018-02-02 21:15:49 314

原创机器学习基石第七讲笔记

Lecture 7:the VC Dimension VC维7-1 VC维定义衔接第6课，当N和K都不算小的时候，可以得到：成长函数m会比N^(k-1)小。其中6-4的式子取等号的时候，是当成长函数的上限直接取为N^(k-1)时。那VC维是什么呢？是上节课所说的没有达到break point时的最大情况。这是什么意思？在VC维时，假说可以shatter掉某N个点

2018-02-01 21:53:44 388

原创机器学习基石第六讲笔记

Lecture 6:theory of generalization一般化理论6-1 Restriction of Break Points 成长函数m：假说h在n个点上可以产生多少个二分（dichotomies）。若正向o，反向×，则理解程度一般，positive intervals为什么xox可以呢?这种情况认为x2和x3是被shatter的（4种情况都

2018-01-28 16:50:03 590

转载算法笔记之GD，BGD，SGD

在讨论GBDT前，先来看看什么是GD，BGD和SGDGD（Gradient Descent，梯度下降）:求损失函数最小值：梯度下降；求损失函数最大值：梯度上升。假设线性模型：其中θ是参数。损失函数为：那么每次GD的更新算法为：BGD(Batch Gradient Descent，批量梯度下降)：在更新参数时使用所有的样本来进行更新。S

2018-01-24 14:59:00 19710 1

原创自步学习（Self-paced Learning）

这篇文章旨在介绍自步学习的基本概念及最基础的算法原理。我们先看自步学习的定义，在了解自步学习之前，有必要看一看什么是课程学习：-2009年Bengio教授在ICML上提出课程学习。-课程学习是通过模拟人的认知机理，首先学习简单的、普适性的知识结构，然后逐渐增加难度，过渡到学习更复杂、更专业化的知识。而自步学习在课程学习上进行了改进：-Koller教授在2010年NIPS上给出了自步学习的数学表达。...

2018-01-23 22:12:44 29074 17

转载算法笔记之随机森林

随机森林的生成方法：1.从样本集中通过重采样的方式产生n个样本2.假设样本特征数目为a，对n个样本选择a中的k个特征，用建立决策树的方式获得最佳分割点3.重复m次，产生m棵决策树4.多数投票机制来进行预测（需要注意的一点是，这里m是指循环的次数，n是指样本的数目，n个样本构成训练的样本集，而m次循环中又会产生m个这样的样本集）总结：属于集成学习中的Bagging（多个相同基模型），产生n个样本的步

2018-01-19 15:12:19 641

转载集成学习知识点整理

集成学习：把大大小小的多种算法融合在一起，共同协作来解决一个问题。这些算法可以是不同的算法，也可以是相同的算法。分类：依据集成思想的架构分为 Bagging ,Boosting, Stacking三种。分别总结一下：Bagging：从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。Boosting：训练过程为阶梯状，基模型按次序一一进行训练（实现

2018-01-19 11:22:33 340

机器学习知识点整理