- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 知识图谱与推荐系统结合的方法
1：基于特征的推荐使用的只是实体的特征（包括用户和属性）来放到传统的模型中，没有用到关系特征2：基于路径的推荐利用知识图谱本身的结构，通过图谱里实体与实体之间的关系来推荐，但缺点是需要手动设计这种路径，而且手动设计的路径不能迁移到其他领域3：知识图谱特征学习从知识图谱中学到实体和关系的低维特征，分为两类：基于距离和基于语义的模型基于距离：TransE,TransH,TransR等算法...
2019-10-06 19:06:45
1647
原创 知识图谱运用于推荐系统
推荐系统我认为可以用两个字来概括：揣摩。就像男生追求心仪的女生一样，她的一举一动都牵动着男孩的心，从中了解女生的所思所想，让女生觉得你是如此懂我。要细致入微地观察，搜集关于女生的所有信息，不光要知道她喜欢和不喜欢什么，还要能预测她将会喜欢什么。追女生如此，想吸引用户眼球亦是如此，我们使用的手机app，大部分都使用了推荐系统，推荐系统不仅帮助电商营销，另一方面也帮用户过滤海量信息，以最快的方式呈...
2019-09-27 20:03:20
1380
原创 self-attention
RNN不容易被平行化，先计算得到b1，再计算得到b2，再b3，再b4Self-attention输入和输出也和RNN一样都是sequence，每一个输出和Bi-RNN一样，都由所有的输入序列得到。但是不同之处在于输出是同时得到的，不需要再按照顺序得到。每一个q和所有k做一次attention得到对应的值。把值经过softmax：得到α^与对应的v相乘，再累加得到b，可以看到b是把所有的...
2019-09-21 15:48:55
752
转载 Encoder-Decoder模型和Attention模型
Encoder-Decoder模型及RNN的实现Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是CNN-RNN的编码-解码框架；再比如神经网络机器翻译NMT模型，往往就是LSTM-LSTM的编码-解码框架。因此，准确的说，Encod...
2019-09-21 11:03:06
465
原创 GRU和LSTM
GRU:Rt是重置门，其值在0~1之间Zt是更新门，其值在0~1之间可以看到，我们的当前候选隐含状态是根据当前的输入和前一个隐含状态得到,它与重置门有关，是要不要保留之前隐含状态的问题；前三个式子都和当前输入和前一个隐含状态有关。而真正的当前隐含状态是前一个隐含状态和当前候选隐含状态的组合。当Zt=1，Ht=Ht-1，那么就能具有长期记忆的能力。LSTM:候选细胞没有用到门。第二...
2019-09-09 12:05:58
121
原创 RNN、LSTM
RNN：缺点：我们的关键词‘红烧排骨’出现在最前面，那么等所有语句传递到最后时要等待很长的时间，经过很长的步骤。如果再从后传回参数，那么会导致梯度弥散或梯度爆炸，另一个问题是网络没有长效记忆的功能，最后是RNN的训练比较难。LSTM：解决无法长效记忆的问题，有三个控制器：输入/输出/忘记把上一个状态传递给下一个神经元LSTM：会选择性地忘记一些不重要的信息，而把关键信息给保留，解...
2019-09-06 13:15:29
150
原创 维特比算法
以下四篇文章对维特比算法进行非常好的讲解和代码实现，总结一点：维特比算法是从前往后计算当前可能状态对应下一时刻可能状态的所有概率，直到最终状态，再从最终状态的概率中选取最大的状态，最后从后往前这递推回去。小白给小白详解维特比算法（一）小白给小白详解维特比算法（二）viterbi-algorithm 维特比算法的例子解析Python词性标注HMM+viterbi实现...
2019-09-05 15:24:45
172
原创 概率图模型更进一步的知识点
最近的任务：对概率图模型，MFR，CRF，HMM进行总结，形成自洽的思维图谱；其次研究这几个模型如何从理论迁移到实际语言处理中的分词、词性标注等问题；最后用代码如何实现分词、词性标注；以及调用模型是如何实现的。这才把所有知识点贯通， 从理论到实践的知行合一。高维如何简化：每个维度之间相互独立，得到朴素贝叶斯（但这个条件太强），再放松一点条件，得到马尔可夫性，给定当前xi，那么未来xi+1独立于以...
2019-09-01 23:15:33
139
原创 概率图模型（PGM）/马尔可夫随机场（MRF）/条件随机场基本概念(CRF)
概率图模型：1：为什么引入图模型：一般的问题我们都可以用概率模型去很好的解决,那么为什么又要在概率的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率模型的结构可视化,应用图这是一种直观,简单的方式,可以简单的描述随机变量之间的独立性的性质,最重要的是可以将一份复杂的概率模型转化为一些简单的模型的组合。2：有向的图模型叫做贝叶斯网络,而贝叶斯的有向无环图来表示因果关系,而无向图...
2019-09-01 17:40:55
1689
原创 CRF3
首先来讨论上节课讲的公式，其中K指的是yt各种状态的个数|S|与yt-1个数的组合，一共是|S|^2种情况，K<=|S|*|S|第一步，第二步的简化都是把累加变为列向量与行向量的乘积。概率图模型的任务分两大类：learning：就是把参数学习出来inference： 边缘概率；条件概率；解码问题把P(y|x)除了yt之外的都积分掉，用到的是概率图模型种的变量消除...
2019-08-30 22:51:39
232
原创 CRF2
CRF是无向图，无法写出概率密度函数。怎么办呢？我们知道有无向图模型，那么可以用无向图模型把CRF概率密度函数写出来。有K个最大团，P(x)就是所对应的无向图最大团的乘积，用势函数表示，xci是第i个最大团包含的随机变量。从第一步到第二步是定义，可以不用深究。这里我们讨论的CRF是线性链马尔可夫：yt-1和yt统称为状态函数，因为就是我们无向图中的状态结点，而它们的边（yt-1，yt）...
2019-08-30 20:42:47
953
原创 CRF
硬输出：有清晰的决策边界，取值要么是0，要么是1。例如：svm是从几何角度来判别；PLA（感知机）；LDA（线性判别分析）软输出：引入概率，类似于P(y=1|x)>P(y=0|x)就视为取值为1。概率判别模型：对P(y|x)这个条件概率进行建模。概率生成模型：对P(x,y)这个联合概率进行建模。MEMM是最大生成模型（Maximum Entropy Model）和HMM的综合，但...
2019-08-30 12:29:51
145
原创 HMM隐马尔科夫模型
对于这些模型的介绍我打算从以下几个部分来写：1：模型的基本概念2：模型是如何应用于nlp当中的3：相关论文4：代码实现HMM是隐马尔科夫模型的简称，这个模型的结构可以直接由下面的图来表示：其中蓝色方块表示的是状态序列，它是不可以被观测到的；红色圆圈表示观测序列，是可以直接观测到。而两个箭头都表示概率，黑色称为转换概率，红色称为发射概率。因为我们只直到观测序列，那么就可以引出以下四个问题...
2019-08-27 21:46:44
244
原创 命名实体识别之基本概念
命名实体识别定义：简称NER，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，以及时间、数量、货币、比例数值等文字。主流模型：HMM,CRF,Bi-LSTM,Bi-LSTM+CRF,Ensemble之后的每一篇文章就对这些模型进行详细介绍。...
2019-08-27 19:52:55
1069
原创 物体识别
修改train.txt和val.txt文件！！！1：python C:\Users\Peter\Anaconda\models\research\object_detection\dataset_tools\create_pascal_tf_record4raccoon.py --data_dir=C:\Users\Peter\Anaconda\models\dataset\raccoon_da...
2019-05-16 17:32:15
949
原创 实验过程记录1
今天使用这篇文章http://www.360doc.com/content/17/0520/21/99071_655660428.shtml提到的这个地址https://github.com/Fdevmsy/Image_Classification_with_5_methodshttps://github.com/aleju/imgaug来分类两类图片，然而训练结果都是0，查看代码似乎没...
2019-05-06 21:41:27
501
1
原创 CNN学习笔记1
研一上对CNN学习过一段时间，现在要用到论文里面，所以对此进行复习。附上链接：http://cs231n.github.io/convolutional-networks/#casehttp://www.cnblogs.com/wj-1314/p/9593364.html普通神经网络的参数太多，所以要使用卷积神经网络，其次因为卷积神经网络输入是图片，是三维结构，每一过程都是三维结构。...
2019-04-26 13:10:14
203
原创 决策树学习笔记1
决策树：可以处理分类和回归问题，在分类问题中根据损失函数最小化来建立模型，然后对预测数据进行分类。建立的步骤：特征选择、决策树生成、剪枝。基本算法：ID3、C4.5、CART决策树模型：...
2019-04-25 19:18:49
137
原创 关于读研的一些感悟1
这几天遇到一些大牛，觉得自己的差距和他们的真心很大。他们在交谈时我只能在一旁默默听着，不刷存在感。他们的专业能力和思维真的是超出我的想象，我觉得他们都是一群很优秀的人。并不是像很多人说的读书越多人就读傻了，他们的思维非常活跃，想问题也独到，所以那才是读书读到一定境界的人。现在虽然是每天马不停蹄，但是没有一个主心骨，没有方向，不知道忙的是什么，忙的东西对我以后有没有用。怎么办呢？目前就主要打基础，抓...
2019-04-25 16:46:43
343
原创 kmeans算法学习2
kmeans算法：给定样本集D={x1,x2,x3,…,xm}，针对聚类所得簇划分为k个簇，计算每个样本和簇之间的最小化平方误差。算法过程：选取k个样本作为初始化均值向量，计算每个样本与当前均值向量的距离，选区当前样本与当前均值向量最近的哪一个，把当前样本归于这个均值向量，对所有样本都考察一遍以后，所有样本都归于某一个均值向量当中，然后求出新的均值向量。再计算所有样本与新的均值向量之间的距离，重...
2019-04-23 12:29:56
244
原创 k-means算法学习1
1、聚类算法：是无监督学习的一种，训练样本的标记信息是未知的，通过训练自动形成簇，簇所对应的概念语义需要由使用者来把握和命名。2、聚类算法的作用：可单独作为一个寻找数据内在分布结构的过程，也可作为其他学习任务的前驱过程。3、度量聚类算法的性能：首先，聚类算法的目标是“簇内相似度”高，“簇间相似度”低。度量性能的指标有“外部指标”和“内部指标”两种，这些指标的核心思想都是计算相似度，但外部指标是...
2019-04-23 10:31:21
156
原创 论文规划1
1、目前搜集两类图片：没有机械损伤和有机械损伤2、使用的方法：k-means、随机森林、线性回归、贝叶斯、决策树、支持向量机、KNN、Logistic Regression、神经网络、深度学习（CNN\RNN\AlexNet、VGG-Net、GoogLeNet、ResNet、RCNN、Faster-R-CNN）、Ensemble learning（GBDT、Adaboost、Random For...
2019-04-22 11:14:47
155
转载 第二篇：对CART,Gradient Boost，Xgboost，LightGBM的学习
1、衡量决策树（结果是离散的）划分纯度的方式（也就是划分指标是否对数据进行最恰当地划分）：信息增益（ID3）、信息增益率（C4.5）、基尼系数（CART）等等。2、回归树的关键点、参数:（1）选取哪个feature分裂节点呢；（2）节点的预测值（总不能靠取平均值这么粗暴不讲道理的方式吧，好歹高级一点）。3、确定分裂用的feature，how？最简单的是粗暴的枚举，选择loss function...
2019-04-12 21:41:46
521
原创 第一篇：对Adaboost和GBDT的学习
第一篇：对Adaboost和GBDT的学习Adaboost在李航的《统计学习方法》中有，写的非常详细，大题意思就是：对未分类正确的数据加大权值，使得受到下一轮弱分类器更大的关注，对于误差率小的若分类器加大权值，使得在表决中起到更大的作用。言而言之一句话：重视错分数据和好的分类器。GBDT可以看下面这篇文章：https://www.cnblogs.com/peizhe123/p/5086128...
2019-04-12 19:43:57
130
电子科大2018肖鸣宇算法分析与设计真题考点总结
2018-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人