jiayalu的博客

原创 白板推导SVM--个人手推笔记

原创 AMBERT（李航）---- 多粒度预训练模型

20200901 李航博士一种多粒度 BERT----AMBERT（A Multi-grained BERT model）文章目录20200901 李航博士模型架构几点思考1、细粒度bert2、粗粒度bert模型效率引申模型1、AMBERT-Combo2、AMBERT-Hybrid模型架构简单理解：输入：细粒度（字） + 粗粒度（词）encoding：参数共享的bert输出：字级别的上下文序列表示 + 词级别的上下文序列表示（拼接）预训练目标：fine-tunein

原创 FM模型--推荐系统

文章目录背景FM特点FM模型模型细节剖析推荐系统上的应用一般流程多路召回FM模型怎么解决的呢？MF----FM如何求解参数案例代码背景在认识逻辑回归后，我们发现逻辑回归模型是在一个假设的基础上，即特征独立性，然而现实场景中特征之间存在某些关系（特征交叉），为此引入了FM（Factorization Machine）。传统的线性模型：结合FM的推荐系统案例介绍https://www.ab...

原创 协同过滤——CF

文章目录协同过滤——Collaborative filtering协同过滤算法简介原理基于领域的协同过滤算法1、User-Based CF2、Item-Based CF存在的问题基于模型的协同过滤算法组合推荐技术选择模型Item-CF\User-CF协同过滤——Collaborative filtering协同过滤算法简介数据 ：<user,item>一些用户和物品的行为对...

原创 集成学习模型——boosting/bagging

集成学习文章目录集成学习BaggingBoosting随机森林（Random Forest，RF）随机森林的推广1、extra trees2、Totally Random Trees Embedding（数据高维映射）3、 Isolation Forest随机森林的优缺点：优点：缺点：Adaboost1、**分类问题**2、**回归问题**：3、分类问题中的损失函数优化4、Adaboost优缺点...

原创 HMM——隐马尔可夫模型

隐马尔科夫模型——HMM文章目录隐马尔科夫模型——HMM1、经典例子——掷骰子2、三类问题3、HMM模型定义4、求观测序列概率4.1、问题：4.2、前向算法求解4.3、后向算法求解4.4常用概率的计算5、模型参数求解5.1、概述5.2、储备知识：最大似然和EM5.2.1、最大似然5.2.2、EM5.3、鲍姆-韦尔奇算法原理6、隐藏状态求解6.1、问题描述6.2、维特比算法概述6.3、维特比算法流...

原创 TransE算法原理与案例

文章目录TransE知识图谱基础知识表示算法描述代码分析数据TransE知识图谱基础三元组（h,r,t）知识表示即将实体和关系向量化，embedding算法描述思想：一个正确的三元组的embedding会满足：h+r=t定义距离d表示向量之间的距离，一般取L1或者L2，期望正确的三元组的距离越小越好，而错误的三元组的距离越大越好。为此给出目标函数为：梯度求解：代码分析...

原创 知识图谱与推荐系统

文章目录知识图谱与个性化推荐1、推荐系统的任务和难点2、知识图谱的优势3、知识图谱与推荐系统的结合方法3.1 基于特征的推荐方法3.2 基于路径的推荐方法3.3 知识图谱特征学习（Knowledge Graph Embedding）4、结合知识图谱特征学习的推荐系统算法模型DKN（Deep Konwledge-aware Network）知识图谱特征学习基于CNN的句子特征提取问题描述模型框架知...

原创 主题模型

文章目录主题模型定义主题模型历史简单案例引入知识储备：SVD——奇异值分解1、特征值2、SVD分解3、SVD与PCAPLSA——概率隐性语义分析1、SVD2、LSA3、PLSAPlSA原理应用1、 **PLSA：文档生成模型**2、**利用文档推断主题分布**3、PLSA算法的EM推导LDA模型示意图：案例：主题预测——基于gensim1、步骤：2、 代码3、部分结果案例：主题预测——基于skle...

转载 HanLP环境搭建

HanLP环境搭建2019-06-06 版本V1.0文章目录HanLP环境搭建一、基于java的HanLP的环境搭建**方式一**：通过Maven工程的pom.xml**方式二**：下载jar、data、hanlp.properties测试：二、基于python的HanLp的环境搭建Anaconda基础上安装测试：一、基于java的HanLP的环境搭建参考链接：http://www.han...

原创 贝叶斯从理论到实战

贝叶斯2019-06-25https://blog.csdn.net/han_xiaoyang/article/details/50616559/1、条件概率与贝叶斯定理1.1、条件概率条件概率条件概率是指事件A在另外一个事件B已经发生条件下的发生概率蒙提霍尔悖论参赛者面前有三扇关闭着的门，其中一扇的后面是一辆汽车，选中后面有车的那扇门就可以赢得该汽车，而另外两扇门后面则各藏有一...