- 博客(103)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 BiLSTM-CRF实现中文命名实体识别（NER）
BiLSTM-CRF实现命名实体识别（NER）完整代码地址参考本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~HMM系列文章：条件随机场（CRF）原理小结（1）条件随机场（CRF）原理小结（2）BiLSTM-CRF实现命名实体识别（NER）完整代码地址完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓
2021-02-11 00:35:06
5394
32
原创 transformer（上）论文解读+pytorch实现
self-attention && transformer（上）论文解读和模型原理1. 背景2. 模型架构2.1 scaled dot-product attention2.2 multi-head attention2.3 transformer使用的3种attention2.4 point-wise feed-forward net2.5 positional embedding2.6 maskingencoder-layer以及encoderdecoder-layer以及decoder
2020-12-16 17:17:22
3864
8
原创 ELMo论文笔记+源码分析
ELMo论文笔记+源码分析1. 论文精读1.1 阶段1：预训练过程1.2 阶段2：应用到下游NLP task1.3 ELMo优势2. 源码分析2.1 使用elmo能得到什么2.2 elmo内部执行流程3. ELMo应用到文本分类4. 参考1. 论文精读1.1 阶段1：预训练过程ELMo的预训练过程就是常见的语言模型（Language Model，简称LM）的训练过程：从句子中学习预测next word，从而学习到对语言的理解的任务。语言模型的学习通常得益于海量的无需标注的文本数据。ELMo是双向语言
2020-11-29 20:32:29
3877
3
原创 实体链指（3）EL：End-to-End
前面已经由一篇综述大致了解了Entity Linking的定义和任务框架，以及对Disambiguation-Only 的2篇具有代表性的论文进行了介绍，本篇主要介绍End-to-End的两篇代表性论文。
2022-09-04 21:18:25
459
1
原创 实体链指（2）EL：Disambiguation-Only
本篇主要了介绍了Disambiguation-Only实体链指任务的具有代表性的2篇论文：《Neural Cross-Lingual Entity Linking》和《Scalable Zero-shot Entity Linking with Dense Entity Retrieval》
2022-09-04 16:47:40
666
1
原创 实体链指（1）Entity Linking 综述
实体链接（entity linking）任务是指识别出文本中的提及（mention）、确定mention的含义并消除其可能存在的歧义，然后建立该mention到 知识库（KB）中实体（entity）的链接，从而将非结构化数据连接到结构化数据的过程。
2022-09-03 18:59:48
2429
原创 transformer（下）机器翻译+pytorch实现
transformer（下）机器翻译（pytorch实现）说在前面实验环境1.加载数据 建立input pipeline2.位置编码 positional encoding3.掩码 masking4.scaled dot product attention5.multi-head attention6.point wise feed forward network7.encoder layer8.decoder layer9.encoder10.decoder11.搭建transformer12.设置超参1
2021-03-07 14:05:03
11172
27
原创 论文笔记-Vanilla Transformer：Character-Level Language Modeling with Deeper Self-Attention
论文笔记-Vanilla Transformer：Character-Level Language Modeling with Deeper Self-Attention1. 介绍2. Character Transformer Model3. 3种辅助loss3.1 Multiple Positions3.2 Intermedia Layer Losses3.3 Multiple Targets4. 实验4.1 训练和数据4.2 结果（消融实验）4.3 Qualitative Analysis 定性分析参
2021-03-03 12:37:48
3604
原创 统计机器学习相关概念总结（下）
统计机器学习相关概念总结（下）5. 泛化能力5.1 泛化误差5.2 泛化误差上界6. 生成模型与判别模型7. 方差与偏差8. 多分类学习9. 类别不均衡（class-imbalance）问题完整代码地址参考ML相关概念总结系列文章：统计机器学习相关概念总结（上）统计机器学习相关概念总结（中）统计机器学习相关概念总结（下）5. 泛化能力5.1 泛化误差泛化误差：学到的模型对未知数据预测的误差：Rexp(f^)=Ep[L(Y,f^(X))]=∫X×YL(Y,f^(X))P(x,y)dxdy
2021-02-16 23:28:22
242
原创 统计机器学习相关概念总结（中）
统计机器学习相关概念总结（中）4. 模型评估与模型选择4.1 模型评估分类问题评估（1）error rate（2）accuracy（3）precision & recall（4）P-R曲线（5）F1值 & FβF_\betaFβ（6）宏平均（macro-avg）& 微平均（micro-avg）（7）ROC曲线 & AUC回归问题评估4.2 模型选择（1）正则化（2）交叉验证完整代码地址参考ML相关概念总结系列文章：统计机器学习相关概念总结（上）统计机器学习相关概念总
2021-02-16 23:13:36
324
原创 统计机器学习相关概念总结（上）
统计机器学习相关概念总结（上）1. 统计学习分类1.1 基本分类（1）监督学习（2）无监督学习（3）强化学习1.2 按模型种类分类（1）概率模型与非概率模型（2）线性模型与非线性模型1.3 按算法分类（1）在线学习（2）批量学习1.4 按技巧分类（1）贝叶斯学习（2）核方法2. 统计学习三要素2.1 模型2.2 策略（学习的准则）2.2.1 损失函数和风险函数损失函数的期望2.2.2 经验风险最小化与结构风险最小化（1）经验风险最小化（2）结构风险最小化2.3 算法3. 监督学习方法特点总结完整代码地址参考
2021-02-16 23:08:23
426
原创 集成学习原理小结（AdaBoost & lightGBM demo）
集成学习原理小结（AdaBoost & lightGBM demo）1. 集成学习概述1.1 集成学习是什么？1.2. 为什么要进行集成学习？2. 常见的集成学习算法2.1 Boosting2.1.1 AdaBoost算法算法描述算法说明算法训练误差分析学习算法—前向分步算法算法评价2.1.2 梯度提升树2.2 Bagging随机森林3. 常见的结合策略3.1 平均法3.2 投票法3.3 学习法（Stacking）4. 如何增强多样性？5. 代码示例5.1 AdaBoost demo5.2 ligh
2021-02-15 17:30:12
869
1
原创 条件随机场（CRF）原理小结（2）
条件随机场（CRF）原理小结（2）6. 线性链CRF的3个基本问题6.1 问题1：概率计算问题6.1.1 前向-后向算法6.1.2 概率计算6.1.3 期望值的计算6.2 问题2：学习问题6.2.1 改进的迭代尺度法6.2.2 梯度下降法6.3 问题3：预测问题维特比算法描述模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~HMM系列文章：条件随机场（CRF）原理小结（
2021-02-10 17:34:05
326
1
原创 条件随机场（CRF）原理小结（1）
条件随机场（CRF）原理小结（1）1. CRF学习方法简要概括2. 相关概念2.1 概率图模型2.1.1 有向概率图模型（贝叶斯网）2.1.2 无向概率图模型（马尔科夫网）2.1.3 有向图、无向图模型比较2.2 生成式模型 vs 判别式模型两种模型比较2.3 RF→\rightarrow→MRF→\rightarrow→CRF→\rightarrow→linear chain CRF2.3.1 随机场（RF）2.3.2 马尔科夫随机场（MRF）2.3.3 条件随机场（CRF）2.3.4 线性链条件随机场（
2021-02-10 16:53:49
879
1
原创 手撸HMM实现词性标注（Part-of-speech）
手撸HMM实现词性标注（Part-of-speech）1. 环境准备2. 使用HMM 实现词性标注2.1 句子开始和结束标记2.2 问题2--HMM参数估计：统计词频计算概率（1）发射概率估计（2）转移概率估计（3）初始状态概率分布问题1--求解观测序列概率2.3 问题3--预测问题：vitervi算法实现（1）初始化（2）递推（3）终止（4）最优路径回溯完整代码地址本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求
2021-02-02 21:05:32
1678
原创 隐马尔科夫模型（HMM）原理小结（2）
隐马尔科夫模型（HMM）原理小结（2）4. 基本问题二：学习问题 模型参数估计 λ=(A,B,π)\lambda=(A,B,\pi)λ=(A,B,π)4.1 监督学习方法（1）转移概率aija_{ij}aij的估计（2）观测概率bj(k)b_j(k)bj(k)的估计（3）初始状态概率πi\pi_iπi的估计4.2 无监督学习方法：Baum-Welch算法（EM）4.2.1 确定完全数据的对数似然函数4.2.2 E步：求QQQ函数Q(λ∣λˉ)Q(\lambda|\bar{\lambda})Q(λ∣λˉ
2021-02-02 21:04:20
582
原创 隐马尔科夫模型（HMM）原理小结（1）
隐马尔科夫模型（HMM）原理小结1. 什么是马尔科夫链1.1 马尔科夫过程1.2 k阶马尔科夫链1.3 1阶马尔科夫链2. 什么是隐马尔可夫链（HMM）2.1 HMM基本定义2.2 HMM的2个基本假设（1）齐次马尔科夫性假设（2）观测独立性假设2.3 观测序列的生成过程2.4 HMM的3个基本问题3. 基本问题一：观测序列概率P(O∣λ)P(O|\lambda)P(O∣λ)计算3.1 直接计算3.2 前向算法3.3 后向算法3.4 前向-后向概率 统一表示P(O∣λ)P(O|\lambda)P(O∣λ)3
2021-02-02 21:02:44
625
原创 EM（Expectation Maximization）算法原理小结
EM（Expectation Maximization）算法原理小结1. EM 算法1.2 为什么需要EM算法?1.2 EM 算法推导EM算法关键：下边界函数EM算法解释QQQ函数的定义EM算法1.3 算法总结参考适用问题：概率模型参数估计模型特点：含有隐变量的概率模型模型类型：-损失函数：对数似然损失学习策略：极大似然估计，最大后验概率估计学习算法：迭代算法1. EM 算法EM算法是一种 迭代算法，用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。EM算法的每次迭代分2步：
2021-01-30 21:16:28
270
原创 朴素贝叶斯（naive bayes）原理小结
朴素贝叶斯原理小结1. 支持向量回归（SVR）分类算法2. 模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~1. 支持向量回归（SVR）分类算法2. 模型评价SVM系列至此就介绍完了，这里对该模型做一个评价总结。评价内容摘自刘建平老师的支持向量机原理(五)线性支持回归：SVM算法是一个很优秀的算法，在集成学习和神经网络之类的算法没有表现出优越性能前，SVM基本
2021-01-27 22:59:17
984
原创 支持向量机（SVM）原理小结（3）支持向量回归SVR
支持向量机（SVM）原理小结（3）支持向量回归SVR1. 支持向量回归（SVR）1.1 学习算法—对偶形式（1）求minw,b,ξ,ξ^L(w,b,ξ,ξ^,α,α^,μ,μ^)\min\limits_{w,b,\xi,\hat\xi} L(w, b, \xi, \hat\xi, \alpha, \hat\alpha, \mu, \hat\mu)w,b,ξ,ξ^minL(w,b,ξ,ξ^,α,α^,μ,μ^)（2）求minw,b,ξ,ξ^L(w,b,ξ,ξ^,α,α^,μ,μ^)\min\lim
2021-01-24 04:51:33
8409
5
原创 支持向量机（SVM）原理小结（2）非线性支持向量机
支持向量机（SVM）原理小结（2）非线性支持向量机1. 非线性支持向量机1.1 图示举例1.2 核技巧1.3 核技巧在支持向量机中的应用1.4 常用核函数1.5 学习算法1.6 联想：多项式回归（线性回归推广）2. 代码示例：使用非线性kernel SVM解决非线性问题完整代码地址参考本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~1. 非线性支持向量机什么是非线性分类问题：通过利用非线性模型
2021-01-24 04:32:36
2374
原创 支持向量机（SVM）原理小结（1）线性支持向量机
支持向量机（SVM）原理小结1. 线性可分支持向量机（硬间隔SVM）2. 线性支持向量机（软间隔SVM）3. 非线性支持向量机4. 支持向量回归（SVR）5. 代码示例6. 模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~1. 线性可分支持向量机（硬间隔SVM）线性可分训练数据集的最大间隔超平面是存在且唯一的。2. 线性支持向量机（软间隔SVM）3. 非线性
2021-01-24 03:58:29
1230
原创 感知机（Perception）原理小结
感知机（Perception）原理小结1. 感知机模型2. 感知机学习策略3. 感知机学习算法3.1 感知机学习算法的原始形式3.2感知机学习算法的对偶形式4. 模型评价系列博客地址参考完整系列博客请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~感知机是二类分类的 线性分类模型，对应于特征空间中将实例划分为正负两类的 分离超平面，属于判别模型。感知机学习算法有 原始形式 和 对偶形式。适用问题：二类分类模型特点：
2021-01-17 15:06:59
4950
原创 k近邻法（KNN）原理小结
k近邻法（KNN）原理小结1. k 近邻法算法2. k 近邻法模型2.1 k值的选择2.2 距离度量2.3 分类决策规则3. k 近邻法实现：kd（k-dimension）树3.1 构造kd树3.2 搜索kd树3.3 kd 树预测4. 代码示例5. 模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github：https://github.com/qingyujean/Magic-NLPer，求赞求星求鼓励~~~1. k 近邻法算法k-nearest neighbors （k-NN），
2021-01-07 12:07:51
1755
原创 XGBoost使用
XGBoost使用1. XGBoost原理简介2. XGBoost参数说明3. 使用示例完整代码地址参考1. XGBoost原理简介XGBoost本质上还是GBDT，但它把算法的速度和效率做到了极致，所以叫X(Extreme)GBoost。XGBoost主要从以下方面做了优化：算法本身的优化弱学习器的选择上，除了 树模型，还支持线性模型等。在损失函数上，加入了正则化项。算法运行效率的优化算法健壮性的优化2. XGBoost参数说明3. 使用示例完整代码地址完整代码请移步至:
2020-12-27 19:26:59
1703
1
原创 梯度提升树（GBDT）原理小结
梯度提升树（GBDT）原理小结1. boosting2. 提升树（boosting tree）2.1 提升树模型2.2 提升树算法：前向分步算法2.3 分类问题的提升树算法2.4 回归问题的提升树算法3. 梯度提升树（gradient boosting）3.1 分类问题的梯度提升树算法3.2 回归问题的梯度提升树算法4. 代码示例5. 模型评价完整代码地址参考接着之前的 决策树 章节和 随机森林 章节，接下来还会继续介绍一些基于决策树的，具有代表性的集成模型，如GBDT，XGBoost以及lightGBM
2020-12-12 16:04:19
2869
原创 随机森林（Random Forest）原理小结
随机森林（Random Forest）原理小结1. bagging2. 随机森林（RF）2.1 RF 分类2.2 特征重要性2.3 RF 回归3. 模型评价4. 参考接着上一章节的决策树模型，接下来会介绍一些基于决策树的，具有代表性的集成模型，如随机森林（RF），GBDT，XGBoost以及lightGBM。本章主要介绍随机森林（Random Forest，简写RF），RF是bagging集成模型的扩展变体，所以前面会简要介绍一些关于bagging的内容，后面会有专门的“集成学习”的章节来重点介绍bag
2020-11-23 22:43:58
11323
4
原创 决策树（Decision Tree）原理小结
决策树（Decision Tree）原理小结1. 决策树1.1 决策树基础概念1.2 决策树的学习1.3 决策树学习的3个步骤2. ID3算法2.1 特征选择准则：信息增益2.2 决策树生成算法2.3 决策树剪枝算法3. C4.5算法3.1 特征选择准则：信息增益比3.2 决策树生成算法3.3 决策树剪枝算法4. CART算法4.1 特征选择准则：基尼系数4.2 决策树生成算法4.3 决策树剪枝算法5. 决策树延伸6. 参考1. 决策树1.1 决策树基础概念1.2 决策树的学习1.3 决策树学习的3
2020-11-20 22:22:28
1478
原创 最大熵（max entropy）模型原理小结
1. 认识各种“熵”2. 最大熵模型2.1 最大熵原理 最大熵原理是概率模型学习的一个准则。最大熵原理认为：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型时最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为：在满足约束条件的模型集合中选取熵最大的模型。2.2 模型的定义 将最大熵原理应用到分类，就得到最大熵模型。学习的目标就是用最大熵原理选择最好的模型。 最大熵模型是指“条件熵”最大的模型。 给定训练样本集（假设含有N个样本）T=
2020-11-12 20:20:16
3161
原创 逻辑斯蒂回归（logistic regression）原理小结
1. 模型函数2. 损失函数3. 学习算法4. 加正则项的逻辑斯蒂回归5. 二分类 vs 多分类
2020-11-08 15:30:12
4520
原创 线性回归（Linear Regression）原理小结
1. 模型函数 m个样本，每个样本x\pmb{x}xxx有n个属性/特征描述，第i个样本的属性描述为：xi=(xi(1),xi(2),...,xi(n))\pmb{x_i}=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})xixixi=(xi(1),xi(2),...,xi(n))。线性回归尝试使用属性/特征的线性组合来对 x\pmb{x}xxx–>h(x)h(\pmb{x})h(xxx)进行预测，其中h(x)h(\pmb{x})h(xxx)为连续值。即
2020-11-07 20:59:02
1480
原创 FastText调参：GridSearch+CV
文章目录1. FastText之train_supervised参数说明2. 参数选择实现：网格搜索+交叉验证2.1 my_gridsearch_cv主方法2.2 get_gridsearch_params2.3 get_KFold_scores2.4 使用示例3. 完整代码1. FastText之train_supervised参数说明input_file 训练文件路径（必须）model skipgram或者CBOW default skipgramlr
2020-10-03 22:21:10
1820
1
原创 EDA文本增强及其在文本分类上的提升验证
EDA文本增强及其在文本分类上的提升验证1. 论文精读1.1 什么是EDA1.2 注意点1.2.1 关于n的取值1.2.2 一个文本产生几个增强？1.2.3 注意和限制1.3 结论2. 实验2.1 说明2.2 实验代码3. 完整代码参考1. 论文精读1.1 什么是EDA EDA（Easy Data Augmentation）：为NLP提供了一套简单的通用数据增强技术，即4个simple but powerful操作：对于训练集中一个给定的句子，我们随机\color{#FF3030}{随机}
2020-10-03 15:08:44
1251
11
原创 Focal Loss原理以及代码实现和验证（tensorflow2）
Focal Loss论文解读和代码验证Focal Loss1. Focal Loss论文解读1.1 CE loss1.2 balanced CE loss1.3 focal loss2. tensorflow2验证focal loss2.1 focal loss实现3. 实现结果说明4. 完整代码参考Focal Loss1. Focal Loss论文解读 原论文是解决目标检测任务中，前景（或目标）与背景像素点的在量上（1:1000）以及分类的难易程度上的极度不均衡，而导致的one-stage d
2020-09-20 23:19:05
2618
2
原创 MySQL 避免重复插入时如何写SQL
table示例：chi_variant_words_lib（中文变义词词表）假设红色部分为我在代码中需要插入的部分。说明：下面的SQL语句示例是我用于Python中的代码片段，所以使用了%s的写法，如果直接写SQL或想要在其他语言中使用只需稍作修改。方式1：使用ignore关键字INSERT IGNORE INTO chi_variant_words_lib (origina...
2019-04-09 11:08:42
1339
转载 深入理解Java：注解（Annotation）基本概念
转载自：竹子-博客(.NET/Java/Linux/架构/管理/敏捷)：https://www.cnblogs.com/peida/archive/2013/04/23/3036035.html什么是注解（Annotation）： Annotation（注解）就是Java提供了一种元程序中的元素关联任何信息和着任何元数据（metadata）的途径和方法。Annotion(注解)是一个接口...
2019-02-21 11:03:18
194
1
转载 深入理解Java：注解（Annotation）--注解处理器
转载自：竹子-博客(.NET/Java/Linux/架构/管理/敏捷)：http://www.cnblogs.com/peida/archive/2013/04/26/3038503.html如果没有用来读取注解的方法和工作，那么注解也就不会比注释更有用处了。使用注解的过程中，很重要的一部分就是创建于使用注解处理器。Java SE5扩展了反射机制的API，以帮助程序员快速的构造自定义注解处理器...
2019-02-21 11:00:25
181
转载 深入理解Java：注解（Annotation）自定义注解入门
转载自：竹子-博客(.NET/Java/Linux/架构/管理/敏捷)：http://www.cnblogs.com/peida/archive/2013/04/24/3036689.html要深入学习注解，我们就必须能定义自己的注解，并使用注解，在定义自己的注解之前，我们就必须要了解Java为我们提供的元注解和相关定义注解的语法。元注解： 元注解的作用就是负责注解其他注解。Java...
2019-02-21 10:47:48
270
原创 Hadoop学习（2）Eclipse配置Hadoop开发环境+HDFS Java API测试+Bug解决记录
目录参考：1. 添加插件2. 在Windows上安装Hadoop2.9.1（1）在本地安装Hadoop（2）配置Hadoop的环境变量（3）修改hadoop-env.cmd文件中的JAVA_HOME（4）添加Windows支持文件（winutils.exe，hadoop.dll）（5）重启Eclipse（File->Restart）3. Eclipse中的...
2018-09-27 13:11:12
5013
原创 Hadoop学习（1）Hadoop2.9.1完全分布式环境搭建和测试
目录 参考：1. 安装前节点环境准备1.1修改主机名（所有节点，以master节点为例）：1.2关闭防火墙和selinux（所有节点，以master节点为例）：2. 安装前系统环境准备2.1 安装jdk（所有节点，以master节点为例）2.2 创建hadoop用户（所有节点，以master节点为例）2.3 hosts文件设置（所有节点，以master节点为例）...
2018-09-25 20:48:07
1930
2
ABBREV.txt--用于做python数据库实验的营养数据源
2016-01-02
用于做python数据库实验的营养数据源
2016-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人