- 博客(309)
- 资源 (17)
- 收藏
- 关注
RSS订阅
原创 数据结构与算法总结（完结）
极客时间算法学习之后开始跟着花花酱刷题。大概从4月份开始的。从今天开始（2020-8-24）开始做总结，复习一下已经刷过的题目。到目前为止leetcode刷题323道。1刷题原则根据花花酱建议，梳理出以下结论。要刷多少题1 每个类型 10-20，总共200-300题如何刷题1 同类型题目一起刷2 看代码很重要，看至少3-5种不同实现3 第一遍：5分钟想不出来就看答案；第二遍：尝试不看答案完整实现，一道题目不超过60min；第三遍：尝试快速实现，15-20min实现不了就看答案4 完整的手写
2020-08-24 09:13:12
1093
1
原创 回溯算法归纳
回溯算法解题思路回溯的两种思路题目描述按照思路1解决按思路2解决回溯的两种思路看不同的解题方法，形成不同的思维。先说结论。回溯解题思路1：是对可选择每个元素，采取不选择、选择两种策略，不断递归下去。最近看花花酱的视频，得到思路2：要完成目标分为n个阶段，每个阶段会有不同的选择，在每个阶段尝试不同选择。下面，以具体leetcode39为例，来说明。题目描述输入：一个不包含重复元素的数组c...
2020-04-14 09:25:56
262
原创 极客时间算法练习题总结
文章出处：极客时间《数据结构和算法之美》-作者：王争。该系列文章是本人的学习笔记。在极客时间《数据结构和算法之美》最后，王争老师加餐了7天训练内容，对每一部分需要掌握的数据结构与算法做了总结。现在我把这些题目放在一起，并且和自己写的代码做了超链接。数组实现一个支持动态扩容的数组实现一个大小固定的有序数组，支持动态增删改操作实现两个有序数组合并为一个有序数组...
2019-11-14 22:19:53
734
原创 EM算应用：两硬币、三硬币
EM算法，三硬币，两硬币参数θπpqθπpqπpq\pi,p,qπpq分别表示硬币A,B,C是正面的概率。观测到了n次投掷结果，记为Yy1y2ynYy1y2...yn，每次投掷10次，yi∈010yi∈010,表示本次试验中硬币正面朝上的次数隐变量设为Zz1z2znZz1z2...znzi1z_i=1zi1表示硬币A正面朝上，将选择硬币B投掷；
2023-03-05 23:44:45
760
1
原创 从决策树到xgboost(二)
文章目录3 集成学习4 Adaboost4.1 Adaboost算法5 提升决策树BDT6 梯度提升决策树GBDT7 极限梯度提升XGboost3 集成学习所谓集成学习，是指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”，或一个公司董事会上的各董事投票决策，它要求每个弱分类器具备一定的“准确性”，分类器之间具备“差异性”。集成学习根据各个弱分类器之间有无依赖关系，分为Boosting和Bagging两大流
2022-03-25 11:01:06
1612
原创 从决策树到xgboost(一)
文章目录1 决策树1.1决策树定义1.2信息增益1.3 信息增益的算法1.4 信息增益比2 决策树ID32.1 ID3树的构建2.2 决策树的剪枝2.2.1 损失函数定义与计算2.2.2 剪枝过程1 决策树1.1决策树定义决策树的基本组成：决策节点、分支、叶子。决策树表示给定特征条件下的概率分布。条件概率分布定义在特征空间的一个划分上。将特征空间划分为互不相交的单元。并在每个单元上定义一个类的概率分布，就构成了一个条件概率分布。决策树的一条路径对应于划分中的一个单元。决策树的本质是在特征空间
2022-03-20 17:35:54
847
原创 三种平滑方法
为了理解《LETOR: A benchmark collection for research on learning to rank for information retrieval》中提出的数据特征中的三个：LMIR.ABS、LMIR.DIR、LMIR.JM的计算方法，我查阅了很多资料。前面一篇博客是理解。这一篇也是。这篇博客的内容来自《A Study of Smoothing Methods for Language Models Applied to Ad Hoc Information Retr
2022-03-09 16:00:45
1182
原创 Jelinek-Merer与Absolute discounting 平滑方法
Jelinek-MererJelinek-Merer平滑方法的基本思想是利用低元n-gram模型对高元n-gram模型进行线性插值。PML(wi∣wi−1)=c(wi,wi−1)c(wi−1)P_{ML}(w_i|w_{i-1})=\dfrac{c(w_i,w_{i-1})}{c(w_{i-1})}PML(wi∣wi−1)=c(wi−1)c(wi,wi−1)c(wi,wi−1)c(w_i,w_{i-1})c(wi,wi−1)是指词i和词i-1共同出现的次数。PML(wi)=c(w
2022-03-08 17:47:23
1061
原创 learning to rank评价指标
文章目录1 准确率Mean average precision1.1 定义1.2 计算2 NDCG(Normalized Discounted Cumulative Gain)2.1定义2.2 例子1 准确率Mean average precision1.1 定义Precision at position k (P@k)是一个衡量排名前k位的方法，使用两个级别(相关的和不相关)的相关性判断。公式：P@k=1k∑j=1krjP@k=\dfrac{1}{k}\sum^{k}_{j=1}r^jP@k=
2022-03-07 17:49:07
291
原创 总和最大区间问题
题目和解题思路来源于吴军著作《计算之魂》。本题目是例题1.3。文章目录1 问题描述2 解题思路2.1 三重循环2.2 两重循环2.3 分治法1 问题描述总和最大区间问题：给定一个实数序列，设计一个最有效的算法，找到一个总和最大的区间。例如给定序列：1.5,-12.3,3.2,-5.5,23.2,3.2,-1.4,-12.2,34.2,5.4,-7.8,1.1,-4.9总和最大的区间是从第5个数（23.2）到第10个数（5.4）。2 解题思路2.1 三重循环public int[] findM
2022-01-03 07:45:02
5237
4
原创 第三课 SVM（2）
1 线性可分的数据集1.1 超平面SVM的思想是找到最大间隔的分隔超平面。在两个分类中，找到能够一条线，以最好地区分这两个分类。这样如果有了新的点，这条线也能很好地做出分类。这样的线在高维样本中的时候就叫做超平面。1.2 几何间隔与函数间隔图中绿线h1效果不好，h2效果还行，h3效果最好。怎么区分效果好不好？如果超平面w.x+b=0w.x+b=0w.x+b=0已经存在，那么样本点距离超平面的距离能够表示预测的确信程度。∣w.x+b∣|w.x+b|∣w.x+b∣能够相对地表示点x距离超平面的距
2021-10-31 15:17:58
143
转载 什么是word2vector
原文地址：https://www.julyedu.com/questions/interview-detail?quesId=2761&cate=NLP&kp_id=30什么是 Word2vec?在聊 Word2vec 之前，先聊聊 NLP (自然语言处理)。NLP 里面，最细粒度的是 词语，词语组成句子，句子再组成段落、篇章、文档。所以处理 NLP 的问题，首先就要拿词语开刀。举个简单例子，判断一个词的词性，是动词还是名词。用机器学习的思路，我们有一系列样本(x,y)，这里 x 是词
2021-09-21 07:14:07
276
转载 Python是如何进行内存管理的
从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制一、对象的引用计数机制Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。引用计数增加的情况：1，一个对象分配一个新名称2，将其放入一个容器中（如列表、元组或字典）引用计数减少的情况：1，使用del语句对对象别名显示的销毁2，引用超出作用域或被重新赋值sys.getrefcount( )函数可以获得对象的当前引用计数多数情况下，引用计数比你猜测得要大得多。对于不可变数据（如数字和字符串），解释器会在
2021-09-18 06:40:41
571
原创 闲聊型对话系统之NLG总结报告
文章目录1 项目介绍1.1 背景知识介绍1.2 NLG的实现方式1.2.1 基于模板1.2.2 检索式1.2.3 生成式1 项目介绍1.1 背景知识介绍对话系统按领域分类，分为任务型和闲聊型。闲聊型对话系统有Siri、微软小冰、小度等。它们实现可以以任意话题跟人聊天。任务型对话系统是以完成特定任务为目标的对话系统。例如可以以订机票为一个特定的任务，实现的对话系统。我们这里重点关注任务型对话系统。任务型对话系统分为语音识别、自然语言理解NLU、对话管理DM、自然语言生成NLG、语音合成几个部分。与N
2021-09-05 10:07:00
1489
原创 对话系统之NLU总结报告
文章目录1 项目介绍1.1 背景知识介绍1.2 数据集介绍1.3 评价指标2 技术方案梳理2.1 模型目标2.2 模型介绍2.3 模型实现2.3.1 数据处理2.3.2 构建dataset2.3.3 模型定义2.3.4 训练相关参数2.3.5 训练结果3 项目总结1 项目介绍1.1 背景知识介绍对话系统按领域分类，分为任务型和闲聊型。闲聊型对话系统有Siri、微软小冰、小度等。它们实现可以以任意话题跟人聊天。任务型对话系统是以完成特定任务为目标的对话系统。例如可以以订机票为一个特定的任务，实现的对话系
2021-09-04 00:37:04
2265
1
原创 NLG模块实现（未完成）
NLG(Natural Language Generation)，计算机将结构化数据转换为文本并以人类语言编写信息。使用GPT框架完成NLG任务。GPT模型是预训练模型， 采用两阶段过程，第一个阶段是利用语言模型进行预训练（无监督形式），第二阶段通过 Fine-tuning 的模式解决下游任务（监督模式下）。GPT模型是Seq2Seq模型中的一种。分为encoder和decoder两部分。encoder：有12个transform block。输入句子，输出词向量。decoder：有12个trans
2021-08-23 09:03:25
271
原创 理解transformer
文章目录1 注意力机制2 自注意力机制3 自注意力机制加强版4 Transformer的结构4.1 input4.2 encoder4.2.1 Multi-head attention4.2.2 残差链接4.2.3 层正则化layer norm4.2.4 前馈神经网络 feed forward network4.3 decoder4.3.1 输入4.3.1 Masked Multi-head attention4.3.2 Multi-head attention4.3.3 前馈神经网络 feed forwa
2021-08-03 09:20:09
484
1
原创 二分搜索模板
翻了一下自己的博客。记录了花花酱的二分搜索模板、王争的二分搜索模板。花花酱的文章中提到：不要试图去找一个正确答案。试图去找一个分割点m，使得x>=m，g(x)>0为true。这个始终get不到。王争的二分模板思路是比较简单的，就是时间长了，忘记了。考虑边界值的时候，是在代码逻辑中考虑，容易理解。接下来记录一下labuladong的二分搜索模板。1 查找目标值简单二分，查找目标值。int binarySearch(int[] nums, int target) { int le
2021-07-30 09:15:52
174
原创 基于知识图谱的问答系统实践
文章目录1 项目目标2 模型介绍3 代码4 总结与优化1 项目目标基于知识图谱的问答系统，简称为KBQA，是知识图谱的一种应用方式。在本项目中的知识图谱数据是关于公司的。数据中包含公司的主键、名称、分红方式、所处行业、债券类型等，也包含公司主要职位的人物名称，还有公司与公司之间的关系。经过分析之后，我们建立的图谱中的实体有：公司、人物、行业、分红方式、违规类型、债券类型。公司与公司之间的关系有：供应商、客户、公担保。人物与公司之间的关系有：监事、董事。公司与行业的关系：属于。公司与分红方式的关系：属于
2021-07-09 08:47:03
5475
1
原创 图谱问答-句子向量&模型部署&项目总结（未完）
内容来自七月算法nlp课程。文章目录1 句子向量1.1 bert句子向量表示相似度效果不好1.2 sentence-bert1 句子向量句子向量是用于实体消岐的。可以使用Elmo，也可以使用bert。这里介绍用bert生成句子向量。1.1 bert句子向量表示相似度效果不好Bert中最常用的句向量方式是采用cls标记位或者平均所有位置的输出值，注意，在采用平均的方式的时候，我们需要先做一个mask的操作，计算均值时，除以mask的和。但bert的句子向量效果不理想。为什么呢？原因1：词频率影响
2021-06-02 07:16:20
208
原创 图谱问答-理解query
内容来自七月算法nlp课程。图谱问题是用户输入一句话，系统返回这句话的答案。这里分多种情况。例如根据实体和关系查询尾实体，或者根据实体查询关系，甚至还会出现多跳的情况，不同的情况采用的方法略有不同。1 根据实体和关系查询尾实体需要两个步骤完成：第一步找到实体与关系；第二步实体链接和实体消岐。1.1 找到实体与关系NER的方式很多。可以采用传统机器学习的分类方法，也可以使用深度学习神经网络，一般架构为encoder+cfr层。这里重点介绍AC自动机1.1.1 AC自动机1、构建前缀树2、给前
2021-05-27 08:52:11
513
2
原创 知识图谱中三元组抽取
内容来自七月算法nlp课程。这是要解决知识图谱中的其中一个问题：从非结构文本中抽取三元组。要解决这个问题，总体思路有通过模板抽取、通过模型抽取。三元组工业界一般都存储在neo4j中，学术界会采用RDF形式存储。1结构化数据抽取定义好schema。按照schema的格式，把关系型数据转为图数据。2 非结构化数据抽取2.1 通过模板抽取通过模板抽取，这个一般是通过正则实现，课程上不做过多介绍。2.2 通过模型抽取模型的整体结构如图所示，输入是一段文本信息，经过encoder层进行编码，提取
2021-05-24 06:26:52
9649
6
原创 pytorch中的squeeze和unsqueeze
squeeze：压缩，要减少维度。unsqueeze：解压缩，要增加维度。torch.squeeze(input)，那么会把input中所有维度长度为1的维度去掉。torch.squeeze(input,dim=1)，那么在给定dim的情况下，就只去掉dim这个维度，其他维度还保留。import torchx = torch.rand(5,3)x = x.squeeze(1)tensor([[0.0621, 0.2074, 0.5420],[0.5897, 0.3664, 0.4387],
2021-05-19 09:10:34
579
原创 pytorch中的sum
pytorch的sum怎么那么烦人呢？我怎么知道应该给哪个维度做加和呢。如果 x=tensor([[0.5946, 0.3530, 0.2231],[0.7467, 0.2139, 0.4841],[0.6990, 0.6151, 0.1369],[0.1062, 0.5951, 0.7555],[0.7811, 0.2932, 0.2963]])那么我想 x.sum(dim=1)，第0个维度是行，第1个维度应该是列，那应该是按列求和吧，最后结果应该是一行3列。结果是tensor([1.17
2021-05-19 08:50:37
4091
原创 知识图谱需要解决的问题
1 知识图谱应用场景1、数据可视化2、基于图谱的问答系统3、基于图谱的关系推理4、便捷的关系查询，给模型提供更多数据特征2 知识图谱的构建非结构化数据源中的实体识别：一般来说是一个sequence labeling的任务。非结构化数据源中的关系抽取：通常都会提供好固定的一些关系，因此该任务就是一个分类问题。非结构化数据源中的三元组抽取3基于知识图谱的问答根据问题，解析三元组中的两个元素，查询第三个元素如何确定subject：entity linking->name dict
2021-04-24 22:25:36
1720
原创 pytorch矩阵相乘与点乘
torch.mul(a, b) 矩阵点乘矩阵点乘要求两个矩阵维度符合一定要求a的形状是(x,y)b的形状是(x,y)，那么得到(x,y)形状的矩阵b的形状是(x,1)，那么得到(x,y)形状的矩阵，从2到y列的值与第一列的值相y=1，b的形状是(1,x)，那么得到(x,x)形状的矩阵，torch.mm(a,b) 矩阵相乘a的形状是(x,y)，b的形状是(y,z)，得到(x,z)形状的矩阵只能计算二维矩阵的相乘。nn.Linear 线性变化y=ax+b 包含矩阵乘的操作.
2021-04-24 08:04:13
1946
原创 pytorch自定义模型执行过程
使用pytorch定义自己的模型是继承nn.Module实现的。在__init__方法中定义需要初始化的参数，一般把网络中具有可学习参数的层放在这里定义。forward方法实现模型的功能，实现各个层之间的连接关系的核心。backward函数就会被自动实现(利用Autograd)。class WordAveragingModel(nn.Module): def __init__(self, vocab_size: int, embed_dim: int, embed_dropout: float
2021-04-23 08:57:53
459
原创 mac下pip install 安装只能选择python2.7的问题
mac自带python2.7。我用brew install安装过python3:brew install python3我安装了anaconda3。因为它自带了很多包。所以我无论是用pycharm编程还是jupyter notebook一直都用的是anaconda3带的python。后来发现用pip install 安装的包，在pycharm工程中用不了。更有甚者，有时候用pip install 安装不了，例如allennlp。虽然我可以用pip3 install allennlp安装。但是安装之后发
2021-04-16 06:47:11
758
原创 再谈BERT
第三次讲到了BERT。第一次是文章目录1 关于预训练模型1.1预训练概念1.2 再谈语言模型1.3 ELMo1.4 GPT1 关于预训练模型1.1预训练概念预训练模型最早用于CV领域。深度学习模型就是一个y=fθ(x)y=f_{\theta}(x)y=fθ(x)查找最优θ\thetaθ的过程。如果参数θ\thetaθ初始值合适的话，会加快模型训练进度。预训练就是在任务上优化参数，最后得出一套参数。这套参数可以作为下游任务的初始值。为什么预训练模型可
2021-04-14 09:10:02
292
原创 transformer & bert &GPT(未完)
原文标题：⼤规模⽆监督预训练语⾔模型与应⽤（中）文章目录1 transformer1.1 encoder部分1.1.1 Attention定义1.1.2 Multi-head Attention1.1.3 position-wise feed-forward networks1.1.4 positional encoding1.1.5 残差链接1.1.6 layer norm1.2 decoder部分2 bert1 transformer论文Attention
2021-04-12 08:51:43
319
1
原创 ⼤规模⽆监督预训练语⾔模型与应⽤（上）
文章目录1 单词作为语言模型的基本单位的缺点1 单词作为语言模型的基本单位的缺点单词量有限，遇到没有见过的单词只能以UNK表示。模型参数量太大。...
2021-04-11 19:14:44
206
原创 文本生成模型
文本生成目前（2019年）还没有确定的可工程化的用途。主要模型有：Variational Auto Encoder (VAE)和Generative Adversarial Networks (GAN)这个对我来说是新的内容，需要再次消化。...
2021-04-07 08:09:33
520
原创 再看机器翻译
前面有文章具体介绍了机器翻译用到的模型：seq2seq和加入attention机制。这里再说点别的。1 机器翻译评价标准BLUE参考文章介绍的很详细。论文地址：url2 模型背后的理论：密码学例如从中文翻译成英文，可以将中文看做是加密了的英文。3 工程上1 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation2 NEURA
2021-04-02 17:01:53
135
原创 nlp中的经典模型(三)
文章目录5 NLP中的卷积神经网络5.1 卷积5.2 多通道5.2 max pooling5 NLP中的卷积神经网络RNN的问题：1 时间复杂度高2 最后一个向量包含所有信息。有点不可靠CNN可以通过卷积核捕捉局部特征，那是不是可以用于句子，表示特定长度的词序列呢？例如句子：他 毕业 于 上海 交通 大学。如果长度设定为3，那么CNN应该可以捕获他 毕业 于毕业 于 上海于 上海 交通上海 交通 大学这样一些词序列的特征5.1 卷积卷积
2021-04-01 08:38:17
304
原创 nlp中的经典深度学习模型(二)
文章目录3 seq2seq+Attention3.1 Sequence to Sequence Model3.1.2 模型介绍3.1.2 模型训练3.2注意力机制3 seq2seq+Attention3.1 Sequence to Sequence Model3.1.2 模型介绍Sequence to Sequence Model解决y=f(x)的问题。x是一个序列，y是一个序列。最常应用于翻译问题。模型包含编码器和解码器2部分。编码器：输入序列编码
2021-03-31 09:09:14
354
原创 nlp中的经典深度学习模型(一)
文章目录1 DNN与词向量1.1 DNN1.2 skip-gram1.3 简单句子分类模型DAN2 RNN+LSTM+GRU2.1 RNN2.2 LSTM1 DNN与词向量1.1 DNN神经网络中每一个神经单元是一个线性变化加一个激活函数s=UTas=U^Tas=UTaa=f(z)a=f(z)a=f(z)z=Wx+bz=Wx+bz=Wx+b多层神经网络就是不断向前加。1.2 skip-gram通过中心词 预测周围词。整体训练网络如上图。词表大小
2021-03-30 18:22:48
745
原创 三、自然语言分类
三种分类方式：Word Averaging模型、RNN、CNN。1 Word Averaging模型我们首先介绍一个简单的Word Averaging模型。这个模型非常简单，我们把每个单词都通过Embedding层投射成word embedding vector，然后把一句话中的所有word vector做个平均，就是整个句子的vector表示了。接下来把这个sentence vector传入一个Linear层，做分类即可。怎么做平均呢？我们使用avg_pool2d来做average pooling
2021-03-30 09:28:48
791
原创 二、语言模型
文章目录1 语言模型2 语言模型评价指标：Perplexity3 基于神经网络的语言模型3.1 RNN3.2 LSTM3.3 GRU4 优化函数5 模型代码6 用途与评价1 语言模型语言模型的任务是判断一句话出现的概率（也就是说一句话是不是人说的），可以表示为：P(W)=P(w1,w2,...wn)P(W)=P(w_1,w_2,...w_n)P(W)=P(w1,w2,...wn)使用链式法则求概率：P(W)=P(w1,w2,...wn)=∏iP(wi∣w1,w2,...wi−1)P(W)=P(
2021-03-30 09:20:24
192
原创 一、词向量模型
因为计算机不能理解词语，所以我们需要用词向量表示一个词。词向量有一个发展历程。1 one-hot2 bag of wordstf-idfbinary weightingb-gram和n-gram优点：考虑了词的顺序缺点：词表膨胀，无法衡量向量之间的相似性3 分布式表示skip-gram输入第t个词，用一层的神经网络，预测周围的词，也就是第t-2个，t-1个，t+1个，t+2个…。这个任务本身没有意义，做这件事情的意义是拿到词向量。拿到词向量可以用于查找一个词的邻
2021-03-24 23:59:21
4869
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人