- 博客(200)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 数学: 积分整理
前言此篇博客用来整理一些技巧结论性质的积分[1] ∫x1∫x2[f(x1)+f(x2)]p(x1,x2)dx1dx2=∫x1f(x1)p(x1)dx1+∫x2f(x2)p(x2)dx2\int_{x_1}\int_{x_2}[f(x_1)+f(x_2)]p(x_1,x_2)dx_1dx_2=\int_{x_1}f(x_1)p(x_1)dx_1+\int_{x_2}f(x_2)p(x_2)dx_...
2019-09-06 09:15:48
249
原创 可视化整理
前言：此篇博客用来整理各种工具可视化方法, 持续更新。文章目录Python-Matplotlib表格Python-Matplotlib表格样例(1)代码戳这里
2019-08-11 00:03:37
235
2020-12-31
score(adji,aspect)=W[P(d1);P(d2);hadji;haspect]+bscore(adj_i, aspect) = W[P(d_1); P(d_2);h_{adj_i}; h_{aspect}] + bscore(adji,aspect)=W[P(d1);P(d2);hadji;haspect]+baadji=expscore(adji,aspect)∑j=1Kexpscore(adjj,aspect)a_{adj_i}=\frac{exp^{score(adj_i
2020-12-31 10:30:17
201
原创 论文笔记：Representation Learning with Contrastive Predictive Coding
对于无监督学习来说，互信息是一个非常重要的指标，它衡量了两个随机变量之间的相关性。在无监督学习中，利用对互信息的优化，通常我们能够得到更加好的特征表示。要做什么特征抽取是无监督学习的重要部分，旨在对大量的无标注数据样本进行训练，最后能够得到一个编码器E，将每一个样本XXX编码为一个好的向量表示zzz，那么如何衡量这个表示是否好呢？自编码器(AutoEncoder)告诉我们, 希望编码出的向量能够重构原始样本。因此我们在加入一个解码器D, 将重构的X′X'X′与XXX做Mse loss。但是这样的想法
2020-11-09 15:44:25
1944
原创 自然语言处理名言
You shall know a word by the company it keeps ——J. R. Firth 1957: 11(开创现代统计NLP的核心思想)”
2020-01-03 15:41:00
1075
原创 排列问题的重参数技巧
近日研读了一篇发表在ICLR 2018上的文章:《LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS》, 其介绍了一种能够将二维张量以可微分的形式转变为转置矩阵的方法。使得指派、重排等不可微分操作能够以可微分的形式结合到神经网络当中。由此，我们便可使BP算法学习这些操作，以实现神经网络的数字排序、拼图等算法。BP之痛直面评价...
2019-12-22 16:37:42
1076
原创 自然语言处理—阅读理解
文章目录一、任务定义二、数据集三、评价指标3.1、检索类3.2 生成类3.2.1 词重叠评价指标3.2.2 词向量评价指标四、相关文章五、参考一、任务定义阅读理解任务根据答案类型，可以分为如下四种形式：完形填空：给定上下文CCC,一个词或者实体a∈Ca \in Ca∈C被移除，预测aaa, 即最大化条件概率P(a∣C−{a})P(a | C-\{a\})P(a∣C−{a}).多项选择：...
2019-12-11 19:19:12
1504
原创 可视化: Python—MatPlotLib—多模型的ROC曲线
文章目录示例代码解释示例代码from sklearn.metrics import roc_curve, aucimport matplotlib as mpl import matplotlib.pyplot as pltplt.figure(figsize=(15, 10))def plot_roc(labels, predict_probs, titles): c...
2019-11-25 21:31:26
3747
1
原创 自然语言处理—语义分析
文章目录一、任务定义二、数据集三、评价指标四、相关文章一、任务定义语义分析旨在将自然语言映射为机器可解释语言(如逻辑形式、SQL、Python等)。二、数据集暂略三、评价指标四、相关文章序号会议作者论文阅读笔记源码复现创新点[1]XAishwarya KamathA Survey on Semantic Parsing暂无无对语义分析的综述文...
2019-11-25 17:18:50
1693
原创 可视化: Python—MatPlotLib—CV常用对比图绘制
文章目录样例代码：解释样例代码：plt.figure(figsize=(10, 2))plt.subplots_adjust(bottom=0, left=.01, right=.99, top=.90, hspace=.35)for idx, inp in enumerate(show_dogs): inp_origin = inp[0].numpy().transpose(...
2019-11-24 15:21:57
642
原创 可视化: Python—MatPlotLib—折线图带子图
文章目录图示代码图示代码import matplotlib.pyplot as plt import numpy as npdef plot_epoch_for_performance_and_loss(model_name, res_dict): """Function: 评价指标以及训练集...
2019-11-04 20:12:20
264
原创 论文笔记：Simplify the Usage of Lexicon in Chinese NER Minlong
文章目录一、摘要二、模型三、实验结果一、摘要以前我们已经提到过一篇结合字典进行中文命名实体识别的文章《Chinese NER Using Lattice LSTM》. 这个方法能够一定程度解决分词错误。然而，这个方法有一个重要的缺陷，就是效率低下，其在源码的issue中也提到了，目前竟然不支持并行化。因此，这篇文章希望设计出一种更加有计算效率的方式。二、模型该论文主要是在底层字和词的表示上...
2019-10-28 17:25:01
2882
5
原创 论文笔记：A Neural Multi-digraph Model for Chinese NER with Gazetteers
文章目录一、摘要二、模型1、构图2、GGNN三、实验结果一、摘要文章提出了一种基于图神经网络并结合多种词典的命名实体识别方法，主要的新意是让模型自动去学习词典的特征，而不是像《Incorporating dictionaries into deep neural networks for the Chinese clinical NER》那样基于人工的策略去构建。二、模型1、构图首先根...
2019-10-28 13:23:06
2506
原创 自然语言处理——知识图谱——表示学习
文章目录一、任务定义二、数据集三、评测方法四、相关论文一、任务定义Representation learning (RL) of knowledge graphs aims to project bothentities and relations into a continuous low dimensional space。二、数据集表示学习一般作为其他任务的前置任务，比如【知识...
2019-10-26 17:27:57
788
原创 论文笔记：Representation Learning of Knowledge Graphs with Entity Descriptions
文章目录一、摘要二、简介三、方法词袋模型编码器CNN编码器四、实验结果一、摘要文章提出了一种结合【实体外部描述】和【三元组】的知识图谱表示学习方法。在【知识图谱补全】和【实体分类】两个任务上取得了很大的提升。并且很重要的一点是，该方法能够自然地解决【实体不在图谱中的问题】。二、简介文章使用了两种表示方法进行知识图谱表示：基于结构的表示方法，如Trans-E等。基于描述的表示方法，利用...
2019-10-26 17:27:29
1780
原创 论文笔记：Gazetteer-Enhanced Attentive Neural Networks for Named Entity Recognition
文章目录摘要一、模型二、结果三、疑惑摘要文章设计了一种利用外部词典加强命名实体识别的方法，整个模型大致分为【Inner-Region Encoder】、【Attentive Context Encoder】、【Utterance Encoder】三个部分， 模型概略图如下所示：该模型有助于解决缺乏训练数据的场景一、模型【Inner-Region Encoder】: 对应模型图的(a)部...
2019-10-25 10:28:26
1028
5
原创 论文笔记：Chinese NER Using Lattice LSTM Yue
文章目录摘要一、简介指导性结论摘要文章提出了一种将【字】和所有【潜在词组】作为输入的模型。其有以下优势：对于基于字的方法：模型利用了词组的信息对于基于词的方法：模型设计了门控机制，解决了分词错误问题。一、简介文章为了在避免分词错误的情况下利用词信息，设计了一种Lattice LSTM的结构，其可以自动学习一些词组，作为输入。示意图如下：指导性结论对于中文NER来说，基于字符...
2019-10-23 22:35:06
593
原创 论文笔记：Incorporating dictionaries into deep neural networks for the Chinese clinical NER
文章目录摘要一、简介二、相关工作三、模型四、融合词典信息N-Gram FeaturePIPEPDET五、融合结构六、实验结果摘要融合了字典到深度神经网络中，解决了一些稀有实体不能被识别的问题。一、简介对每个中文字符，基于字典和上下文设计了5种不同的Schemes来创建特征向量。介绍了两种结构融合特征向量和字的Embedding向量二、相关工作现有工作可分为四类：(1)基于规则的。(2...
2019-10-23 17:34:32
1269
2
原创 论文笔记：A Study of the Importance of External Knowledge in the Named Entity Recognition Task
文章目录摘要一、简介二、知识分类2.1 Knowledge Agnostic(A)2.2 Name-Based Knowledge (Name)2.3 Knowledge-Base-Based Knowledge (KB)2.4 Entity-Based Knowledge (Entity)摘要文章提出了一种框架，其将用于命名实体识别的【Knowledge】划分为了4类。一、简介文章试图【...
2019-10-23 12:40:45
439
原创 自然语言处理——信息抽取——命名实体识别
文章目录一、任务定义二、数据集三、评测方法四、相关工作一、任务定义命名实体识别(NER)是指识别文本中具有特定意义的实体。比如以下句子乔布斯离开了苹果NER系统应该能够识别出【乔布斯】和【苹果】两个实体，并标记【乔布斯】为【人】， 【苹果】为【公司】二、数据集三、评测方法命名实体识别一般分为两种评测方法，一种是严格匹配，一种是松弛匹配。比较公认的是第一种。即：边界完全匹配，而且...
2019-10-23 10:11:58
2475
原创 论文笔记：A Survey on Deep Learning for Named Entity Recognition
前言：因为实习接触到了命名实体识别的问题，因此打算调研一下相关方法。即有了这篇综述的论文《A Survey on Deep Learning for Named Entity Recognition》的阅读笔记文章目录一、摘要二、简介命名实体命名实体识别方法命名实体识别任务种类资源三、命名实体识别中的深度学习输入的分布式表示一、摘要此文章讲解了4个方面的问题。1、现有的NER资源与工具...
2019-10-23 09:42:23
2802
原创 Python: argparse——命令行选项、参数和子命令解析器
argparse是一个Python解析命令行参数的接口，具有很强的使用性，在这里特地通过几个例子整理以下其用法文章目录一、参数二、例一：拼接字符串一、参数故名意思，该库就是用来传参的。在该库看来，参数分为两种：选项参数: 用-或者--字符起始标识。位置参数: 与选项参数反之。二、例一：拼接字符串1、 使用选项参数实现：编写parse.py文件如下import argpar...
2019-10-19 11:03:13
613
原创 科学和艺术
今天翻开博士导师给的一份资料，之所以称其为资料，是因为我也不知道其是一本书还是一篇论文，竟是有点惭愧。资料名为《The Lost Combinator》。这是一份关于自然语言理解的资料，其似乎旨在将自然语言中的【parsing】,【compositional semantics】，【statistical modeling】, 【logical inference】等研究方法联合起来。资料名是为...
2019-10-10 16:06:19
271
原创 数学: n阶微分方程的通解为什么含有n个独立任意常数
前言:学习高数多年，昨天被朋友问到n阶微分方程的通解为什么含有n个独立任意常数，一时间倒也不知道如何回答，发现似乎自己从来没注意过这个问题，因此打算好好思考一下。文章目录一、定义1、微分方程2、微分方程的阶3、微分方程通解二、求导是一种线性函数三、微分方程与L四、结语五、遗憾六、参考一、定义要解决n阶微分方程的通解为什么含有n个独立任意常数这个问题，先来回顾一些定义：1、微分方程含有未...
2019-10-10 11:17:30
24255
5
原创 自然语言处理——知识图谱——开放式对话系统
文章目录一、任务定义二、相关文章一、任务定义开放式对话系统，即聊天机器人给出的回答是多样的，不受限制的二、相关文章序号会议作者论文阅读笔记源码复现创新点[1]ACL 2019FaceBookOpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Kn...
2019-10-08 18:43:14
735
1
原创 论文笔记:OpenDialKG:Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graph
文章目录一、动机二、方法三、模型四、实验结果五、总结一、动机如何根据知识图谱在领域不可知的前提下保证对话系统的参与性和有效性是一个很重要的问题。基于此，作者将一段对话模拟为在知识图谱上的路径（可能是多条）。示例如下所示：二、方法该模型是根据(1)当前对话(2)以前的所有对话(3)当前对话中的实体，预测回答语句的实体，然后开放式对话系统便可以以该实体为核心组织对应的回复。以下是模型概略图：...
2019-10-08 18:29:51
1991
原创 网络模型: Capsule
文章目录一、模型介绍二、相关工作一、模型介绍苏剑林. (2018, Jan 23). 《揭开迷雾，来一顿美味的Capsule盛宴 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/4819苏剑林. (2018, Feb 12). 《再来一顿贺岁宴：从K-Means到Capsule 》[Blog post]. Retriev...
2019-09-26 08:56:09
549
原创 自然语言处理——知识图谱——Knowledge graph completion
文章目录一、任务定义二、数据集三、评价指标四、相关工作一、任务定义Knowledge graph completion旨在给定(1)关系(2)其中一个实体，然后预测另外一个实体。如: 给出(创建:r，苹果:o)，然后模型给出乔布斯:s.二、数据集本着了解任务的目标，这里笔者研究了该任务的其中一个数据集FB15K-237. 改数据集有两类形式的文件:(1) 三元组：/m/0grwj【头...
2019-09-25 17:42:43
1844
原创 CS294-112: Policy Gradients
文章目录一、策略梯度法1、评估策略2、优化策略3、小结一、策略梯度法1、评估策略在前面的学习中，我们已经了解到了，强化学习的目标是求解下式:θ∗=argmaxθEτ∼pθ(τ)[∑tr(st,at)](1)\theta^*=arg \max_{\theta}E_{\mathcal{\tau} \sim p_{\theta}(\tau)}[\sum_tr(s_t,a_t)] \tag{1}...
2019-09-21 20:22:07
200
原创 论文笔记: Generating Knowledge Graph Paths from Textual Definitions using Sequence-to-Sequence Models
前言：这是一篇关于Text to Entity Mapping(以下简称TEM)的文章，也是笔者了解的第一篇关于该任务的文章，自己是抱着了解该任务的目的来的，因此只是很浅层的理解，也没有抠细节。这篇文章是自然语言处理——知识图谱——Text-To-Entity Mapping系列中的一篇。文章目录一、动机二、方法三、模型四、实验结果五、总结一、动机传统的TEM模型大多是将Text与KG各...
2019-09-21 12:14:00
338
原创 自然语言处理——知识图谱——Text-To-Entity Mapping
文章目录一、任务定义二、数据集一、任务定义Text-to-entity mapping是将文本和知识图谱中概念关联起来的任务。二、数据集
2019-09-21 10:33:22
532
原创 CS294-112: Introduction to Reinforcement Learning
文章目录一、定义一、定义我们已经知道，如果有足够的数据，那么我们进行模仿学习。但是，如果数据不足或者我们想引入目的性，我们就可以通过引入奖励函数，来指导Agent的行为.关于Agent的序列决策行为与环境的相关变化，我们可以形式化地使用(马尔可夫决策过程)Markov decision process进行定义.定义一：马尔可夫决策过程马尔可夫决策过程是一个四元组:M={S,A,T,r}...
2019-09-20 15:07:41
203
原创 CS294-112: Supervised Learning of Behaviors
文章目录一、从监督学习到决策二、模仿学习一、从监督学习到决策首先来看一个标准的监督学习的例子，给定一张图片，然后通过CNN对其进行分类。但是，在强化学习的世界里，重点是Agent对环境如何做出决策，即Agent看到老虎会采取什么行动， 那么我们将最后的分类标签改为一系列行为, 如 {逃跑，模仿武松打虎}, 这就是对行为(决策)的监督学习。可以看到，对行为的监督学习本质上也是一种分类任...
2019-09-18 18:35:26
263
原创 CS294-112:Introduction and Course overview
文章目录一、课程内容二、什么是深度强化学习三、真实世界中的决策需要解决什么问题四、应该如何构建一个智能体一、课程内容从监督学习到决策强化学习中的无模型算法:Q-Learning，Policy Gradients, Actor Critic高级模型学习与预测迁移学习，多任务学习，元学习开放性问题研究与探索二、什么是深度强化学习强化学习拥有一个学习者(Agent), 其处在一个环境...
2019-09-18 11:29:44
257
原创 CS294-112: 深度强化学习
文章目录一、相关资料一、相关资料强化学习笔记总结: 知乎强化学习笔记总结: 刘健平CS294-112视频: 哔哩哔哩
2019-09-17 17:02:57
452
原创 ACM: I wanna go home
文章目录一、题目大意二、解题思路三、代码一、题目大意二、解题思路两个阵营，只能越过一次阵营，因此把跨阵营的路建模为单向边即可三、代码#include<iostream>#include<vector>#include<queue>using namespace std;const int MAX = 606;struct Node{...
2019-09-14 12:14:57
177
原创 ACM: Head of a Gang
文章目录一、题目大意二、解题思路三、代码一、题目大意二、解题思路先按照并查集找到各个联通分量，并记录每个节点的总时间t. 然后以每个联通分量的root为基, 确定每个联通分量的总时间、总人数和老大。三、代码#include<iostream>#include<cstring>#include<map>#include<algorithm&...
2019-09-14 09:41:12
148
原创 ACM: 整除问题
文章目录一、题目大意二、解题思路三、代码一、题目大意二、解题思路以a的所有素因数为基础分解n!和a, 以其指数判断是否能够整除。判断n!的素因数p的指数时，不断加上n/p. 具体见代码。三、代码#include<iostream>#include<cstring>using namespace std;const int MAX = 100000;i...
2019-09-13 16:52:55
373
原创 ACM: 进制转换
文章目录一、题目大意二、解题思路三、代码一、题目大意二、解题思路由于涉及到超过long long的整数，因此采用java编写Scanner使用input.hasNext()判断是否EOF三、代码import java.math.*;import java.util.*;public class Main{ public static void main(String[...
2019-09-13 15:32:01
357
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人