北风吹过的秋

原创 《 Recent Advances in Deep Learning-based Dialogue Systems 》：Neural Models in Dialogue Systems

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q前言本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是第二篇。本文较长，建议读者直接阅读感兴趣的部分。开篇链接：2021深度学习对话系统大综述 [

原创 Attention and Transformer

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/z1rxIzEMY1EHy-B6-134YQ一、背景介绍传统的Sequence-to-sequence模型基于当前隐状态和最后时间步长的输出向量进行token解码。条件概率描述公式如下：然而，当输入语句较长时，这种译码方案受到了限制。RNN不能将所有信息编码成固定长度的隐藏向量。Cho等人[1]通过实验证明，输入序列越长，序列到序列模型的性能越差

原创 Hierarchical Transformers for Multi-Document Summarization

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/YZsLAxC7haqdzlrG4rgnLw《 Hierarchical Transformers for Multi-Document Summarization 》爱丁堡大学信息学院语言认知与计算研究所(Yang Liu & Mirella Lapata)[email protected]@inf.ed.ac.uk...

原创 知识融合：一文看懂LIMES理论基础

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/Ie2nt0zOi2VK97x4jXYUwA《 LIMES -- A Time-Efficient Approach for Large-Scale Link Discovery on the Web of Data 》LIMES是一个基于度量空间的实体匹配发现框架，适用于大规模数据链接发现，编程语言是java。可以通过配置文件以及图形用户界面.

原创 知识融合：一文看懂Falcon-Ao理论基础

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/NhZqwmiDhQGbDjuonwMWMw《 Web Semantics: Science, Services and Agents on the World Wide Web 》论文链接：http://ws.nju.edu.cn/falcon-ao/pub/Hu.JWS.2008.pdf阅读笔记：https://app.yinxiang.

原创 知识融合开源工具Falcon-Ao和LIMES

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/h-39Cuhubzg6X9ynC1phXAFalcon-Ao是一个基于Java的自动本体匹配系统，已经成为 RDF(S) 和 OWL 所表达的 Web本体 相匹配的一种实用和流行的选择。原理简介：https://mp.weixin.qq.com/s/NhZqwmiDhQGbDjuonwMWMw官网链接：http://ws.nju.ed.

原创 Reinforcement Learning for Relation Classification from Noisy Data

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/iyi2yVj3ushFZmcsdUeLEQ 《 Reinforcement Learning for Relation Classification from Noisy Data 》...

原创 基于深度强化学习构建量化投资策略

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/g5GaJrUpWOzYjL0f4-8npw

原创 Learning Structured Representation for Text Classification via Reinforcement Learning

前言：对于自然语言处理文本分类来说，相信大家都不陌生，而如何提高文本分类的准确性，这就是一个非常有趣的问题。一直以来，可能大家都觉得强化学习在游戏领域的应用比较广泛，而对于如何应用至文本分类感到陌生，而本文将以AAAI2018一篇论文作为引子，介绍文本分类任务中如何利用强化学习去增强模型，让模型在环境状态从错误中学习到更好的分类结果。文章：Learning Structured Representation for Text Classification Reinforcement Learning

原创 CentOS7版本中locate: 未找到命令，详细解决方案

在学习Linux（CentOS7）文件搜索命令：locate 时，遇到错误“locate: 未找到命令”。原因：CentOS7默认没有安装该命令解决方案：1、安装"locate"命令即可。在联网状态运行“yum install mlocate”命令。如下图：2、提示：Is this ok [y/d/N]，这里我们执行y，再次出现是否继续也是执行y。如下图：3、第2步执行完，mlocate已安装完成...

原创 “zip不是内部或外部命令，也不是可执行程序”详细解决办法

    书中第11章学习实例：将文件备份成一个zip文件（python实现）    书中源码（文件目录是自己新建文件夹的路径，和书中不同）        遇到问题：zip不是内部或外部命令，也不是可执行程序。    分析问题：首先，看自己的电脑是否安装了zip;其次，如果安装了zip，看是否将其所在路径包含进环境变量。    具体解决步骤：如果你没有安装zip，你可以去该网址内下载相应zip执行文...

原创 工程化实践：如何基于自定义数据进行P-tuning实验？如何部署预测？

小样本学习工程化应用：P-tuning

原创 fatal error: ‘Segmentation fault‘ is detected by the operating system

原创 ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: VERSION ‘GLIBCXX_3.4.22‘ not found

首先先把我遇到的问题贴出来这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.22，你有可能缺少其它版本的比如3.4.23，解决方法一样，如下所示：（1）使用指令先看下目前都有哪些版本的/usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX我这里只到3.21，所以确定是确实这个文件（2）使用sudo find / -name "libstdc++.so.6*"来查看当前系统中其它的同类型文件，找到一个版.

原创 中文NER—项目中的SOTA应用

中文NER 的 SOTA应用，ACL2020 FLAT 和 ACL2021 LEBERT 。

原创 Recent Advances in Deep Learning-based Dialogue Systems

本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是开篇。论文制作了一个图表，以帮助读者熟悉整体结构（如图1），本系列将依此详细介绍。 图1 全文结构各部分介绍请点击链接查看，内容有点多哦，当作参考吧，希望对你有帮助。【一】简要介绍对话系统和...

原创 Pointer Net and CopyNet

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/BgRe6Y7Qvr9RylxlE_4eJw01 - Pointer Net在对话系统和问答等一些NLP任务中，代理（agents）有时需要直接引用用户消息。Oriol等人[1] 2015年提出的Pointer Net网络 (图1）解决了直接从输入句子复制token的问题。 Sequence-to-sequence【图1a】 RNN(蓝色)对输

原创 GRU

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/lr65Pun1_jP6rUY5-66OSgGRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别.

原创 长短期记忆网络 Long Short-Term Memory

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/XdV-1aIRFzAU8HXTH7M3Lw前言之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM，它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。RNN原理介绍：追根溯源：循环神经网络《 Long short-term memory 》 ..

原创 追根溯源：循环神经网络（Recurrent Neural Networks）

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/A0irVL4-uYVCbrSrtFEZxQ一、背景NLP任务（包括与对话相关的任务）尝试处理和分析顺序的语言数据点，即使标准神经网络以及CNN是强大的学习模型，它们也具有两个主要限制： 一种是它们假定数据点彼此独立。虽然可以独立地产生数据点是合理的，但是在处理相互关联的数据点（例如，文本，音频，视频）时，可能会丢失基本信息。 另外，它们

原创 神经网络中的人脑海马体：Memory Networks

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/NIENYhe_sYZbQZapaI0_mw背景：Memory Networks是怎样诞生的？在处理与过去经验或外部知识来源有关的问题时，记忆是一个至关重要的组成部分。人脑的海马体和计算机的硬盘是人类和计算机读写记忆所依赖的部件。传统的模型很少有内存组件，缺乏知识重用和推理能力。RNN通过时间步迭代传递历史信息，在某种程度上，可以将其视为一个内存模型。然

原创 如何理解NLP中的图像？一文知悉TextCNN文本分类

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/h_ezSv94ixC0oQQk2Ek9PA什么是深度神经网络？深度神经网络被大多数较优模型所青睐。「深」实际上就是「多层」，通过堆叠前馈层（feed-forward layers）抽取特征。前馈层被定义为：y = σ(Wx + b)，σ是激活函数，W和b都是可训练参数。前馈层由于激活功能而功能强大，从而使原本为线性的操作变为非线性。然而，在使用前馈层时

原创 2021深度学习对话系统大综述 [一]

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/QZjfSfSmby8lb9oPJdrAfw前言本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是开篇。论文制作了一个图表，以帮助读者熟悉整体结构（如图1），本系列将依此详细介绍。...

转载 Beyond Accuracy: Behavioral Testing of NLP models with CheckList

《 Beyond Accuracy: Behavioral Testing of NLP models with CheckList 》ACL2020最佳论文奖GitHub：https://github.com/marcotcr/checklist文章链接：https://arxiv.org/pdf/2005.04118.pdf理解难度：★★★★★◆ 摘要这篇文章提出了自然语言处理的一种模型无关和任务无关的测试方法，虽然测量精度一直是评价通用化的主要方法，但它往往高估了 NL

原创 基于Bert的实体关系抽取模型

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/OebxnvwjQiVbBZZFL2Un3A前言信息抽取(Information Extraction, IE)是从自然语言文本中抽取实体、属性、关系及事件等事实类信息的文本处理技术，是信息检索、智能问答、智能对话等人工智能应用的重要基础，一直受到业界的广泛关注。信息抽取任务涉及命名实体识别、指代消解、关系分类等复杂技术，极具挑战性。而本文旨在介绍如何利

原创 使用MRC（机器阅读理解）方式做事件抽取任务，基于2020百度事件抽取任务

​关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/aKB6j42bC1MnWCFIEyjwQQ【前言】本文旨在介绍如何利用MRC（阅读理解）方式做事件抽取任务，并在文章第二部分详细介绍模型训练步骤以及训练过程中出现的BUG问题及解决方案。本文是基于百度2020语言与智能技术竞赛：事件抽取任务。关于事件抽取原理、该任务的数据介绍以及获取方式、评价标准，可见文章：基于百度2020语言与智能技术竞赛：事

原创 基于百度2020语言与智能技术竞赛：事件抽取任务

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/4oGMn1eZehGCBrmKJSf1_A​【前言】本文旨在基于百度2020事件抽取任务做简单介绍，文中涉及的数据如有需要可私信回复“百度2020事件抽取数据集” 获取。官网链接：http://lic2020.cipsc.org.cn/一、事件抽取事件抽取 (Event Extraction, EE)是指从自然语言文本中抽取事件并识别.

原创 记忆中的强化学习

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/gVoXNgWnatXr8UjNgqLPZw

原创 强化学习：马尔可夫决策过程

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/96EwzKtg59nh4O_GekwhQw

原创 强化学习已成为当下机器学习中最热门的研究领域之一，逐渐在游戏、机器人控制、计算机视觉、自然语言处理和推荐系统等领域得到应用

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/46U-lNoVoBN25qJ--LiHuA