- 博客(298)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 AI技术在词典笔上的应用实践
本文包括以下几个内容1.扫描和点查2.离线翻译3.高性能端侧机器学习计算库EMLL(Edge ML Library)扫描和点查扫描识别扫描识别和常见的字符识别场景不一样一秒钟100张图像算法需要从快速从拍摄的图像中提取文字全景拼接拼接效果对识别影响很大全景拼接像素级检测：对每个像素位置进行文字和背景分类中心组行：基于分类结果和位置信息，将扫描的中心文字连接并组合成行矫正切行：将文本行从复杂的背景中切分出来复杂的应用场景• 特殊字体，形近字，背景都会干扰识别检测模块+
2022-09-02 18:11:49
941
转载 MindSpore初级教程-2.快速入门
快速入门本节贯穿MindSpore的基础功能，实现深度学习中的常见任务，请参考各节链接进行更加深入的学习。配置运行信息MindSpore通过context.set_context来配置运行需要的信息，譬如运行模式、后端信息、硬件等信息。导入context模块，配置运行需要的信息。import osimport argparsefrom mindspore import contextparser = argparse.ArgumentParser(description='Mi
2022-02-24 17:57:36
1773
转载 MindSpore初级教程-1.基本介绍
基本介绍本节将会整体对华为AI全栈进行介绍，并介绍MindSpore在其中的位置，如果对MindSpore兴趣的开发者，最后可以参与MindSpore的社区并一键三连（Watch/Star/Fork）。华为昇腾AI全栈介绍昇腾计算，是基于昇腾系列处理器构建的全栈AI计算基础设施及应用，包括昇腾Ascend系列芯片、Altas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用使能等。其中华为Atlas人工智能计算解决方案，是基于昇腾系列AI处理器，通过
2022-02-24 17:35:43
2702
转载 MindSpore初级教程-9.推理
推理本节是初级教程的最后一节，为了更好地适配不同推理设备，因此推理分为 1）昇腾AI处理器推理和 2）移动设备推理。昇腾AI处理器推理1 概述昇腾（Ascend）AI处理器是面向边缘场景的高能效高集成度AI处理器。可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。本节我们来学习如何在昇腾AI处理器上使用MindSpore执行推理。2 推理代码介绍首先创建目录放置推理代码工程，model目录用于存放上述导出的MindIR模型文件，test
2022-02-24 17:34:52
698
转载 漫谈什么是AI框架？
最近一个月朋友老来问我：“什么才是AI框架？”，于是趁着夜深人静的时候，真正地去梳理什么是AI框架，下面是我对AI框架的一些思考。到底什么是AI算法？什么是神经网络？神经网络有什么用？为什么神经网络需要训练？什么是模型？AI框架有什么用？AI框架能解决什么问题？上面的几个问题其实还挺有挑战的。下面我们来对清楚一些基本概念：深度学习是机器学习研究领域中的一种，深度学习的概念源于对人工神经网络的研究，很多深度学习算法都使用神经网络进行表示，因为神经网络的性能精度和通用效果都非常好，于是业界习惯性地把深度
2022-02-24 17:34:11
4214
转载 AI 芯片前言解读
进入公司AI产业快有3个年头，AI芯片和传统芯片，甚至AI芯片和GPU，还有AI芯片的发展历史，面向未来场景的挑战都有很多话题，下面我们一起来聊聊AI芯片和传统芯片的区别哈。芯片是半导体元件产品的统称，而集成电路，缩写是IC，就是将电路小型化，通过电子学和光学，将电路制造在半导体晶圆上面。我们会分为4个小点进行介绍AI芯片前言解读。首先是AI芯片从CPU、GPU、到XPU的发展情况总体介绍，接着是AI芯片都有哪些系统架构，基于不同的系统架构，又引申出不同的AI芯片。第三部分来整体看看，AI芯片的产业
2022-02-24 17:33:18
258
转载 从分布式训练到大模型训练
要了解大模型训练难，我们得先看看从传统的分布式训练，到大模型的出现，需要大规模分布式训练的原因。接着第二点去了解下大规模训练的挑战。从分布式训练到大规模训练常见的训练方式是单机单卡，也就是一台服务器配置1块AI芯片，这是最简单的训练方式。随着数据量的增加，希望加快模型的训练速度，于是出现了单机多卡，多块AI芯片并行，以一台机器上配置8块AI芯片为例，把数据切分成8份，分别在8块AI芯片上都跑一次BP算法，计算出梯度，然后所有AI芯片上计算出的梯度进行平均，更新模型参数。这样的话，以前一次BP只能训练
2022-02-24 17:32:23
425
转载 大模型的发展与解决的问题
目前Foundation Model或者是大模型，特别地火，接下来介绍什么是大模型，大模型的基本概念；接着看看大模型的实际作用，然后基于这些实际作用，我们简单展开几个应用场景。最后就是介绍支持大模型训练的AI框架。在往下看之前，想抛出几个问题，希望引起大家的一个思考：1）为什么预训练网络模型变得越来越重要？2）预训练大模型的未来的发展趋势，仍然是以模型参数量继续增大吗？3）如何预训练一个百亿规模的大模型？Foundation Model2021年8月份，李飞飞和100多位学者联名发表
2022-02-24 17:31:32
1636
转载 全网最全-混合精度训练原理
通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来，为了加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平的条件下，业界提出越来越多的混合精度训练的方法。这里的混合精度训练是指在训练的过程中，同时使用单精度（FP32）和半精度（FP16）。1、浮点数据类型浮点数据类型主要分为双精度（Fp64）、单精度（Fp32）、半精度（FP16）。在神经网络模型的训练过程中，一般默认采用单精度（FP32）浮点数据类型，来表示网络模型权重和其他参数。在了解混合精度训练之
2022-02-24 17:30:34
636
转载 全网最全-超大模型+分布式训练架构和经典论文
如何利用计算中心成千上百的AI加速芯片的集群，训练参数量超过百亿的大规模模型？并行计算是一种行之有效的方法，除了分布式并行计算相关的技术之外，其实在训练大模型的过程还会融合更多的技术，如新的算法模型架构和内存/计算优化技术等。这篇文章梳理我们在大模型训练中使用到的相关技术点，主要分为三个方面来回顾现阶段使用多AI加速芯片训练大模型的主流方法。1.**分布式并行加速：**并行训练主要分为数据并行、模型并行、流水线并行、张量并行四种并行方式，通过上述四种主要的分布式并行策略来作为大模型训练并行的主要策.
2022-02-24 17:28:30
2187
转载 做AI框架必懂的知识
近期一直在梳理做AI框架必懂的知识——AI框架系统知识，希望能够给自己从算法的研究，到AI框架的研究的近3年，做一个系列的总结，也会结合ZOMI酱在MindSpore的开发过程当中用到的一些最新的技术进行总结和梳理。文章会陆续更新，从上层的算法、用户面的表达层、到中间的编译层对神经网络图的优化、最后底层的执行器，当然少不了的有AI加速芯片。可能有时候因为工作原因呐，更新得比较慢，但是未来半年会继续坚持！也希望大家能够关注我，并继续支持ZOMI酱更新哈！虽然大部分是用MindSpore的整体架构来作为
2022-02-24 17:27:00
1015
转载 梯度累积算法
明天博士论文要答辩了，只有一张12G二手卡，今晚通宵要搞定10个模型实验 挖槽，突然想出一个T9开天霹雳模型，加载不进去我那张12G的二手卡，感觉要错过今年上台Best Paper领奖上面出现的问题主要是机器不够、内存不够用。在深度学习训练的时候，数据的batch size大小受到GPU内存限制，batch size大小会影响模型最终的准确性和训练过程的性能。在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batch size智能缩小，这个时候，梯度累积（Gradient Accum
2022-02-23 15:24:28
738
转载 机器学习和深度学习的区别
机器学习和深度学习算法流程终于考上人工智能的研究僧啦，不知道机器学习和深度学习有啥区别，感觉一切都是深度学习 挖槽，听说学长已经调了10个月的参数准备发有2000亿参数的T9开天霹雳模型，我要调参发T10准备拿个Best Paper现在搞传统机器学习相关的研究论文确实占比不太高，有的人吐槽深度学习就是个系统工程而已，没有数学含金量。但是无可否认的是深度学习是在太好用啦，极大地简化了传统机器学习的整体算法分析和学习流程，更重要的是在一些通用的领域任务刷新了传统机器学习算法达不到的精度和准确..
2022-02-23 15:06:13
995
转载 模型压缩明珠：二值化网络
二值化网络（BNN）老板：量化到INT8又怎么样！还不够小！我要把AI模型放在耳机手表里面！！ 员工：那我们用二值化网络！！一切都是0和1！！二值化网络跟低比特量化一样，目的是让模型更小，小到有着最为极端的压缩率和极低的计算量。那什么是二值呢？二值指的是仅仅使用+1和-1（或者是0和1）两个值，来表示权重和激活的神经网络。相比于全精度（FP32）表示的神经网络，二值化可以用XNOR（逻辑电路中的异或非门）或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累...
2022-02-23 15:01:24
279
转载 模型压缩：剪枝算法
过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕抓数据中的微小变化信息，一旦完成迭代式的训练之后，网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础而提出的。剪枝算法核心思想就是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。那在AI框架中，实际上剪枝主要作用在右下角的端侧模型推理应用场景中，为的就是让端侧模型更小，无论是平板、手机、手表、耳机等小型IOT设备都可以轻松使用AI模型。而实际在训练过程更多体现在剪枝算法和框架提供的剪枝API...
2022-02-23 14:58:01
3073
1
转载 分布式训练硬核技术——通讯原语
针对分布式训练服务器的集群进行架构设计，是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构：参数服务器架构（Parameter Server，PS） 去中心化架构（Decentralized Network）其中，分布式训练通常在计算集群上进行，集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享，需要将数据在不同节点间传输，这就是通信。分布式的通信一般有两大类：集合通信（Collective communication，CC）：在一组节...
2022-02-23 14:56:27
1205
1
转载 浅谈 Knowledge-Injected BERTs
1. 序在当下的 NLP 领域，BERT是一个绕不过的话题。自从2018年底横空出世以来，它以势不可挡的态势横扫了整个GLUE榜单，将基准推进到80%的水平线，在SQuAD1.1中全部指标超越人类水平。在使用其预训练的参数后，几乎所有的下游任务都获得了相当的增益（当然，大量参数随之带来的也有运算效率的下降），自此开创了大语料无监督任务的预训练模型时代，自成一个山门，史称Bertology。从任务本身来看，BERT本质上是一个通用的语言模型(Language Representation Mode
2022-02-22 16:17:47
244
转载 知识图谱嵌入的Translate模型汇总（TransE，TransH，TransR，TransD
一文打尽图嵌入Translate模型，各种模型的动机，优缺点分析。本文对知识图谱嵌入/知识表示的转换模型进行了简要的总结。你可以从TensorFlow-TransX中找到开源的TensorFlow代码。知识表示的一些背景知识通常，我们使用三元组(head, relation, tail)来表示知识。在这里，头和尾是实体。例如，(sky tree, location, Tokyo)。我们可以用独热向量来表示这个知识。但实体和关系太多，维度太大。当两个实体或关系很近时，独热向量无法捕捉相似度。受
2022-02-22 16:16:34
2767
转载 转载 | 认知推理：从图表示学习和图神经网络的最新理论看AI的未来
近年来，图表示学习（Graph Embedding）和图神经网络（Graph Neural Network, GNN）成为网络数据分析与应用的热点研究问题，其特点是将深度神经网络技术用于网络结构的建模与计算，诞生了以 DeepWalk、LINE 和 node2vec 为代表的图表示学习技术，以 GCN 为代表的图神经网络，能够利用分布式表示方案实现对网络中的节点、边及其附带的标签、属性和文本等信息的建模，从而更好地利用网络结构进行精细建模和深度推理，相关技术已经被广泛用于数据挖掘、社会网络分析、推荐系统、自
2022-02-22 16:12:41
1031
转载 知识图谱构建技术综述与实践
前言知识图谱，即一种特殊的语义网络，它利用实体、关系、属性这些基本单位，以符号的形式描述了物理世界中不同的概念和概念之间的相互关系。为什么说知识图谱对于信息检索、推荐系统、问答系统中至关重要，我们用一个例子来说明：假设在一个搜索场景，我们在搜索框中输入坐月子可以洗澡吗？可以看到这句Query是一个完整的问句，如果在检索系统中有一个较大的问答语料库（比如FAQ场景），或者一个足够庞大的文章数据库（文章的title覆盖率高），使用语义匹配技术对Query与FAQ问句、文章title做相似度计算或
2022-02-22 15:09:11
1384
转载 知识图谱上的双塔召回：阿里的IntentGC模型
关注本人的同学可能发现，我最近点评的文章都是关于"GNN在推荐系统应用"方向的。这当然与现如今这个方向非常火有关，但是作为一个合格的炼丹师+调参侠，总要搞清楚一门技术为什么火？这么火的技术对于自己是否有用？根据我的理解，由“传统机器学习→深度学习→图计算或知识图谱”这一路下来的发展脉络如下：一切技术的目标都是为了更好地“伺候”好“推荐系统的一等公民 — ID类特征”。用户购买过的商品、光顾过的店铺、搜索过的关键词、商品的分类与标签，都是这样的ID类特征 传统的机器学习只会“严格匹配”。用户喜欢喝可口可
2022-02-22 15:04:46
515
转载 ACL2020信息抽取相关论文汇总
一、 Entity 相关（NER & Entity Typing & Entity Linking）主要涉及词汇增强、低资源、跨领域、跨语言、多模态、表示学习。A Unified MRC Framework for Named Entity RecognitionXiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu and Jiwei Lihttps://arxiv.org/pdf/1910.11476.pdf B.
2022-02-22 15:02:28
238
转载 【读论文】Trans系列知识表示学习方法梳理
最近要做一个知识库问答系统，再加上对表示推理有了一点不知道对错的想法，于是翻出来知识表示学习经典的Trans系列，把论文里描述的模型和清华THUNLP提供的Tensorflow版程序一起看。一点关于知识表示学习的背景知识知识图谱通常是用一个三元组（前件h，关系r，后件t）来表示一条知识，比如：（中国科学院大学，地点，北京），要使用向量表示的话，可以使用one-hot向量（实际使用中通常是mulit-hot向量）来表示。但是问题也来了，one-hot向量维数太高，而且无法表示相近的实体或关系之间的
2022-02-22 15:01:42
1572
转载 NLP领域内，文本分类、Ner、QA、生成、关系抽取等等，用过的最实用、效果最好的技巧或思想是什么？
作者：杨夕链接：https://www.zhihu.com/question/451107745/answer/1801709801来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。命名实体识别用过的最实用、效果最好的技巧或思想可以看一下 这个【关于 NER trick】 那些你不知道的事github.com/km1994/NLP-Interview-Notes/blob/main/NLPinterview/ner/NERtrick/NERtrick.md.
2022-02-22 14:58:45
394
转载 在刚刚结束的ACL 2019上，知识图谱领域都发生了哪些大事？
选自medium，作者：Michael Galkin，机器之心编译，参与：李志伟、Geek AI。大家好，ACL 2019 刚刚结束，我在风景如画的佛罗伦萨参加了为期一周的讲座，教程和研讨会！在本文中，我将回顾一下知识图谱如何步步为营地融入 NLP 研究社区。ACL 2019 盛况空前，研究者们向本届大会提交了 2900 份论文，其中的 660 份论文被接受，大会共有 3000 多名注册参会者，并设有 4 个研讨会，约 400 名与会者参与到这些研讨会中（研讨会规模比一些国际计算机科学会议还大）
2022-02-22 14:57:42
121
转载 推荐系统结合知识图谱简单总结
对近几年推荐系统(Recommendation System)领域结合Knowledge Graph Embedding (知识图谱表示学习) 或者 Network Embedding(网络表示)的几篇论文做了极简介绍。 首先对简单介绍推荐系统，之后整理了几篇结合知识表示的论文。推荐系统简介一句话来介绍的话，就是通过分析历史数据，来给用户 推荐 可能会喜欢/购买的商品， 这里面的核心就是用户 (User) 和 商品 (Item)。 更进一步，推荐系统的关键有下面三部分：用户偏好建模：User P
2022-02-22 14:55:57
1573
转载 “知识图谱+”系列：知识图谱+图神经网络
最近有很多朋友联系泽宇说想了解一些知识图谱和图神经网络（GNN）结合的研究。那泽宇当然要满足朋友们的要求啊，本期泽宇从知识图谱的几个不同研究方向总结了结合GNN的经典研究，也和大家一起分享。所有内容是泽宇查阅了很多顶会论文，对每一类挑选出一篇具有代表性的论文进行解读，如有理解有误的地方还请批评指教。本期是“知识图谱+”系列的第一期“知识图谱+图神经网络”，之后会陆续分享知识图谱+各类方向的技术介绍，敬请关注。为了方便大家一起交流讨论知识图谱技术，知识图谱学术交流群已经成立了，感兴趣想要入群的朋友们可
2022-02-20 20:46:00
6565
转载 文档级实体关系抽取——知识获取的新挑战
作者：姚远、叶德铭、刘知远 （欢迎转载，请标明原文链接、出处与作者信息即可）关系抽取是自然语言处理中的一项重要任务，通过从纯文本中抽取结构化的实体关系事实，可用于自动构建和扩充知识图谱。例如，从句子「北京是中国的首都」中，可以抽取出关系事实（北京, 首都, 中国），其中北京和中国被称为实体，而首都则是他们的关系。关系抽取是知识获取的重要途径，对于深度理解自然语言和实现自动问答具有重要研究价值。前段时间我们介绍了实体关系抽取的现状与挑战。接下来，我们将分别详细介绍在几个方面上的思考与探索。这篇就来介绍
2022-02-20 20:43:59
1037
1
转载 基于知识库的问答KBQA：seq2seq模型实践
0. 前言0.1 问题描述基于知识图谱的自动问答（Question Answering over Knowledge Base, 即 KBQA）问题的大概形式是，预先给定一个知识库（比如Freebase），知识库中包含着大量的先验知识数据，然后利用这些知识资源自动回答自然语言形态的问题（比如“肉夹馍是江苏的美食吗”，“虵今年多大了”等人民群众喜闻乐见的问题）。0.2 什么是知识库知识库（Knowledge Base），或者说，知识图谱（Knowledge Graph），是以知识为主要单位，实
2022-02-20 20:43:29
921
转载 BERT+知识图谱：北大-腾讯联合推出知识赋能的K-BERT模型
作者丨周鹏单位丨腾讯研究方向丨自然语言处理、知识图谱背景近两年，谷歌 BERT 等无监督预训练语言表示模型在多个 NLP 任务中均取得了可喜的成果。 这些模型在大规模开放域语料库上进行了预训练，以获得通用的语言表示形式，然后在特定的下游任务中进行了微调，以吸收特定领域的知识。但是，由于预训练和微调之间的领域差异，这些模型在知识驱动的任务上表现不佳。 例如，在医疗领域处理电子病历（EMR）分析任务时，经过 Wikipedia 预训练的 Google BERT 无法充分发挥其价值。.
2022-02-20 20:43:00
903
转载 万字综述：行业知识图谱构建最新进展
作者：李晶阳[1]，牛广林[2]，唐呈光[1]，余海洋[1]，李杨[1]，付彬[1]，孙健[1]单位｜阿里巴巴-达摩院-小蜜Conversational AI团队[1]，北京航空航天大学计算机学院[2]摘要行业知识图谱是行业认知智能化应用的基石。目前在大部分细分垂直领域中，行业知识图谱的 schema 构建依赖领域专家的重度参与，该模式人力投入成本高，建设周期长，同时在缺乏大规模有监督数据的情形下的信息抽取效果欠佳，这限制了行业知识图谱的落地且降低了图谱的接受度。本文对与上述 schema
2022-02-20 20:42:15
1149
转载 揭开知识库问答KB-QA的面纱4·向量建模篇
内容速览向量建模的核心思想 如何用分布式表达表示答案和问题 如何训练分布式表达 论文实验与总结本期我们将介绍KB-QA传统方法之一的向量建模（Vector Modeling），我们以一个该方法的经典代表作为例，为大家进一步揭开知识库问答的面纱。该方法来自Facebook公司Bordes A, Chopra S, Weston J的论文Question answering with subgraph embeddings（文章发表于2014年的EMNLP会议）。向量建模的核心思想.
2022-02-17 23:50:08
368
转载 揭开知识库问答KB-QA的面纱3·信息抽取篇
内容速览你是如何通过知识库回答问题的 如何确定候选答案 如何对问题进行信息抽取 如何筛选候选答案 论文实验与总结本期我们将介绍KB-QA传统方法之一的信息抽取（Information Extraction），我们以一个该方法的经典代表作为例，为大家进一步揭开知识库问答的面纱。该方法来自约翰·霍普金斯大学Yao X, Van Durme B.的Information Extraction over Structured Data: Question Answering with Fre.
2022-02-17 23:48:40
183
转载 揭开知识库问答KB-QA的面纱2·语义解析篇
内容速览什么是语义解析（Semantic Parsing） 什么是逻辑形式（Logic Form） 语义解析KB-QA的方法框架 实验结果本期我们从传统方法之一的语义解析（有时也被称为语义分析）开始，以一个经典的语义解析baseline方法为例，介绍语义解析如何进行KB-QA。该方法来自斯坦福Berant J, Chou A, Frostig R, et al. 的Semantic Parsing on Freebase from Question-Answer Pairs，文章发表于2013年
2022-02-17 23:47:26
247
转载 揭开知识库问答KB-QA的面纱1·简介篇
内容速览什么是知识库（knowledge base, KB） 什么是知识库问答（knowledge base question answering, KB-QA） 知识库问答的主流方法 知识库问答的数据集什么是知识库“奥巴马出生在火奴鲁鲁。”“姚明是中国人。”“谢霆锋的爸爸是谢贤。”这些就是一条条知识，而把大量的知识汇聚起来就成为了知识库。我们可以在wiki百科，百度百科等百科全书查阅到大量的知识。然而，这些百科全书的知识组建形式是非结构化的自然语言，这样的组织方式很适合人们
2022-02-17 23:45:55
608
转载 揭开知识库问答KB-QA的面纱0·导读篇
不知不觉中，我在知乎专栏揭开知识库问答KB-QA的面纱已经发表了10篇文章，期间收到了很多朋友的私信和企业的邀请，在这里先感谢各位的支持。由于专栏已经有10篇文章，且每篇的内容相对较多，导致新关注专栏的朋友一时不知道从哪里看起。因此，我将这篇文章作为整个专栏的一个导读，对整个专栏进行介绍和总结，希望能够给大家带来一些帮助。对于刚接触知识库问答KB-QA这个领域的朋友，建议先阅读揭开知识库问答KB-QA的面纱1·简介篇，这篇文章介绍了KB-QA的相关重要概念：知识库（知识库构成、知识库类型、知识库的一
2022-02-17 23:45:22
125
转载 基于知识图谱的问答系统入门之—NLPCC2016KBQA数据集
本人认为学习一样东西，直接上手跑实验是最有效提升的方法之一。看了那么多的理论介绍文章，抽象的说辞，最后还是似懂非懂。所以，直接上手数据集跑实验，与理论结合，能有更深刻的了解。同时也记录下学习KBQA的过程，也希望对同入门的同学有些帮助。目录：1、引言2、数据集介绍3、数据集本身存在的问题4、数据集预处理及实验结果5、KBQA整体流程6、结束语引言本人最近在做KBQA相关的的工作，有些大致的了解和想法后希望能够在实验中学习更多。目前研究的KBQA 暂时专注在简单知识库问答上
2022-02-17 23:44:47
1813
3
转载 从ACL 2020看知识图谱研究进展
机器之心分析师网络，作者：仵冀颖，编辑：H4O。国际计算语言学协会年会 ACL 2020 按照原定时间已经于 7 月 5 日至 10 日召开，受到疫情影响，本次会议全部改为线上会议。ACL 2020 共收到了 3429 篇论文，收录其中 779 篇论文，包括 571 篇长论文和 208 篇短论文，论文的总接收率为 22.7%。ACL 2020 收录文章数量前五位的主题分别是：机器学习（Machine Learning for NLP）、对话和交互技术（Dialog and Interactive Tec
2022-02-17 23:44:18
343
转载 知识图谱是否是 NLP 的未来？
作者：鲁云龙链接：https://www.zhihu.com/question/267242467/answer/1827583493来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。其实题主说得很对：“如果神经网络自己能通过训练存储所有知识信息，也就没必要用知识图谱了”，但问题却提反了，应该说NLP是知识图谱的未来，而且这是必然的发展趋势。知识图谱本质上是一种结构化的知识体系，试图刻画、整理出人类所理解的知识关联方式去促进人工智能的发展。这个问题其实反映了人工.
2022-02-17 23:43:24
399
转载 BERT与知识图谱的结合——ERNIE模型浅析
在nlp领域中，自然语言表征模型由于可以让机器更好地理解人类语言，因此越来越受到人们的关注，其中具有代表性的就是BERT模型，它通过在大量的语料库上进行预训练的方式来实现对于文本语义的理解。简单来说，BERT先随机mask掉一些单词，然后再通过上下文预测的方式来实现语言表征，得到预训练模型后，再针对性地对预训练模型进行微调，就能完成一些nlp的下游任务。通过分析BERT模型我们可以发现，它虽然考虑了上下文语义，但是还是缺少了一些东西，那就是知识信息。换句话说，BERT模型通过在大量语料的训练可以告诉我们
2022-02-16 18:19:07
8059
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人