- 博客(15)
- 收藏
- 关注
原创 BERT和GPT模型简介
1. 引言从现在的大趋势来看,使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。从之前 AI2 的 ELMo,到 OpenAI 的 fine-tune transformer,再到 Google 的 BERT、GPT,全都是对预训练的语言模型的应用。本文将主要介绍 BERT 和 GPT 这两种常见语言模型及其应用场景,较少涉及具体原理的讲解(自身水平不足)。2. BERT2.1 简介BERT 在2018年出现,被认为是 NLP 的 ImageNet 时刻,可以最好地表示单词和句子,增强对自
2021-08-20 20:09:38 9137
原创 Attention机制和transformer模型
1. 引言自然语言处理(Natural Language Processing, NLP)是一种重要的人工智能(Artificial Intelligence, AI)技术,可以完成文本分类、序列标注、自动问答、机器翻译和摘要生成等任务,促进了搜索引擎、智能客服和推荐系统等应用的产生和发展,影响着生活的方方面面,值得我们去学习和研究。最近几年,基于深度学习(Deep Learning, DL)的NLP技术在各项任务中取得了很好的效果,这些基于深度学习模型的NLP任务解决方案通常不使用传统的、特定任务的特
2021-08-18 19:14:44 1042 1
原创 卷积神经网络
1. 图像(image)处理图像和文本、视频和音频等数据一样,都是非结构化的,需要先转化为结构化数据后才能被进一步处理。转化的方式(即建模方法)会影响所保留信息的数量和质量,进而影响最终的处理效果。例如,文本数据可以使用词袋模型(Bag of Words)、主题模型(Topic Model)和Embedding技术等来表征,不同的表征方法会影响后续文本分类、文本摘要等任务的完成效果。同样的,对于图像这种数据类型,最早也是最简单的建模方法是将其按照图像转换为向量,其中的值为从左往右、从上到下的像素值。全
2021-07-24 15:01:28 411
原创 如何训练类神经网络?
1. 引言深度学习因其较高的复杂性和众多的参数,我们很不容易训练出好的模型,模型也缺乏可解释性,因此深度学习从业者一般也自嘲自己是“炼丹师”。 为了快速训练出好的模型,过去的学者也总结出来很多技巧进行辅助训练。在前人的基础上,我们可以学习、理解各种影响训练过程和结果的问题及其对应的解决方案。需要注意的是,根据可用数据的规模和质量、模型的类型和复杂度、任务的类型和应用要求、可用设备的性能等,我们在具体训练时需要解决的问题也不同,应当因地制宜,活学活用。2. 当梯度≈0时2.1 判断critica
2021-07-21 20:59:46 336
原创 深度学习简介与反向传播
1. 深度学习基础1.1 深度学习的发展史物有本末,事有终始,知所先后,则近道矣。1958: Perceptron (linear model)1969: Perceptron has limitation(无法执行基本的“异或”逻辑运算)1980s: Multi-layer perceptron(多层可执行“异或”逻辑运算)Do not have significant difference from DNN today(模型训练困难)1986: Backpropagation(模型
2021-07-18 18:33:29 280
原创 误差来源和梯度下降法
误差的来源机器学习的目的是学到与任务(预测等)相关的知识,也就是模型。模型的输入应当能贴合实际应用场景,而且有准确的输出。模型效果需要经过严谨的验证才能被使用,然后得出稳健的结论。为了提高模型的性能,使其能够反映真实情况并创造价值,对其误差来源的分析是非常重要的。真实(real)与估测(estimated)对于任何一个具体的任务,我们都相信存在一个“真实模型(real model)”,但这个模型几乎无法获得,只能够去估测。举例来说,pokemon精灵进化后的数值看起来是随机的,但背后肯定也是制作公司
2021-07-16 18:47:36 580
原创 回归(regression)
1. 回归(regression)1.1 起源与定义回归最早是被高尔顿提出的。他通过研究发现:如果父母都比较高一些,那么生出的子女身高会低于父母的平均身高;反之,如果父母双亲都比较矮一些,那么生出的子女身高要高于父母平均身高。他认为,自然界有一种约束力,使得身高的分布不会向高矮两个极端发展,而是趋于回到中心,所以称为回归。目前,从用法角度将其定义为一种数值(scalar)预测的技术,区别于分类(类别预测技术)。1.2 不同的用法1.2.1 解释(Explanation)回归可用于做实证研究,研究
2021-07-13 17:10:11 5877
原创 机器学习简介
1. 机器学习来龙去脉1.1 人类智能与人工智能人类具备智能,可以学习、思考以及创新,能够做到很多机器做不到的事情。在计算机(Computer)被研发出来不久后,为降低人类工作负担,一些专家早在1950年提出了人工智能(Artificial Intelligent,AI)的概念,希望找到方法能够使机器和人类一样具备智能。为达到人工智能的目标,专家们提出多种方法均为奏效,直到1980年机器学习被提出。1.2 类比:生物的先天本能和后天学习人类(生物)的智能来源于两方面,一方面是
2021-07-12 17:29:42 572
原创 六月组队学习总结-图神经网络
引言作为一名管理学的博士生,过去仅仅是使用传统的数据挖掘方法来做相关研究,因为畏难情绪和单打独斗的现状,导致自己一直没有敢于踏入主流的深度学习研究中。因此,我非常感谢 Datawhale 组织提供的学习资料和学习环境,推动我走出了深入学习计算机前沿知识的第一步,让我发现深度学习没有难道让人不知所措,还是可以通过投入时间和精力、虚心请教认真实践去掌握的。过去的收获Task00:熟悉规则(1天)作为一个小白,组队学习群里的很多专业术语对我来说都是全新的。笨鸟先飞,我首先自学了 Markdown
2021-07-10 19:57:20 104
原创 基于图神经网络的图表征学习方法
图表征学习是指将整个图表示成低维、实值、稠密的向量形式,用来对整个图结构进行分析,包括图分类、图之间的相似性计算等。 相比之前的图节点,图的表征学习更加复杂,但构建的方法是建立在图节点表征的基础之上。为了高效地理解图表征学习的原理、掌握实现图表征的的工具和方法,本文先从最早的图表征方法开始介绍,然后介绍基于GNN的图表征学习方法及其Python实践。1. 最早的图表征方法:Weisfeiler-Leman1.1 图同构(Graph Isomorphism)同构图是图论中的一个重要概念,一般认为如
2021-07-05 22:17:22 2336 2
原创 图数据集的构建以及基于图的节点分类和边预测
程序 = 数据结构 + 算法。若想使用 PyTorch geometric 中各种有用的模型和函数,数据集的结构必须符合 PyG 的既定标准,例如 PyG 自带的 Planetoid 等数据集类。为了处理自己独有的数据集,我们必须掌握如何将原始数据转化为对应的数据集类。PyG 构建数据集分两种, 一种继承 torch_geometric.data.InMemoryDataset,一次性加载所有数据到内存;另一种继承torch_geometric.data.Dataset, 分次加载到内存。对于占用内存有
2021-07-03 09:53:59 5135
原创 训练更深和更大的图神经网络
训练更深和更大的图神经网络引言深度学习的成功经验告诉我们,更多的训练数据、更深的网络结构能够达到更高的性能。然而,普通的基于 SGD(随机梯度下降)的方法在训练大规模 GNN(图神经网络)时面临着两个难以忍受的问题(资源消耗随图神经网络层数呈指数型增长):训练时间长、消耗空间大。为了降低训练模型时的资源消耗、提高训练速度,进而拓展图神经网络模型的泛用性,提出更高效的训练方法是非常有必要的。综上,本文将介绍并比较几种主流的新训练方法,并对其中最有效的 Cluster-GCN 方法开展 Python
2021-07-01 11:07:23 1043
原创 R语言:rvest 包
1、rvest介绍网络爬虫是讲呈现在网页上以非结构格式(html)存储的数据转化为结构化数据的技术,该技术非常简单易用。rvest是R用户使用率最多的爬虫包,它简洁的语法可以解决大部分的爬虫问题。基本使用方法:使用read_html读取网页; 通过CSS或Xpath获取所需要的节点并使用html_nodes读取节点内容; 结合stringr包对数据进行清理。...
2018-02-02 12:26:12 12301 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人