- 博客(20)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 我的实践：pytorch框架下基于BERT实现文本情感分类
当前，在BERT等预训练模型的基础上进行微调已经成了NLP任务的一个定式了。为了了解BERT怎么用，在这次实践中，我实现了一个最简单的NLP任务，即文本情感分类。1.基于BERT进行情感分类的基本思路所谓情感分类就是指判断句子是积极情感还是消极情感，例如说“今天这顿饭太美味了”是积极的情感，“今天这顿饭简直吃不下去”是消极的情感。基于BERT完成情感分类的基本思路如图所示。我们知道BERT是一个预训练模型，我们把句子扔给它的时候，它对应每个字都会输出一个向量。但是在把句子扔给BERT之前，我们会在句子
2022-03-22 21:56:47
9427
41
原创 学习笔记|元学习（Meta-learning）——让机器学习如何学习
元学习的意思即“学会如何学习” 。 在机器学习中，工作量最大也是最无聊的事情就是调参。我们针对每一个任务从头开始进行这种无聊的调参，然后耗费大量的时间去训练并测试效果。因此，一个直观的想法是：我们是否能让机器自己学会调参，在遇到相似任务时能够触类旁通、举一反三，用不着我们从头开始调参，也用不着大量标签数据重新进行训练。
2022-03-12 18:20:11
957
原创 我的实践：通过蚂蚁、蜜蜂二分类问题了解如何基于Pytorch构建分类模型
本文介基于pytorch官方教程提供的蜜蜂、蚂蚁二分类数据集，介绍了如何使用pytorch构建卷积神经网络模型，以及如何处理分类问题，讲解和代码应该都很详细了。
2022-03-10 23:48:10
3321
26
原创 学习笔记|强化学习（Reinforcement Learning, RL）——让AlphaGo进化得比人类更强
2017年5月，人类第一高手柯洁和“AlphaGo Zero”开启了一段旷世对决。在这段对决中，无论柯洁如何努力，始终脱离不了在“AlphaGo Zero”面前全面落败的结局，期间抑制不住情绪失声痛苦。那么，AlphaGo Zero背后的技术是什么？是如何让它进化得比人类更强的？其实就是"强化学习（Reinforcement Learning, RL）" 。
2022-03-09 11:02:38
4950
原创 学习笔记|领域自适应（Domain adaption)——实现模型的自适应迁移
有时候我们在某个领域训练出的一个模型，想迁移到另一个领域，这样我们就不需要每个领域都去标注大量的数据了。
2022-03-09 10:56:29
4718
2
原创 学习笔记|生成对抗网络（Generative Adversarial Networks,GAN）——让机器学习具有创造力
了解一下什么是 “生成”，什么是 “对抗”，使得网络模型更具创造力，可以画画、制作音乐等
2022-03-09 10:54:29
2370
原创 学习笔记|BERT——自监督学习的典范
BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。因此BERT的网络架构和Transformer的Encoder是一样的，BERT的任务就是输入一个序列，然后输出一个序列，输出序列和输入序列的长度是一样的。通过Transformer中的自注意力机制，BERT具有考虑序列全局的能力。
2022-03-09 10:51:53
1340
原创 学习笔记|Transformer——实现“序列to序列”的转换
机器学习中，我们有很多任务都是 “序列to序列” 的形式，比如语音识别、机器翻译、文本标注等等。而且在这些任务中，输入序列和输出序列的长度都是不定的，如么如何实现这种序列的转换呢？这就要用到一个很常见的网络架构— transformer 。transformer的一般结构如下图所示，包括编码（Encoder）和解码(Decoder)两个部分。Encoder对输入序列进行编码输出一个序列，转交给Decoder,Decoder对这个序列进行解码，输出我们需要的序列。
2022-03-09 10:49:13
1247
原创 学习笔记|自注意力机制(self-attention)——考虑全局又聚焦重点
有时候我们期望网络能够看到全局，但是又要聚焦到重点信息上。比如在在做自然语言处理时，句子中的一个词往往不是独立的，和它上下文相关，但是和上下文中不同的词的相关性是不同的，所以我们在处理这个词时，在看到它的上下文的同时也要更加聚焦与它相关性更高的词，这就要用到常说的"自注意力机制"。
2022-03-09 10:47:03
4314
原创 学习笔记|卷积神经网络（Convolutional Neural Networks, CNN)——更有效率地提取特征
卷积神经网络的局部感受野和神经元参数共享思想
2022-03-09 10:43:54
5137
原创 学习笔记|什么是深度学习？
深度学习本质上是神经网络。只是神经网络这个词在80、90年代的时候被搞臭了，因为当时神经网络被吹捧得过于浮夸，最后弄得大家都很厌恶神经网络这个词。只要把神经网络写到论文中，一般要被拒的。后来，为了重振神经网络的雄风，需要弄个新的、高大上的名字来替代。由于计算机性能越来越好，可以搞的网络层级越来越多，于是人们就给神经网络取了个比较牛的名字叫做“深度学习”。
2022-03-09 10:38:16
852
原创 学习笔记|什么是机器学习？
机器学习找这个ff的过程包含三个基本的步骤：定义一个包含未知参数的Function、定义一个损失函数、优化Function的参数。
2022-03-09 10:35:35
235
原创 《深度学习》学习笔记
本文是李宏毅教授《机器学习》课程的学习笔记，简要地介绍了深度学习的基本概念及常见网络架构，包括卷积神经网络、自注意力机制、Transformer、BERT、生成对抗网络、领域自适应网络等，此外还简单地介绍了强化学习和元学习，有利于大家快速了解深度学习的主要技术。本文尽可能地避开了数学，主要讲网络架构的设计思想，这对于一个刚接触深度学习的初学者来说还是比较友好的。
2021-12-29 17:56:46
1144
原创 提高论文写作效率的几款超棒工具（Mathpix Snipping Tool，aurora，bibtex4word）
刚提交完博士学位论文，一些提高写作效率的神器想给大家分享一下。在撰写论文过程中，最麻烦的不过公式编辑和文献插入，我想给大家推荐一些工具，可以提高公式编辑和文献插入的效率。公式截取神器——Mathpix Snipping Tool有时候我们为了偷懒，想直接从别人哪里把公式copy过来怎么办？Mathpix Snipping Tool可以帮助你解决这个问题，它通过截图的方式识别公式并转化为Lat...
2019-10-25 12:19:17
2395
原创 面向对象编程思想及入门知识
面向对象是一种方法论，而不是一种具体的编程语言，所以在学习时千万不要过份纠结某特定编程语言的语法，而要去深刻理解背后的编程思想。这篇文章介绍面向对象后面的编程思想。
2017-05-05 22:07:02
805
1
原创 基于WIFI通信的温度监测Andriod APP设计
手机APP已经成为物联网用户终端最主要的形式，这次写博客主要是通过编写温度监测的应用程序这个例子，简单介绍一下Android APP开发的入门知识。
2017-04-25 22:15:50
1010
1
原创 STM32 温度采集及WIFI通信的片上程序设计
物联网技术入门——系列文章2上一篇博客主要谢了传感器节点（上一篇叫采集节点，我觉得在物联网中叫传感节点更合适）的电路设计，这一篇介绍传感器节点的软件设计。传感器节点的软件主要完成两项任务：感知和WiFi通信。
2017-04-13 22:51:32
1211
原创 STM32 温度采集及WIFI电路设计
物联网技术在现在着实很火，而且它代表了未来发展的方向，所以写下这样的博客应该很有用。物联网即物物相连的互联网，这里有两层意思，一层是物联网的核心仍是互联网，而就目前而言“物”接入互联网的最佳方式是WiFi；另一层是物与物之间有直接的信息交互，那么这信息从哪儿来呢？通过感知得来。所以物联网最核心的技术也就两个，互联网技术和传感器技术，搞定了这两个，便可以设计十分复杂的物联网。在我的账号下，我会提供本文涉及的所有电路原理图、PCB图，以及所有源代码，对于亟需写毕业设计的本科师弟，或是初次承担项目的菜鸟绝对是福利
2017-04-09 20:40:18
6261
2
bibtex4word.zip
2019-10-25
opengl如何截图并显示
2017-08-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人