- 博客(88)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 论文中的小细节——为什么论文中总是写WX而不是XW？
这个问题我最开始回答的是这就是约定俗成的写法，因为我也确实没思考过这个问题，我估计大部分的人也没有思考过这个问题，后来我发现这个是个数学问题，而不是约定俗成的写法。第三点则是，大部分语种的阅读顺序是从左到右的，然而对于矩阵乘法，实际上是从右到左的读法。这是最近一个师弟问我的问题，为什么在论文里面总是写的。肯定是完全对的，不过这与大部分人的直觉都不同罢了。接着，我们要考虑矩阵的本质，矩阵的本质是一种。，即将一个空间中的向量按照一定的规则进行。而这只是一个举例的向量，实际上这个矩阵。当这个矩阵乘以一个向量。
2023-10-10 19:22:49
2454
原创 概率论与数理统计学习笔记（7）——全概率公式与贝叶斯公式
下图是本文的背景内容，小B休闲时间有80%的概率玩手机游戏，有20%的概率玩电脑游戏。这两个游戏都有抽卡环节，其中手游抽到金卡的概率为5%，端游抽到金卡的概率为15%。已知小B这天抽到了金卡，那么请问他是在手机上抽到的还是在电脑上抽到的？玩电脑占了20%的面积，玩手机占了80%的面积；贝叶斯公式是建立在我们已经知道结果的情况下，即我们知道小B已经抽到金卡的情况下，反推小B是玩电脑抽到金卡的概率和玩手机抽到金卡的概率。上述问题中，我们先考虑小B抽到金卡这件事的概率，设玩电脑的概率为。
2023-09-08 15:42:28
3130
原创 Pytorch实战笔记(3)——BERT实现情感分析
本文展示的是使用 Pytorch 构建一个 BERT 来实现情感分析。本文的架构是第一章详细介绍 BERT，其中包括 Self-attention，Transformer 的 Encoder，BERT 的输入与输出，以及 BERT 的预训练和微调方式；第二章是核心代码部分。
2023-02-01 18:09:49
9580
9
原创 Pytorch实战笔记(2)——CNN实现情感分析
本文展示的是使用 Pytorch 构建一个 TextCNN 来实现情感分析。本文的架构是第一章详细介绍 TextCNN（不带公式版），第二章是核心代码部分。
2023-01-20 12:18:24
3222
原创 Pytorch实战笔记(1)——BiLSTM 实现情感分析
本文展示的是使用 Pytorch 构建一个 BiLSTM 来实现情感分析。本文的架构是第一章详细介绍 BiLSTM，第二章粗略介绍 BiLSTM（就是说如果你想快速上手可以跳过第一章），第三章是核心代码部分。
2023-01-16 12:47:55
7840
11
原创 强大且超实用的论文阅读工具——ReadPaper
对于每个科研工作者而言，阅读论文就像吃饭喝水一样同款重要的事情。在我看来，阅读论文是分为两个步骤：1) 看论文；2) 理解论文。而大部分的人看论文都十分吃力，尤其是刚刚尝试入门的同学，就更别提理解论文了。所以一个好的论文阅读工具能够让你在科研路上事半功倍。我这几天就发现了一款优秀的，强大的，实用的论文阅读工具，ReadPaper，我希望这篇博客能够让你关注到这个工具，让你更快速的进入科研道路。当然，我这篇博客不是一篇说明文档，而是我从刚刚提到的两个步骤来说明该工具优秀且实用的地方。...
2022-08-31 20:27:34
27939
7
原创 Latex 爬过的坑(5)——解决 IEEE 模板论文作者对齐问题
本文解决了 IEEE conference latex template 中论文作者不对齐的问题
2022-08-29 15:15:56
7257
6
原创 prompt learning——你需要掌握的基础知识以及离散型 prompt 的代码
prompt learning 是这两年很火热的技术，在 few-shot、zero-shot 领域都有很出色的表现。本文简要介绍了何为“预训练”、“微调”、“预训练语言模型”，并且提供了一份离散型 prompt learning 的代码。
2022-08-19 22:01:47
3344
原创 Pytorch学习笔记(8)——在序列标注等多维数据上如何使用交叉熵
对于多维数据 (例如 (batch_size, max_length, num_classes)) 等模型输出的数据，如何正确使用交叉熵获得损失
2022-08-09 21:50:18
1313
2
原创 Django 学习笔记(4)——一个 Django 项目的简单实现流程
本文从0开始实现一个简单的Django项目。涉及的东西都很简单，就是个流程化的逻辑思考过程，本文中也有许多技巧和技术没有提到，比如form表单等，主要是为了帮助初学者整理实现 Django 项目的流程。...
2022-07-25 20:01:14
854
原创 CMT 注册——Google Scholar Id，Semantic Scholar Id，和 DBLP Id
顶会投稿注册 CMT 时如何获取自己的 Google Scholar Id, Semantic Scholar Id 和 DBLP Id
2022-07-22 17:00:10
24573
13
原创 hit@k 评价指标
hit@k 指的是在前 k 个结果中命中的概率。举例而言，假设我们在做 MLM (masked language model) 任务，输入：A bird usually has [MASK] legs. 真实标签为：two，输出的结果为：four: 0.321two: 0.178three: 0.114six: 0.064no: 0.063如果是用 hit@1 accuracy 作为评价指标，那么我们看前 1 个结果，是 four，那么 FN + 1；如果是用 hit@2 accura
2022-05-27 15:31:23
9420
原创 Django 学习笔记(3)——用命令行创建 Django 项目和 APP
我相信有很多同学像我一样买不起 pycharm 的专业版[狗头]，所以本文就介绍如何用命令行来创建 Django 项目和 APP。1. 创建 Django 项目如果各位还没有安装 Django，那么就直接使用 pip install django 或者 conda install django 即可。(1) 首先打开 cmd 或者 anaconda prompt。 cmd 的打开方式为 win + r > 输入 cmd > 回车。(2) 创建你的 Django 项目的存放地址。（.
2022-05-09 16:56:29
4016
原创 Django 学习笔记(2) —— 运行时报错 Error: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试。
报错内容： Error: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试。报错原因： 选用的端口被其他程序占用。默认的使用端口为 8000. 查看端口占用情况可以在 任务管理器 > 详细信息 中查看 PID。解决方案： 运行时换用另外一个端口，以 8080 端口为例，运行时使用如下命令：python manage.py runserver 8080...
2022-04-28 10:01:23
968
原创 Django 学习笔记(1) —— urls 中导入视图文件的包出下划线以及 html 页面中加入 {% load static %} 后出现下划线
整个项目如下：直接运行即可，不用管飘红。如果改为如下不会飘红，但是会在运行时报错：from django_learning.app01 import views
2022-04-28 09:57:32
2963
原创 Word如何交叉引用以及交叉引用参考文献后使用逗号分隔
如果你知道如何交叉引用，可以直接跳转到第2节；如果你知道如何定义编号格式，但是不会交叉引用，可以直接跳转到 1.2 节。目录1. 交叉引用1.1 定义有序列表1.2 如何交叉引用1.3 为什么要交叉引用2. 交叉引用多个参考文献后使用逗号等2.1 两篇参考文献2.2 多篇参考文献1. 交叉引用交叉引用只能引用有序列表，所以我们需要先定义参考文献的有序列表。1.1 定义有序列表如果没有参考文献有序列表 (i.e. [x]) 的朋友，首先先选择下图红框的按钮旁边的向下箭头，选择定义新编号格式。.
2022-03-08 16:04:58
31693
6
原创 Pytorch学习笔记(7)——模型放GPU上经常报CUDA错该怎么办
相信许多朋友在使用深度学习时，将模型放在GPU上运行，然后就会报一堆跟CUDA相关的错误，于是开始百度这些错误该怎么修复。得到的结果可能大多数都是该怎么升级CUDA之类的。当按照网上的流程一步步走下来后，却始终无法解决这些问题。而实际上在我遇到的所有跟CUDA相关的错误，其实都与CUDA没有任何关系，比如有可能是你的Embedding层的维度与词表不匹配等。发生这些错误的时候，我建议先将模型放到CPU上运行，看会不会发生错误，再决定你该如何修改代码。...
2022-03-01 09:52:00
1045
原创 Pytorch学习笔记(6)——RNN隐藏状态不能参与梯度计算
报错内容：CPU上运行报错：RuntimeError: Trying to backward through the graph a second time (or directly access saved variables after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify
2022-02-11 16:50:35
1438
2
原创 什么是 prompt learning？简单直观理解 prompt learning
prompt learning 有可能会成为下一代预训练语言模型，所以本博客在此简单直观的介绍一下何为 prompt learning。
2022-01-05 16:47:26
13535
2
原创 单身舔狗的崛起之路——用MLP给你喜欢的女生训练个专属的衣服穿搭神经网络
曾经有个人给我说过，当年有个男的追她，天天给她发天气预报。但是女神不会看天气预报啊？或者她不会抬头望望天啊？于是秉持着舔到最后应有尽有，偷懒是人类进步的最大动力这两大原则，我为女神训练出了一个专属的衣服穿搭神经网络。整个项目已开源至github：https://github.com/Balding-Lee/PyTorch-MLP-for-personalized-dress-matching。目录1 数据获取2 数据处理3 模型定义与训练3.1 模型定义3.2 评价指标与损失函数3.3 训练模型3.
2021-10-29 12:37:43
1219
原创 Pytorch学习笔记(5)——交叉熵报错RuntimeError: 1D target tensor expected, multi-target not supported
当我使用交叉熵做损失函数时，发生了报错：RuntimeError: 1D target tensor expected, multi-target not supported我查了相关资料，里面的说法基本都是：输入labels维度应该为1维，且精度不能是Double，必须换成long；对输入标签进行降维。但是却没法解决我的问题，因为我的标签数据在处理好后，用以下代码处理过：torch.FloatTensor(labels)而且我也打印过我的标签数据的维度：torch.Size([16
2021-10-27 21:28:26
18856
12
原创 Pytorch学习笔记(4)——从0实现CNN情感分析
感觉之前RNN的代码写的太丑陋了，所以该文章主要参考了Dive-into-DL-PyTorch和中文文本分类 pytorch实现的代码。目录1 项目框架2 预处理2.1 将所有词映射为词向量2.2 将句子中的词语映射为id3 CNN模型4 参考1 项目框架整个项目的框架抽象来看是如下的：简而言之就是输入的是整一句话，宽度为词向量维度（这里是300维），高度为句子最大长度。经过嵌入层嵌入后，通过卷积与最大池化层，最后进入全连接层，在softmax后得到情感分类的输出。其详细的框架图为：中文文本.
2021-10-26 15:57:01
844
4
原创 Pytorch学习笔记(3)——从0实现RNN情感分析
本文从0实现了用torch做基于RNN的情感分析。代码已上传到Github，链接为：https://github.com/Balding-Lee/torch-sentiment-analysis-based-on-RNN。但是效果并不是特别好，有可能是数据问题，也有可能是代码问题。如果是代码问题，欢迎指教。目录1 任务描述2 数据处理2.1 词语数目确定2.2 未知词词向量给定2.3 词嵌入3 模型训练3.1 RNN3.2 k折交叉验证3.3 获得准确率3.4 训练1 任务描述我的任务目标是采用t.
2021-10-20 16:21:07
1800
2
原创 Pytorch学习笔记(2)——to(device)无法将数据放到GPU上
目录1 问题来源2 解决方案1 问题来源我删除了无关代码，只放出错的部分device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')train_iter = Data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, drop_last=True)model = RNNSa(300, 2).to(device)print('\nmode
2021-10-14 15:22:45
11549
1
原创 Pytorch学习笔记(1)——手把手教你从0开始搭建个自己的神经网络
本文参考的是《动手学深度学习》(PyTorch版)，链接在下面。由于照着网站上的代码敲一遍自己印象也不是很深刻，所以我整理了该书本中的内容，整理了自己的思路梳理了一遍。希望该文章能够对初学者的你来说有所帮助。同时由于我也是第一次用torch写代码，可能会有许多疏漏，如果有错误，希望各位能够指正。目录0 代码目的1 数据集创建2 神经网络搭建流程3 从0搭建一个线性回归神经网络3.1 参数定义3.2 模块定义3.2.1 神经网络构建3.2.2 损失函数定义3.2.3 优化器定义3.3 模型训练3.3.1.
2021-09-16 10:42:17
969
原创 Latex爬过的坑(3)——编译不报错但是显示不出来参考文献
使用环境：texlive 2020, texstudio-3.0.4问题产生情况：使用bib的时候，将bib放入文件夹中进行编译。编译的时候没有报错，但是却不会产生全部或者部分参考文献。出错原因：在编译bib的时候，只会输出文章中引用了的参考文献，所以只产生了一部分或者没有产生参考文献的话，检查下是不是文章中并没有引用参考文献。...
2021-09-09 18:19:30
8422
5
原创 BERT学习笔记(4)——小白版ELMo and BERT
由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的BERT课程，链接放在的最后。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。由于是小白版本的内容，所以不会涉及到任何公式，仅用于理解该模型的作用。目录1 ELMo2 BERT2.1 Why Encoder?2.2 BERT如何做pre-train2.2.1 Masked LM2.2.2 Next Sentence Prediction2.3 BERT的下游任务2.3.1 文本分类任务2.3.2.
2021-09-01 17:36:47
529
原创 BERT学习笔记(3)——self-supervised learning and pre-train model
目录1 self-supervised learning2 pre-train model2.1 one-hot2.2 BOW2.3 TF-IDF2.4 n元语言模型2.5 Word2vec and GloVe2.6 contextualized word embedding参考1 self-supervised learningself-supervised learning (自监督学习)据李宏毅老师的课件说，这是19年提出的一个概念。这是无监督学习的一个子集。其核心思想是：不需要人工标注数据，根据
2021-08-31 17:17:16
687
原创 BERT学习笔记(2)——Transformer
由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的Transformer课程，链接在这里：《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。目录1 简介2 Encoder3 Decoder4 参考1 简介Transformer是一个Seq2seq(sequence to sequence)模型，其实质上是一个Encoder和Decoder的结合。其简略结构图.
2021-08-24 16:07:03
273
原创 BERT学习笔记(1)——self-attention
由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的self-attention课程，链接在这里：《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。目录1 self-attention的思想及框架2 self-attention工作流程3 Multi-head self-attension4 几个tricks5 参考1 self-attention的思想及框架.
2021-08-18 17:55:26
438
原创 手把手教你Anaconda安装与配置以及pycharm选择Anaconda环境
对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录1 Why Anaconda？2 Anaconda安装流程2.1 卸载python2.2 下载anaconda2.2 安装anaconda1 Why Anaconda？Anaconda最大的优势我认为在于可以做环境管理，可以通过创建不同的环境，安装不同的包。简单来说，就比如我们在github上下载了一个代码，是用python2.6写的，但是我们的python是3.7的版本。如果我们没有用anaconda，那么我们
2021-07-09 12:48:58
12877
8
原创 TensorFlow学习笔记（4）——TensorFlow实现GloVe
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow)，作者是Thushan Ganegedara。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录0 前言1 数据集下载2 读取数据集3 创建词典4 生成GloVe的batch数据5 生成共现概率矩阵6 GloVe算法6.1 定义超参数6.2 定义输入与输出6.3 定义模型参数以及其他变量6.4 定义模型计算6.5 相似度计.
2021-07-08 11:10:19
478
2
原创 GloVe原理与公式讲解
GloVe是2014年提出的一种词嵌入方法，结合了矩阵分解以及上下文窗口两种词嵌入方法。相较于Word2Vec而言，其论文写得很清晰。本文主要是整理了该论文中的内容。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录1 背景知识1.1 基于矩阵分解的词嵌入技术1.2 基于局部窗口的词嵌入技术2 GloVe2.1 共现概率矩阵2.1.1 共现概率矩阵构建2.2 目标函数构建3 参考1 背景知识GloVe是结合了基于矩阵分解的词嵌入技术以及基于局部窗口的词嵌入技.
2021-07-07 10:43:26
1264
1
原创 随机过程——离散时间马尔科夫链定义的通俗理解
由于随机过程中离散时间马尔科夫链定义很多，网上资源又过于零散，书上笔记也写得十分零碎，所以就写篇博客来记录一下这些定义的通俗理解。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！首达概率：fij(n)=P(Xn=j,Xk≠j,k=1,2,…,n−1∣X0=i)f_{ij}^{(n)}=\mathbb{P}(X_n=j, X_k \neq j, k = 1, 2, \dots, n - 1 | X_0=i)fij(n)=P(Xn=j,Xk=j,k=1,2,.
2021-06-21 11:16:09
3034
3
原创 TensorFlow学习笔记（3）——TensorFlow实现Word2Vec
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow)，作者是Thushan Ganegedara。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录0 前言1 数据集准备2 读取数据但不做预处理3 读取数据并做预处理4 创建词典5 定义Skip-gram的batch6 Skip-gram6.1 定义超参数6.2 定义输入与输出的占位符6.3 定义模型参数与其他变量6.4 定.
2021-06-18 15:31:25
439
3
原创 TensorFlow学习笔记（2）——TensorFlow实现MLP
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow)，作者是Thushan Ganegedara。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录0 前言1 数据准备2 定义超参数与常量3 定义输入的占位符4 定义权重与偏置的参数5 定义不同作用域中不同参数的作用6 定义损失函数与优化器7 定义预测8 运行神经网络8.1 准确率计算8.2 循环epoch8.2.1 训练样.
2021-06-11 22:21:08
1837
3
原创 概率论与数理统计学习笔记（6）——分布律，分布函数，密度函数
对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录1 离散型随机变量1.1 （0-1）分布1.2 伯努利试验1.3 二项分布1.4 几何分布1.5 泊松分布2. 连续型随机变量2.1 分布函数与概率密度函数2.2 均匀分布2.3 指数分布2.4 正态分布2.4.1 标准正态分布2.4.2 一般正态分布References1 离散型随机变量离散型随机变量指的是取到的值时有限个或者可列无限多个的随机变量。有限个值很好理解，但是可列无限多个值就有点抠脑壳。这句话的含义就
2021-05-29 11:41:40
12016
中文维基百科语料库百度网盘网址.txt
2020-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人