- 博客(60)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 pytorch 使用BART模型进行中文自动摘要
fine-tune BART模型实现中文自动摘要如何fine-tune BART模型参见系列文章1博文提供了数据集和训练好的模型，自动摘要能够摘要出部分关键信息，但什么时候终止学习的比较差。
2021-08-16 21:11:26
14459
20
原创 大规模Session-based 数据转化为邻接矩阵
基于图的推荐系统算法，需要得到item的临近矩阵或者邻接表才能进行进一步计算。思路梗概：1.把session记录（行为session，列为item）转化为一个矩阵，方便运算2.使用转置矩阵和矩阵自身相乘，得到邻接矩阵。
2023-10-20 18:11:55
164
原创 propensity score mating and application with R language
For this assignment we will use data from Lalonde (1986),that aimed to evaluate the impact of NationalSupported Work (NSW) Demonstration, which is a labor training program, onpost-intervention income levels.
2022-06-02 20:11:58
329
1
原创 论文阅读-Modeling and Simulating Online Panic in an Epidemic Complexity System: An Agent-Based Approach
目录研究目的流程文本数据挖掘模型建模观点动力学模型论文摘要（机翻）评价资源和代码论文链接：https://www.hindawi.com/journals/complexity/2021/9933720/这篇论文的优势是公开了数据集和仿真代码，可以在GitHub上下载后在自己电脑的netlogo上运行。研究目的针对疫情爆发时候人们感到的恐慌（或者说感受到的pressure）进行建模，分析信息化程度对流行病时期的恐慌情绪的影响；公布新增or总病例数对恐慌变化的影响。流程文本数据挖掘这篇论文首先用
2022-01-14 18:13:34
561
原创 CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle) pytorch 错误总结
在训练的时候报错，我个人遇到的是两个原因1.标签数和最后一层网络的输出数量不一致2.标签数没有转化成从0开始的n个数字（n对应类别）比如预测5类，标签是0,1,2,3,4，注意，是从0开始
2021-10-11 15:31:20
1954
原创 pytorch Dimension out of range (expected to be in range of [-2, 1], but got 2)问题记录
模型正常进行训练，训练好后想使用一个文本进行一下测试，发现居然在forward函数报错。开始百思不得其解，训练都是正常的，按evaluate函数的逻辑写了测试样例，怎么会报错呢。报错如下图：最后经过仔细的检查，发现是forward()函数里squeeze()函数的问题，这个函数将某些满足只有一个元素的维度删除没了。因此解决办法是使用两个测试样本封装入一个batch中，问题解决了。还是要更细心...
2021-10-10 22:31:23
1459
原创 如何计算self-attention中的贡献度 a
对于注意力机制有很多博客都讲过了，也很好理解。但因为要写代码，具体如何计算self-attention 里贡献度比例 a 困扰了我几天。终于明白了，所以写个博客记录一下。参考了https://lonepatient.top/2019/01/09/BERT-self-Attention.html，如果你觉得我写的太简略看不懂，参考这位的博客，他的博客比我写的详尽。下面按计算流程进行梳理：学习WqW^qWq WkW^kWk WvW^vWv三个矩阵||||为什么要学习这三个矩阵呢||\/每
2021-09-23 16:59:45
212
原创 养猫还是养狗，哪一种宠物所受关注度更高？
当前宠物市场上，猫狗是两类最主要的宠物。养狗的家庭常常把狗带出散步，而养猫的家庭很少带猫外出，这可能造成了对哪种宠物被饲养得更多的认知偏差。参照百度和谷歌两大搜索引擎的数据，回到一个问题：不同国家对养猫Or养狗的偏好是否一致？
2021-09-23 16:16:17
483
原创 CNN(卷积神经网络)的深度
CNN中深度可能有几种情况，这儿总结一下。深度：指的是网络的层数，有时也称为网络的深度卷积层的深度：卷积核个数。需要和通道数做区别，通道数指的是层数，一个卷积核的通道数与它进行卷积的输入必须是相同。...
2021-07-17 16:39:31
3235
2
原创 pytorch 手写数字识别 新网络设计和学习率探索
首先复现了经典的LeNe-5网络，在此基础上探究了学习率和动量两个超参对模型训练的影响。提出了从两个维度进行信息学习，最后拼接在一起的卷积神经网络，准确率为:0.9875。
2021-07-13 21:21:08
695
1
原创 博弈论学习笔记——纳什均衡与社会最优、破坏均衡的方法
在囚徒困境的情境中，二者的博弈会达到一个纳什均衡，即都会选择坦白。这是因为囚徒是理性人，不管对方选择什么，自己选择坦白都能选择相对更好的收益，但这并非总体最优的策略，及社会最优。最后介绍了引入外部信息后，把共有知识转变为共同知识的破坏博弈均衡的方法。
2021-07-01 23:30:49
3070
原创 博弈论学习笔记——博弈收益期望的计算与决策
博弈中通常通过对期望收益计算的方法，来决策理性人的决策策略。博弈案例：零和博弈导致一个人的策略应当使得对方不管选择哪一个策略，收益都相同。比如两个人出示硬币，根据正反面的情况进行博弈
2021-07-01 21:07:20
7693
原创 三元组事件抽取与简单代码实现
一个简单的示例代码，基于词性的三元组事件抽取。本文代码大多来源于另一位作者的工贡献：，可直接从github获取代码。篇博客主要是描述一下这个项目如何使用（比较多坑）和三个实验对比结果。
2021-06-25 12:27:32
8107
15
原创 文本自动摘要评价方法-金字塔方法
文本自动摘要的评价方法--金字塔方法本质上是一种人工评价方法，其目的是减少人工工作量。金字塔方法衡量内容的忠实度
2021-06-23 12:40:18
998
1
原创 PLSA概率潜在语义分析数学推导
PLSA模型是LDA模型先前的一个工作，理解PLSA模型有助于我们对LDA模型的理解。由于已有很多的博客对PLSA和EM算法进行了充分介绍，因此本文主要对PLAS及其中使用的EM算法进行推导，不再做原理性上的解释。我们希望把文档集或单篇文章的生成概率表示出来，在分解得到对应的两个概率：主题生成文章、词生成主题。选择概率的前n个即可完成对在这个模型中，篇章集合d与词项空间w已知的，而主题z是未知的。我们的假设是篇章以一定概率生成主题，而主题以一定概率生成词汇。因此需要通过某种方法计算未知的主题z。
2021-06-22 21:52:10
817
1
原创 如何从大型模型（BART）fine tune一个小模型及代码实现
本文目的是从上游大型模型进行知识蒸馏以应用于下游自动摘要任务，主要总结了自动摘要目前面临的难题，BART模型的原理，与fine tune 模型的原理。对模型fine tune部分进行了代码复现，通过fine tune使得student模型能够在一块8G显存的GPU上进行训练。
2021-05-19 01:41:33
5642
6
原创 beam search的例子
看了一下网上对beam search的讲解，感觉都说的太杂了，我试图用一个最简单的例子来帮助读者理解。见下图假设我有一个模型，能够根据当前词输出下一个词的概率分布，最后依次这样就能生成一大串文本。以上面的图为例“The”的下一个词的最大概率为“nice”, p=0.5但这样选容易造成“局部最优”所以指定beam size是2时，保留概率最大和第二大的组合。概率最大的是“The nice”(p = 0.5)概率第二大的是“The dog”(p = 0.4)概率最小“The car”(p
2021-05-18 15:56:17
423
1
原创 Attention中存在的问题-错位对齐
本文是在学习RNN中Attention机制运用，所产生的一个问题，欢迎在评论区讨论。在RNN网络中可以引入注意力机制来克服长距离依赖关系造成的困难
2021-04-21 10:35:25
596
原创 Python 手写数字识别的实现(pytorch框架) 超详细版本-jupyter notebook
本文详细介绍了如何构建LeNet-5神经网络用于手写数字识别。文中大量的代码解释包含在代码行后的注释中，请注意查看。下面的代码在谷歌云盘的colab上运行，也可以在jupyter notebook上运行
2021-03-28 21:28:49
15082
12
原创 pytorch MNIST数据集无法正常加载的解决办法（ HTTP Error 503: Service Unavailable）
pytorch MNIST数据集无法正常加载的解决办法（ HTTP Error 503: Service Unavailable）。MNIST是手写数字识别的数据集，非常适合神经网络入门（CNN网络）。服务器挂了，当使用下面代码时无法加载MNIST数据集，报错503。给出一种替代性加载数据集的方法，而避免下载数据集到本地
2021-03-26 14:42:46
5051
6
原创 国科大抢课
国科大很多优秀的课程，但是每次想选突然一下就没有了，在后面确定选课的一段时间内，有同学可能退课，那么我们可以用程序获得这样的课程。该程序仅用于研究，请勿用于其它用途，造成后果一切自负！！！
2021-03-13 23:19:01
1650
2
原创 python 如何截取特定字符前或后的字符串
类似之前R语言的处理思路：R语言 如何截取字符串特定字符前或后的字符串可以借助split()函数来实现split()函数使用方法string.split()其中string是字符串名字分割后会返回一个列表，其中的元素是切割后的字符串。再提取其中元素，即可得到特定字符前或后的字符串下面来看一个例子例子url = http://jwxk.ucas.ac.cn/courseManage/saveCourse?s=9aa012dd-f96a-47c7-ba1d-ed4c824b42b6需要截
2021-02-25 19:53:54
74238
3
原创 基于word2vec和CNN的中文微博情感分类（论文阅读）
分享一篇论文阅读：Deep learning based emotion analysis of microblog texts。该文研究中文微博文本的情感分类问题。其研究目的是：1. 通过组合多种方法，验证CNN+Word2vec比传统方法效率高。2. 证明针对中文社交短文本，做词向量模型的预训练任务时，字符词向量比词语词向量更好。
2021-01-30 00:15:54
1493
3
原创 R语言 面板数据分析 plm包实现（三）——面板数据与面板模型的检验
本文针对面板数据主要有三种模型： 1. pool模型 2. 固定效应模型 3. 随机效应模型 介绍了数据检验和模型检验用R语言实现过程，包括F test, Hausman test和 LM test。承接系列一部分，在模型检验确定如何使用模型后，进行数据分析
2021-01-23 10:44:47
22358
15
原创 R语言 面板数据分析 plm包实现（二）——随机效应模型
首先是plm包安装和数据导入部分，参见文章：《R语言 面板数据分析 plm包实现（固定效应模型和组内模型）》目录1.模型描述数据导入2.假定γt =0，直接估计随机 “Individual effects” 模型3.假定ui =0，直接估计随机“Time effects”模型;1.模型描述有数据集：Ex1_1.dta数据样式：点击下载其中FN代表公司，总共有三家；YR代表年份；I是总投资；F是企业实际价值；C是企业实际资本存量。更多解释：数据导入这个数据集是stata的数据集，因此在R
2021-01-10 23:21:21
9273
1
原创 R语言 面板数据如何做Swamy Arora估计
样本量较小（这显然是具有一些特征的定量研究）且面板不平衡时，Swamy-Arora（SA）估计量优于默认随机效应模型。本文用一个案例演示了如何用R语言做Swamy-Arora估计，国内针对面板数据计量很少有R语言资料，希望能抛砖引玉。
2021-01-10 21:52:15
1730
原创 Python 遗传算法求解Stackelberg均衡问题（带概率约束）
本文展示了一个带概率约束的Stackelberg均衡问题，如何用python实现遗传算法和蒙特卡洛方法求解并可视化，提供了详细的代码以供读者参考。结果课件，在博弈过程中，在10轮作用就已经解决均衡状态。
2021-01-06 22:14:43
6658
38
原创 python csv文件和xlsx文件混杂时，提取指定列数据并合并
解决的问题是提取csv文件和xlsx文件混杂时，文件合并问题。具体来说，代码是提取指定列文本，简单清洗后存入新csv文件。
2021-01-01 00:26:27
641
原创 python mesa包教程
python mesa包教程python中的mesa包预制了一些类，提供了一些基础模型，可以大大简化abm建模的工作量。在python中实现，也有利于和其它算法相结合。本文是一次作业，按照个人理解把mesa包教程整理，代码压缩成了两大部分。如果是新手上手，建议查看下方的官方链接，在jupyter notebook里一步一步运行代码。
2020-11-28 01:20:15
4342
原创 python 矩阵按列升序降序排列
矩阵或二维数组按列排序要把矩阵按列来进行升序和降序排列是很容易想到的，来源于数据库的思想。数据库中表的结构是由行列所组成的。如果我们把数据库的表想象成一个二维数组，如何做好按列的排序呢？首先想到的是借助np包功能实现,把数组变成一个矩阵，类似数据库里面的表（如果你学过R语言就更好理解了，即数据框结构）然后根据某一列得到顺序，对每行进行调整
2020-11-22 22:27:02
9148
原创 R语言 如何合并csv文件（批量读取csv文件）
假设文件夹下有n个csv文件，需要将其合并后存入一个新的csv文件之中。如果要批量读取csv文件，只需对下面的代码稍加修改。
2020-11-09 18:42:14
15928
5
原创 R语言 面板数据分析 plm包实现(一) ——LSDV和固定效应模型
文本主要阐述了R语言中如何用plm包做面板数据分析，几种模型的具体实现。包括pool模型，LSDV模型，组内模型（within），时间固定效应Panel模型和个体和时间双维固定效应模型。提供了一个数据集供读者以复现
2020-11-02 19:50:18
52447
19
BART模型-包含网络参数
2021-08-16
Vensim模型-网络请愿书传播机制-论文模型复现
2020-10-31
面板计量练习数据-Ex1_1.dta
2020-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人