乐清sss-CSDN博客

原创 Hugging Face Model Hub 预训练模型清华镜像使用

今天遇到一个错误：OSError: Couldn’t reach server at ‘https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-config.json’ to download configuration file or configuration file is not a valid JSON file. Please check network or file content here: /users/yqs

2021-06-04 15:17:16 7105 5

原创 OSError: libcusparse.so.10: cannot open shared object file: No such file or directory

这样的问题真是遇到好几次了，记录一下。我以为我没有安装cudatoolkit，可是anaconda3目录里明明有的原因是环境变量没有添加找到你缺失的这个文件所在的目录，然后添加到环境变量里，比如我的libcusparse.so.10文件在“/users/yqsun/anaconda3/pkgs/cudatoolkit-10.2.89-hfd86e86_1/lib” 目录下编辑环境变量vim .bashrc最后面添加export LD_LIBRARY_PATH="/users/yqsu

2021-04-18 10:58:48 4366

原创 PyTorch知识点补全

1. 如何在 PyTorch 中设定学习率衰减（learning rate decay）很多时候我们要对学习率（learning rate）进行衰减，下面的代码示范了如何每30个epoch按10%的速率衰减：def adjust_learning_rate(optimizer, epoch): """Sets the learning rate to the initial LR decayed by 10 every 30 epochs""" lr = args.lr * (0.1 *

2021-04-16 14:22:53 614

原创 linux nltk.download()报错

可在https://github.com/nltk/nltk_data/ 下载，安装到对应的目录比如wordnet的目录是在/users/***/anaconda3/envs/semeval2020/share/nltk_data/corpora/wordnet因为我只需要wordnet，所以只下载了这个。

2020-12-22 16:41:37 421

原创使用matplotlib画直方图和概率密度图

害，折腾了我好久1. 直方图和概率密度图叠加#python 画概率密度图#-*- coding: utf-8 -*-import matplotlib.pyplot as pltimport numpy as npimport seaborn as sns# 1）准备数据lengths = []with open("D:/length_analysis.tsv","r") as f: for l in f: if int(l.split('\t')[2])>

2020-10-07 16:49:07 12276

原创 spacy en_core_web_sm/md/lg三种model有什么区别

sm/md/lg表示模型的大小（small, medium, large）差别在于准确率和加载时间The en_core_web_lg (788 MB) compared to en_core_web_sm (10 MB):LAS: 90.07% vs 89.66%POS: 96.98% vs 96.78%UAS: 91.83% vs 91.53%NER F-score: 86.62% vs 85.86%NER precision: 87.03% vs 86.33%NER recall: 8

2020-06-30 17:50:09 2089

原创 GPT2 throw error Using pad_token, but it is not set yet

今天使用GPT2遇到的ERROR，看了一下源码，问题在这：pytorch_transformers.tokenization_utilsclass PreTrainedTokenizer(object):......@property def pad_token(self): """ Padding token (string). Log an error if used while not having been set. """ if self._pad

2020-06-29 18:05:14 4705 1

原创 leetcode 146.LRU缓存机制 & OrderedDict

今天刷到leetcode第146题涉及到了OrderedDict的知识，记录一下运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。它应该支持以下操作：获取数据 get 和写入数据 put 。获取数据 get(key) - 如果密钥 (key) 存在于缓存中，则获取密钥的值（总是正数），否则返回 -1。写入数据 put(key, value) - 如果密钥已经存在，则变更其数据值；如果密钥不存在，则插入该组「密钥/数据值」。当缓存容量达到上限时，它应该在写入新数据之前删

2020-05-25 18:23:20 297

原创 BERT模型返回值

bert的输出是tuple类型的，包括4个：Return: :obj:`tuple(torch.FloatTensor)` comprising various elements depending on the configuration (:class:`~transformers.BertConfig`) and inputs: last_hidden_st...

2020-03-28 11:43:21 16508 12

原创 Matplotlib画图内置样式

内置样式# 全部内置样式from matplotlib import styleprint(plt.style.available)‘bmh’, ‘classic’, ‘dark_background’, ‘fast’, ‘fivethirtyeight’, ‘ggplot’, ‘grayscale’, ‘seaborn-bright’, ‘seaborn-muted’, ‘seabo...

2020-03-17 22:18:02 1401 6

原创 BertForQuestionAnswering的使用中遇到的一些函数

1. logging的用法配置：import logginglogging.basicConfig(format = '%(asctime)s - %(levelname)s - %(name)s - %(message)s', datefmt = '%m/%d/%Y %H:%M:%S', level = l...

2019-12-25 16:05:37 4075

原创 RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'

使用bert时遇到的一个bug，是因为我没有把向量从cpu类型转为gpu类型，参考issue 227问题：Here is the complete error message:Traceback (most recent call last): File "app/set_expantion_eval.py", line 118, in <module> map_n=...

2019-12-16 19:33:46 3735

原创 Python知识补全

1. os.mkdir()与os.makedirs()的区别及用法path_01 = 'Test\\path_01\\path_02\\path_03'os.mkdir()创建路径中的最后一级目录，即：只创建path_03目录，而如果之前的目录不存在并且也需要创建的话，就会报错。os.makedirs()创建多层目录，即：Test,path_01,path_02,path_03如果都不存在的...

2019-12-15 22:59:34 144

原创 ModuleNotFoundError: No module named ''

很弱智的问题，记录一下，当使用 pycharm 执行报这个错误时，包目录下添加__init__.py文件即可，但是在命令行执行时还是报错，因为没有把调用模块的路径加入到程序中，这使需要手动sys.path.append(路径)import sys,osx = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))# sys.pa...

2019-12-10 10:57:26 898

原创 VScode远程开发和调试

安装Remote Development插件连接远程主机ctrl+shift+P选择Remote-SSH: Settings将终端始终显示：点击左边的电视图标，点击选择会在命令窗口弹出几个选项选择 Remote-SSH：Connect to Host->Configure SSH Hosts-> 选择一个config之后会出来配置config的信息输入完毕后保存，左侧会...

2019-12-09 16:42:52 207

原创使用pytorch_pretrained_bert将tensorflow模型转化为pytorch模型

BERT仓库里的模型是TensorFlow版本的，需要进行相应的转换才能在pytorch中使用在Google BERT仓库里下载需要的模型，这里使用的是中文预训练模型(chinese_L-12_H-768_A_12)下载chinese_L-12_H-768_A-12.zip后解压，里面有5个文件bert_config.jsonbert_model.ckpt.data-00000-of-0...

2019-12-09 15:28:48 5915 7

原创 mysql commit报错

记录一下，折腾了半个小时，终于没bug了还没真正运行数据就报db.commit出错，那肯定是insert或其他改变数据库的语句有语法错误在使用dict数据出入数据库时，使用d.get[‘key’]的形式，避免d[‘key’]...

2019-11-18 20:29:18 582

原创 Pytorch代码中的常识和一些好用的操作

最近在读一些深度学习的代码，不禁感叹别人代码的天工之作，再看看自己的代码，哇真是垃圾，有好多操作没见到过，所以也不会用，在这里做个记录，正如以人为鉴可以正衣冠…1. **kwargs**kwargs表示关键字参数，它本质上是一个dict,来看个例子：t = Train(train_iter=train_iter, dev_iter=dev_iter, test_iter=test_iter,...

2019-11-15 23:04:55 1895

原创 Pytorch中torch.nn.Softmax的dim参数含义

涉及到多维tensor时，对softmax的参数dim总是很迷，下面用一个例子说明import torch.nn as nnm = nn.Softmax(dim=0)n = nn.Softmax(dim=1)k = nn.Softmax(dim=2)input = torch.randn(2, 2, 3)print(input)print(m(input))print(n(inp...

2019-09-21 18:43:49 33068 7

原创 libpcap编译遇到的问题

warning: ‘pcap_lookupdev’ is deprecated: use 'pcap_findalldevs' and use the first device [-Wdeprecated-declarations]在写libpcap捕包程序编译时遇到这个警告，可以忽略，然后在运行时报错：error while loadingshared libraries: libpcap....

2019-03-21 20:23:04 2842

原创汉字输入法演变

摘自百度知道:https://zhidao.baidu.com/question/371212542972360284.html由于汉字有数以万计，电脑键盘不可能为每一个汉字而造一个按键。因此，人们需要替汉字编码（检索出汉字的代码），用数个键来输入一个汉字。中文输入法的发展过程，是“万码奔腾”的过程，在30年间出现了上千种编码方法。最早的汉字输入法，一般认为是从70年代末期或者8...

2018-09-09 19:46:32 2774 1

原创汉字编码方案演变

在Unicode之前，一共存在过3套中文编码标准：GB2312-80, Big5，HKSCS.GB2312-80GB2312-80，是中国大陆使用的国家标准，其中一共编码了6763个常用简体汉字。 GB2312即《信息交换用汉字编码字符集———基本集》,由国家标准总局发布,1981 年 5月 1日实施. 它对促进汉字信息技术的发展和计算机的应用,发挥了重要作用,有人称它...

2018-09-09 17:35:26 1205

原创数学建模之预测方法总结

预测方法多达200余种,在使用这些模型时往往难以正确地判断该用哪种方法,从而不能准确地建立模型,达到要求的结果.不过预测的方法虽多,但各种方法都有各自的研究特点、优缺点和适用范围.1. 微分方程模型适用范围: 基本规律随时间的增长趋势呈指数形式,根据变量的个数建立微分方程模型,基于相关原理的因果预测法,比较典型的有传染病的预测模型、经济增长预测模型、兰彻斯特战争预测模型、药物在...

2018-08-21 18:04:45 17991 9

原创数学建模之MATLAB画图汇总

1. 二维数据曲线图1.1 绘制二维曲线的基本函数1．plot()函数 plot函数用于绘制二维平面上的线性坐标曲线图，要提供一组x坐标和对应的y坐标，可以绘制分别以x和y为横、纵坐标的二维曲线。例:t=0:0.1:2*pi; x=2 * t; y=t.*sin(t).*sin(t); plot(x, y); 2．含多个输入参数的plot函数 plot函数...

2018-08-21 12:21:38 414731 34

原创数学建模之Lingo基础知识与应用

1. Lingo入门安装:推荐微信公众号软件安装管家(1) 界面分析: (2) LINGO报告窗口 (3) 运行状态窗口 (4) 输出结果基本用法注意事项:LINGO中不区分大小写字母；变量和行名可以超过8个字符，但不能超过32个字符，且必须以字母开头。用LINGO解优化模型时已假定所有变量非负(除非用限定变量取值范围的函数@free或@s...

2018-08-15 18:15:03 18863 2

原创数学建模之BP神经网络

1. BP网络基本数学原理BP网络是一种多层前馈神经网络,它的名字源于在网络训练中,调整网络权值的训练算法是反向传播算法(即BP学习算法). BP网络是一种具有三层或者三层以上神经元的神经网络,包括输入层,隐含层和输出层,上下层之间实现全连接,而同一层的神经元之间无连接,输入层神经元和隐含层神经元之间的是网络的权值,即两个神经元之间的连接强度.隐含层或输出层任一神经元将前一层所有神经元传...

2018-08-15 14:44:32 11325

原创数学建模之主成分分析法

评价方法大体可分为两类,其主要区别在确定权重的方法上。一类是主观赋权法,多数采取综合咨询评分确定权重,如综合指数法,模糊综合评价法,层次分析法,功效系数法等.另一类是客观赋权,根据各指标间相关关系或各指标变异程度来确定权数,如主成分分析法,因子分析法,TOPSIS法等. 下面以2010年数学建模B题为例基于主成分分析法的评价步骤如下: matlab求解:...

2018-08-14 17:02:01 19266 3

原创综合评价模型之偏差距离最小法

以2010年数学建模B题为例对历届世博会反应其影响力的相关指标数据建立综合评价模型，即：持续天数，占地面积，参观人数，参与国家数，盈利数目(若亏本则为负)等五个指标来综合评价各届世博会的影响力大小. 各项指标都是效益性指标，用相对偏差距离小法进行综合评价。 matlab求解:A=... [190 8 25 603.9 28.63284; 180 15 ...

2018-08-14 14:53:09 1314 2

原创数学建模之假设检验

在总体的分布函数完全未知或只知其形式但不知其参数的情况，为了推断总体的某些性质，提出某些关于总体的假设。例如，提出总体服从泊松分布的假设，又如对于正态总体提出数学期望等于μ00_{0}的假设等。假设检验就是根据样本对所提出的假设做出判断：是接受还是拒绝。这就是所谓的假设检验问题。1. 单个总体N(μ,σ22^{2}) 均值μ的检验1.1 σ22^{2}已知，关于μ 的检...

2018-08-10 18:01:31 3547

原创数学建模之假设检验

在总体的分布函数完全未知或只知其形式但不知其参数的情况，为了推断总体的某些性质，提出某些关于总体的假设。例如，提出总体服从泊松分布的假设，又如对于正态总体提出数学期望等于μ00_{0}的假设等。假设检验就是根据样本对所提出的假设做出判断：是接受还是拒绝。这就是所谓的假设检验问题。1. 单个总体N(μ,σ22^{2}) 均值μ的检验1.1 σ22^{2}已知，关于μ 的检...

2018-08-10 17:54:27 3583

原创模拟退火算法实例分析

1. 求解组合优化问题以TSP问题为例,以TSPLIB的berlin52为例进行求解,berlin52有52座城市,数据下载地址:https://wwwproxy.iwr.uni-heidelberg.de/groups/comopt/software/TSPLIB95/tsp/clear clc a = 0.99; % 温度衰减函数的参数 t0 = ...

2018-08-10 16:18:52 17717 1

原创数学建模之目标规划

线性规划只能解决一组线性约束条件下,一个目标的最大值或最小值问题.在实际决策中,衡量方案优劣要考虑多个目标,在这些目标中,有主要的也有次要的,有最大值的也有最小值的,有定量的也有定性的,有相互补充的也有相互对立的,对于这些问题线性规划则无能为力.1 简介1.1求解目标规划的思路（1）加权系数法为每一目标赋一个权系数，把多目标模型转化成单一目标的模型。但困难是要确定合...

2018-08-10 15:12:47 12465

原创数学建模之排队论

排队是在日常生活中经常遇到的现象，如顾客到商店购买物品、病人到医院看病常常要排队。此时要求服务的数量超过服务机构（服务台、服务员等）的容量。也就是说，到达的顾客不能立即得到服务，因而出现了排队现象。这种现象不仅在个人日常生活中出现，电话局的占线问题，车站、码头等交通枢纽的车船堵塞和疏导，故障机器的停机待修，水库的存贮调节等都是有形或无形的排队现象。排队论（Queuing Theory...

2018-08-10 13:56:04 67850 8

原创数学建模之非线性规划

1. 定义如果目标函数或约束条件中包含非线性函数，就称这种规划问题为非线性规划问题。非线性规划目前还没有适于各种问题的一般算法，各个方法都有自己特定的适用范围。一般形式: 2. 非线性规划的 Matlab 解法Matlab 中非线性规划的数学模型写成以下形式 lb&lt;=x&lt;=ub 其中 f (x)是标量函数，A,B,Aeq,Beq是相应维数的矩...

2018-08-08 11:35:32 8130

原创 JabRef 源码分析

github地址:https://github.com/JabRef/jabref 官网: https://www.jabref.org/ 先占个坑,刚看出个头绪,提醒我从北京回来再补…….JabRefJabRef是一个用于处理BibTeX数据库的程序。该程序不使用内部文件格式，这意味着你通常直接以BibTeX .bib格式加载和保存数据库。但是，你也可以将许多...

2018-07-31 20:53:43 363

原创 Intellij IDEA学生邮箱申请注册码

IDEA社区版虽然免费,但功能太少,竟然UML图都不支持,emmm……… 突然发现JetBrains有学生免费使用计划,使用期为1年,到期后需要再次认证1. 学生邮箱认证网站:https://www.jetbrains.com/shop/eform/students 哈工大学生邮箱为:学号@stu.hit.edu.cn 2. 确认会收到认证邮件...

2018-07-30 21:02:21 25071 3

原创 Matlab map工具箱的使用

看优秀论文时发现还有这样神奇的功能,but 论文没有给.shp文件……..多方寻找终于找到了,我放到网盘里了, 里面有中国地图及各省份的.shp文件,用者自取: 链接：https://pan.baidu.com/s/1xjYKMOsphBtu5WcIz_ubaQ 密码：9i2ohttps://blog.csdn.net/rumswell/article/details/14644...

2018-07-28 23:19:02 8650 6

原创 2015数学建模国赛b题代码分析

所用代码出自2015年b285优秀论文出租车数量、请求单数、用户等待时间空间分布图 3Ddistribute=xlsread('20150906distribute.csv'); Dis=[]; m1=17; for i=1:length(distribute) % 矩阵行和列的最大值 if (distribute(i,1)==m1) ...

2018-07-28 15:02:45 11487 4

原创 CS224n课堂笔记2-词的向量表示：word2vec

预感lecture2会学很久,不会的东西太多了,emmm……….. 课程大纲 1. 词义 2. Word2vec介绍 3. 突出的研究 4. Word2vec目标函数梯度 5. 优化复习计算机如何处理词语的意思过去几个世纪里一直用的是分类词典。计算语言学中常见的方式是WordNet那样的词库。比如NLTK中可以通过WordNet查询熊猫的hype...

2018-07-26 01:17:03 1231 1

原创数学建模中的层次分析法

层次分析法（Analytic Hierarchy Process，简称 AHP）是对一些较为复杂、较为模糊的问题作出决策的简易方法，它特别适用于那些难于完全定量分析的问题。层次分析法的基本原理与步骤人们在进行社会的、经济的以及科学管理领域问题的系统分析中，面临的常常是一个由相互关联、相互制约的众多因素构成的复杂而往往缺少定量数据的系统。层次分析法为这类问题的决策和排序提供了一...

2018-07-25 16:20:00 1719

空空如也

空空如也