- 博客(83)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 os.environ[‘CUDA_VISIBLE_DEVICES‘] 无法生效原因
1. 现象：使用os.environ['CUDA_VISIBLE_DEVICES'] 指定了GPU，但是模型还是只能加载在‘0’卡上。2.原因：os.environ['CUDA_VISIBLE_DEVICES'] 必须在import torch之前3.隐藏的坑：如果import进来的其他文件中import了torch，os.environ['CUDA_VISIBLE_DEVICES'] 也无法生效，因为执行.py文件时会优先import其他包中的torch。eg：file 1:#
2021-07-08 20:45:08
30630
7
原创 查看显存占用
一.使用pynvml包（实际显存占用，包含cache）import pynvmlpynvml.nvmlInit()handle = pynvml.nvmlDeviceGetHandleByIndex(0) # 0表示显卡标号meminfo = pynvml.nvmlDeviceGetMemoryInfo(handle)print(meminfo.total/1024**2) #总的显存大小print(meminfo.used/1024**2) #已用显存大小print(meminf.
2021-07-08 14:44:09
1398
原创 linux命令
一. grep1.Introduction: Given one or more patterns,grepsearches input files for matches to the patterns. When it finds a match in a line, it copies the line to standard output (by default), or produces whatever other sort of output you have requested wi..
2021-01-23 11:42:58
197
1
原创 multiprocessing.pool.MaybeEncodingError: Error sending result
multiprocessing.pool.MaybeEncodingError: Error sending result Reason: ' [......]' . Reason: RecursionError('maximum recursion depth exceeded while calling a Python object')背景：当使用multiprocessing.Pool模块时，如果多个进程读写同一文件，一般是在回调函数中进行读写。如果传入回调函数的是BeautifulSoup.
2021-01-21 20:30:57
2891
1
原创 stanfordcorenlp安装
https://blog.csdn.net/qq_21187515/article/details/84850814jdk安装https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmljdk下载https://blog.csdn.net/weixin_42479293/article/details/88875333查看位数https://zhidao.baidu.com/question/43753786
2020-12-28 10:17:02
611
1
原创 离线环境配置 0.10.1 fairseq
一.虚拟环境主环境的0.9版fairseq还需要使用，并且安装0.10.1的fairseq还需要使用主环境的一些依赖，于是创建虚拟环境安装，并且是复制主环境的虚拟环境。（有隐患）conda create -n new-env --clone old-env进入虚拟环境：conda activate new-env报错：CommandNotFoundError: Your shell has not been properly configured to use 'conda a
2020-12-02 20:06:49
1623
原创 subword-nmt 基本使用
一.生成bpe模型和词典subword-nmt learn-joint-bpe-and-vocab --input corpus.path -s 30000 --output en.bpe --wirte-vovocabulary dict.en.txt#corpus.path：语料路径#en.bpe：bpe模型#dict.en.txt：英文词典二.根据bpe模型对语料进行切分subword-nmt apply-bpe -c en.bpe < corpus.path > c
2020-12-02 16:38:33
3143
原创 下载facebook数据记录（还未完成）
1.下载https://github.com/facebookresearch/LASER/tree/master/tasks/CCMatrix数据2. 用dl_cc_matrix.py文件下载解析。3. import cc_net报错①https://pypi.org/project/cc-net/#files下载②只能在python3.7环境下安装4.①创建虚拟环境conda create -n py37 python=3.7②激活环境conda activate
2020-11-11 16:31:24
509
2
原创 python中argv模块
1.from sys import argv2.#代码界面ScriptName, arg1, arg2 = argv#命令行界面python test.py arg1 arg2①argv以列表形式接收参数，argv[0]表示该python文件的文件名。3.print('参数个数： ', len(argv))print('参数列表： ', argv)#命令行界面如下： $3 $['test.py','1','2']...
2020-10-19 09:50:10
392
1
原创 BeautifulSoup定位元素
一.二. select三. find和find_alltgt=soup.find_all('li',attrs={'class':'clearfix'})1. 'li'表示要定位的标签；'class'表示标签‘li’的属性，‘clearfix’表示标签‘li’中属性‘class’的属性值。①函数会首先定位标签li，然后匹配标签li内的class属性值。此处是模糊匹配，即属性class的值为‘xxxclearfixxxx’也符合匹配要求。②find返回匹配的第一个对象，find_al
2020-10-15 15:24:42
2651
原创 undefined reference to
1.自己编译链接https://blog.csdn.net/pyf09/article/details/555057242.使用cmake编译（clion默认cmake）https://www.cnblogs.com/oldBook/p/11884212.html
2020-10-14 09:56:32
107
原创 Python多进程和多线程
一.二.进程使用multiprocessing库：from multiprocessing import Pool, Manager代码模板如下：def mycallback(task): with open('./tmp','a+',encoding='utf-8') as f: f.write(task) def method(task): return taskdef get_queue(): manag...
2020-09-28 10:41:09
189
原创 论文阅读 Training Neural Machine Translation To Apply Terminology Constraints
一.该方法是在模型训练层面解决术语注入的问题。二.训练阶段主要是改变数据的处理方式：1. 原始数据层面（增加注释，0无关，1源语术语，2目标语言术语）2.bpe层面将原始数据的注释推广到bpe切分后的token上，eg：如果Stellvertreter_2切分成了a、b,则a_2,b_2。3.embedding层面将注释向量和词向量进行拼接。4. 术语覆盖度问题为了保证没有包含术语的句子也能正确翻译，限制包含术语的句子在训练语料10%。5. 术语匹配问题.
2020-09-23 15:44:35
329
原创 论文阅读 Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search
一.1. beam search每个方框代表一个beam，每个beam内包含beam_size个hypothesis。2. grid beam searchbeam的传播空间变成二维：横向表示generate（模型生成hypothesis）或continue（继续增加约束词），斜向表示start（开始增加约束词）。二.算法包含三层循环：1.时间步t. 2.约束词数c. 3.当前beam内的hypothesis.三. hypothesis评分不同约束数目的beam之
2020-09-22 16:37:46
686
原创 Mysql日志清理
一. 定义四种日志：1.错误日志（error_log）错误日志记录着mysqld启动和停止,以及服务器在运行过程中发生的错误的相关信息。(数据库报错时可以查看)2.普通日志（general_log）服务器接收到的每一个查询或是命令，无论这些查询或是命令是否正确甚至是否包含语法错误，general log 都会将其记录下来。（Mysql默认关闭，因为开销太大）3.慢查询日志（slow_query_log）慢日志记录执行时间过长和没有使用索引的查询语句，报错select、update
2020-09-21 18:46:15
3309
原创 inplace operation
inplace operation：在原内存上修改值参考博客：1.关于inplace操作在pytorch中产生问题的原因讲的非常透彻https://zhuanlan.zhihu.com/p/692943472.python赋值操作原理（关于复制操作与inplace关系讲解）https://www.cnblogs.com/andywenzhi/p/7453374.html3.以后再看https://zhuanlan.zhihu.com/p/38475183...
2020-09-17 17:23:34
276
1
原创 Pymysql报错
一.try...except...无法捕获此类异常（还没研究原因，可能是底层异常无法捕获）二.报错汇总1.pymysql.err.OperationalError: (1153, "Got a packet bigger than 'max_allowed_packet' bytes")Traceback (most recent call last): File "/home/qinbo/google/code/Mydb.py", line 24, in mydb_insert .
2020-09-17 14:03:33
1980
1
原创 Mysql事务基础
1.事务（transaction）：可以是一句sql语句，也可以是一段sql语句。2.Mysql中事务默认自动提交（commit）。mysql> show variables like 'autocommit';3.事务回滚（rollback）:在该事务没有提交的情况下，回退到该事务执行之前。如果该事务已经被提交，则无法回滚。4.避免事务自动提交的两种办法：①把数据库设置成非自动提交。（仅对当前窗口有效，0是OFF，1是ON）mysql> set autocomm
2020-09-17 10:31:56
142
原创 nltk中计算bleu
from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction#不需要分词src='我是中人。'tgt='我是中国人。'smooth = SmoothingFunction()score = sentence_bleu([src], tgt, smoothing_function=smooth.method1)print(score)
2020-09-10 19:23:58
5086
1
原创 selenium配置
1.Chrome安装wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpmyum install ./google-chrome-stable_current_x86_64.rpm在公司中往往没有yum权限，可以采用以下方式安装：rpm2cpio google-chrome-stable_current_x86_64.rpm |cpio -ivdm① 安装后当前目录会出现opt...
2020-08-26 20:57:55
651
原创 MySQL 8.0.21安装和连接问题
一.安装问题（源码安装）参考博客：1.https://blog.csdn.net/cmzsteven/article/details/785208292.https://www.cnblogs.com/chenkx6/p/13366638.html?utm_source=tuicool服务器上本来就有数据库，按照1安装后无法连接数据库，于是按照2安装最后成功，但是我单独使用方法2解压，没有找到/xxx/mysql/bin目录无法继续安装下去。方法一：1.解压Mysqltar -
2020-08-19 15:12:22
988
原创 Linux 源码安装流程
1. 进入源代码压缩包（*.tar.gz）所在的目录2. 根据压缩包类型解压缩文件(*代表压缩包名称) tar -xvf *.tar.gz3. 进入解压缩后的目录4. 输入命令：./configure（测试存在的特性，检测依赖）5. 输入命令：make（编译）6. 输入命令：make install（安装）7. 安装完毕注：①制定安装目录：./configure –prefix=/home/user/test，即把软件装在/home/user/路径的test目录下。...
2020-08-17 10:26:00
294
原创 ‘gbk‘ codec can‘t encode character解决方法
在将网络数据流导入文件时，有可能遇到“'gbk' codec can't encode characte”错误，分析如下：1.在windows下面，新文件（即写入的目标文件）的默认编码是gbk。2.网络数据流的编码是utf-8。python解释器会用gbk编码去解析utf-8的网络数据流，于是报错。解决如下，指定目标文件的编码格式为utf-8：browser.get(url)html = browser.find_element_by_xpath("//*").get_attribute
2020-08-12 11:17:54
30055
3
原创 C++ string常用操作
1.获取字符串长度string str = "1234567";int len = str.length();//len=72.字符串比较原理①两个字符串自左向右逐个字符相比（按ASCII值大小相比较），直到出现不同的字符或遇’\0’为止，如"15">"123"。②若是遇到‘\0’结束比较，则长的子串大于短的子串，如：“9856” > “985”。3.拼接（+）...
2020-01-14 19:41:25
226
原创 回溯算法
39.组合搜索、回溯问题的套路是画图，代码是根据树形图写出来的。class Solution {public: void backtracking(vector<vector<int>>& res,vector<int>& candidates,vector<int>subset,int target,int ...
2020-01-06 15:25:03
130
原创 安装Latex
Latex是一种基于ΤΕΧ的排版系统，MiKTex是Latex在windows上的一种实现，TeXworks是一种编译器。1.MiKTex下载地址：https://miktex.org/download2.TeXworks下载地址：https://sourceforge.net/projects/texworks.mirror/3.‘XXX.sty’ not found报错：TeXwo...
2019-11-23 20:39:40
541
原创 leetcode105从前中序遍历构造二叉树
递归思路 ：每一次递归都可以看成对上图的分解；1.先找树的头节点在中序的下标 即22.分别找子树的左右子树在前序和中序的下标比如上图 前序左树1-2 前序右树3-8 中序左树0-1 中序右树3-8 /** * Definition for a binary tree node. * struct TreeNode { *...
2019-09-29 16:21:06
78
原创 leetcode148 排序链表
归并排序/** * Definition for singly-linked list. * struct ListNode { * int val; * ListNode *next; * ListNode(int x) : val(x), next(NULL) {} * }; */class Solution { //cut:将head...
2019-09-29 11:22:22
101
原创 leetcode
目录一.String二.Linklist三.Tree四.Backtracking五.DP一.String1.无重复最长子串2.最长回文子串3.字符串转整数4.有效括号1.无重复最长子串2.最长回文子串3.字符串转整数4.有效括号二.Linklist三.Tree四.Backtracki...
2019-09-28 09:51:33
98
翻译 正则化
1.怎么理解L1和L2？①从贝叶斯角度：从贝叶斯的角度来分析， 正则化是为模型参数估计增加一个先验知识，先验知识会引导损失函数最小化过程朝着约束方向迭代。 L1正则是拉普拉斯先验，L2是高斯先验。整个最优化问题可以看做是一个最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计。a.Ridge L2正则化b.L...
2019-09-24 22:15:48
452
原创 线性回归与逻辑回归（还没理解决广义线性模型推导）
一个基本的逻辑：a.线性回归模型（y服从正态分布）和逻辑回归模型（y服从二项分布）都是广义线性模型推导的结果。b.线性回归（均方误差）和逻辑回归（交叉熵）的损失函数（目标函数）都是最大似然估计推导的结果。c.线性回归中，L1（参数先验分布为拉普拉斯分布）和（L2参数先验分布为正态分布）都是最大后验估计推导的结果。1.目标函数（损失函数）（重点1）①线性回归（损失函数为均方误差...
2019-09-21 16:43:38
338
原创 最大似然估计MLE相关
1.概率与统计概率：已知模型和参数，研究数据相关特征。统计：已知数据，推测模型和参数。2.概率密度 定义 大小 积分结果 一点的值 概率密度p 概率的密集程度 概率和为1，p可以大于1 得到概率 一个点可以有概率密度，但一个点的概率值为0 密度 质量的密集程度 质量为m，可以大于m 得到质量 一个点可...
2019-09-20 16:32:36
322
原创 小红书面试代码
leetcode329给定一个整数矩阵，找出最长递增路径的长度。对于每个单元格，你可以往上，下，左，右四个方向移动。 你不能在对角线方向上移动或移动到边界外（即不允许环绕）。示例 1:输入: nums =[ [9,9,4], [6,6,8], [2,1,1]]输出: 4解释: 最长递增路径为[1, 2, 6, 9]。示例 2:输入: nums =...
2019-09-19 10:59:33
840
原创 快手9.16笔试
1.有效数独 leetcode36判断一个9x9 的数独是否有效。只需要根据以下规则，验证已经填入的数字是否有效即可。数字1-9在每一行只能出现一次。数字1-9在每一列只能出现一次。数字1-9在每一个以粗实线分隔的3x3宫内只能出现一次。数独部分空格内已填入了数字，空白格用'.'表示。示例:输入:[["8","3",".",".","7","....
2019-09-17 18:49:07
326
原创 word
1.公式编号①.公式后加#编号②.光标停在公式内部编号后按enter2.分段式函数对齐1.逗号前加“&”2.通过空格调整效果3.等号对齐①将所有等号在一行打出②在等号左边shift+enter③在每一个等号左边右键：在此字符处对齐4.设置页眉页脚页眉页脚的格式控制以分节符为单位！！！！①在页眉页脚变化的当页第一个文字前加入分节...
2019-09-16 15:32:59
253
原创 58同城9.12笔试
1.题目描述：给定一个字符串，字符串是有序的整数集合，逗号相连，移除相同的数字，使每个数字出现一次，输出最终的数字个数样例：输入：0,0,1,1,1,2,2,3,3,4输出：5#include<iostream>#include<vector>using namespace std;void func(vector<int>...
2019-09-12 23:02:45
850
原创 GDBT相关
一.算法本质：用局部最优方向代替全局最优方向。残差方向即为全局最优方向，负梯度方向即为局部最优方向。二.正则化1.CART剪枝。2.降低学习率。参数：Shrinkage–>(0, 1]①学习率主要是调节每棵树的对预测结果的贡献；学习率下降降低了每棵树的贡献模型训练的预测精度下降防止过拟合。②通过降低学习率来防止过拟合是在其他超参固定的前提下（主要是树的数量），降低学习率并...
2019-09-12 10:45:29
159
原创 SVM相关
一.目标函数推导1.假设在样本空间中可以找到一个划分超平面，可以将不同类别的样本划分开。解释：①如果样本空间是一个n维空间，那么划分超平面就是一个n-1维子空间。 ②决定了超平面的方向，决定了超平面与原点之间的距离。2.样本空间中任意一点x到超平面的距离为： 3.假设划分超平面能将训练样本正确分类，即对于，若，则有，若，则...
2019-09-09 22:17:31
149
空空如也
LeetCode #547 总是提示runtime error
2017-07-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人