- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 conda虚拟环境安装paddlenlp+jupyter的注意事项
安装成功后，访问jupyter notebook的链接，端口号后面加 /lab 即可访问jupyterlab，比如 :8888/lab。7、在conda虚拟环境中的命令行中输入 jupyter notebook即可启动。2、先下载安装paddle（后面再安装paddlenlp会容易点）命令更新pip版本！会造成版本冲突，从而不能打包！3、安装paddlenlp（根据github上的最新版）一旦确定conda中的pip版本后，不要使用。对于notebook密码的问题，参考。5、安装jupyter扩展包。
2023-05-05 21:22:42
969
原创 达梦数据库实时主备系统部署过程
实时主备系统由主库、实时备库、守护进程和监视器组成。通过部署实时主备系统，可以及时检测并处理各种硬件故障、数据库实例异常，。
2022-12-17 15:04:41
1473
原创 paddlenlp centos7镜像从0开始搭建
2 安装python3.8.6python3.6不行！后续安装seqeval-1.2.2.tar.gz 包的时候会报错（安装paddlenlp时候需要此包），查了一下，发现需要python3.7及以上才可，看到paddlepaddle官方镜像中安装的python3.8.6，故也安装此版本。如果镜像中没有安装wget又不想装，可以访问http://cdn.npm.taobao.org/dist/python/3.8.6/Python-3.8.6.tgz将tar包下载到本地，再通过复制到容器中1.3
2022-11-17 17:14:29
1579
1
原创 conda安装pyhanlp遇到的问题及解决方法
conda pack 打包报错通过1、创建conda环境时，对于版本冲突的包，提前限定其版本，避免conda和pip包的版本冲突；2、对于无法连接到源，或者 缺少特点版本的包，可以适当增加源3、注意在base环境更新conda的版本。...
2022-08-27 16:45:39
2407
原创 doccano标注工具使用
6、数据转换，当标注完成后，在 doccano 平台上导出 JSONL(relation) 形式的文件，并将其重命名为 doccano_ext.json 后，放入 ./data 目录下。默认为[0.8, 0.1, 0.1]表示按照8:1:1的比例将数据划分为训练集、验证集和测试集。5、标注完成后将数据导出，选择导出的文件类型为JSONL(relation)，即可导出json格式的数据，各字段的含义解释见6.1、6.2。对于从doccano导出的文件，默认文件中的每条数据都是经过人工正确标注的。.......
2022-08-26 17:30:08
3165
1
原创 docker容器内安装jupyter并远程开发--过程、遇到的问题和详解
如果存在即打开，否则创建cat -A 文件 可以显示所有的不可见字符有时，xxx命令不存在时因为存在不可见特殊字符，最简单的方法是vim创建新的 .sh 文件，重新写命令安装grpcio 报错 No such file or directory: ‘c++‘: ‘c++‘pip install -- upgrade pip #更新pip即可。......
2022-08-12 20:25:47
696
原创 从安装虚拟机到镜像tar包制作完成...
windows下安装虚拟机+ Ubuntu的详细过程参考：https://blog.csdn.net/u012611644/article/details/80728806实测有效，非常详细我用的Vmware下载地址：https://www.cr173.com/soft/68480.html我用的Ubuntu下载地址：https://releases.ubuntu.com/20.04/虚拟机上Ubuntu网络设置https://jingyan.baidu.com/article/ce4366
2021-02-17 10:59:51
902
原创 BERT学习笔记 --持续更新
BERT完全指南：https://terrifyzhao.github.io/2019/01/17/BERT%E5%AE%8C%E5%85%A8%E6%8C%87%E5%8D%97.htmlAttention机制详解：https://terrifyzhao.github.io/2019/01/04/Attention%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.htmlTransformer模型详解：https://terrifyzhao.github.io/2019/
2020-09-27 11:07:20
245
原创 二叉树的中序/前序/后序遍历
'''首先，preorder 中的第一个元素一定是树的根，这个根又将 inorder 序列分成了左右两棵子树。现在我们只需要将先序遍历的数组中删除根元素，然后重复上面的过程处理左右两棵子树。递归+二分：特点：速度快, 为什么转成哈希表:为了更快的搜索速度时间复杂度 O(n)空间复杂度O(n)'''from typing import Listclass TreeNode: def __int__(self, val): self.val = val
2020-09-21 12:46:41
175
原创 python财经数据接口包
http://tushare.org/index.html 金融数据接口Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中体现出的优势，Tushare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/Nu
2020-09-18 12:34:52
320
原创 whitespace/control/punctuation/chinese character 判断
最近读 https://github.com/google-research/berttokenization.py 里面一段代码觉得很有用，记录一下，以后也许用得到哈哈def _is_whitespace(char): """Checks whether `chars` is a whitespace character.""" # \t, \n, and \r are technically contorl characters but we treat them # as whites
2020-09-18 09:48:55
237
原创 json及正则表达式 总结
json是python的内置模块import jsonjson.loads() # 将 字符串 转换为 字典new_dict = json.loads(json_str)json.load() #把文件打开，并把字符串变换为数据类型1 with open("../config/record.json",'r') as load_f:2 load_dict = json.load(load_f)3 print(load_dict)json.dumps() #将pyth.
2020-07-17 09:07:15
1788
原创 dp训练-背包问题-找零钱
总结，先东西/coins 遍历【外层】，再容量V/额度amount遍历【内层】否则会有重复比较，多了很多重复方案的比较0-1背包: 物品只能放进去一次def bags_01(w:List,p:List, V:int)->int: #lenth = len(w) dp = [0 for _ in range(V+1)] for i,j in zip(w,p): for v in range(V, i-1,-1): #这个必须倒序，正序的话，从小容量到大容量遍
2020-06-26 21:11:42
578
原创 位运算--找出只出现一次的数字
‘’’找出唯一一个只出现过一次的数字。一个非连续的递增数组，所有的数字会连续出现两遍，只有一个数字出现一遍，请找出这个数字输入：1，1，2，2，5，6，6，7，7输出：5同力扣136，+输入转换“出现多次”：只有出现偶数次，才可以用异或‘’’data = input()data += '，'num = 0h = 0for i in range(len(data)): if data[i] != '，': num = num * 10 + int(data[i]
2020-06-25 10:22:57
452
原创 单链表 相邻元素反转 python
‘’’题目：将一个单项链表中，每两个节点进行翻转输入：1->2->3->4->5->6输出：2->1->4->3->6->5‘’’class node(): def __init__(self,val): self.val = val self.next = Nonedef reverse(head): if not head or not head.next: retu
2020-06-24 08:35:55
233
原创 特征选择过程 总结
step1:特征子集搜索前向搜索后向搜索双向搜索详见瓜书p248step2:子集评价理解：特征子集A实际上确定了对数据集D的一个划分，每个划分区域对应着A上的一个取值，而样本标记信息Y则对应着D的真实划分，通过估算这两个划分的差异，就能对A进行评价。评价标准：与Y对应的划分的差异越小，则说明A越好。一、具体的计算方法（1）卡方检验统计学第9章（2）方差分析（3）信息增益？...
2020-04-14 14:56:44
995
原创 笔试题：旅游问题
'''n个点，m边，无向 无环 无重边第1行： n,m,k 总共停留k分钟接下来n行：mi,v1i,v2i n个点：n个景点，第i个景点花费mi分钟，愉悦度分别增加v1i,v2i接下来m行：xi,yi,ti 代表第i条边初始愉悦度均为0每游览完一个景点后，游游和小伙伴会 等概率随机选择一个可以从当前景点直达的 且来得及玩的景点作为下一个目的地如果游览完一个景点后周围没有可以直达的且...
2020-04-08 15:17:34
253
原创 几个基础排序算法 学习笔记
这两天把几个基础排序算法捋了捋，做个记录。堆排序是不稳定的，其他取决于判断条件有无 = 冒泡选择插入堆排序归并快排冒泡def maopao(nums): #冒泡，时间O(n^2),空间O(1) def help(start, end): for i in range(end, start,-1): if lst[i] < lst[i -...
2020-04-03 22:25:46
114
原创 学习的更多了..理解更深了..再来优化..
'''n个点，m边，无向 无环 无重边第1行： n,m,k 总共停留k分钟接下来n行：mi,v1i,v2i n个点：n个景点，第i个景点花费mi分钟，愉悦度分别增加v1i,v2i接下来m行：xi,yi,ti 代表第i条边初始愉悦度均为0每游览完一个景点后，游游和小伙伴会 等概率随机选择一个可以从当前景点直达的 且来得及玩的景点作为下一个目的地如果游览完一个景点后周围没有可以直达的且来...
2020-03-31 22:31:22
116
原创 2个方向搜索问题
给定一个由 ‘1’（陆地）和 ‘0’（水）组成的的二维网格，计算岛屿的数量。一个岛被水包围，并且它是通过水平方向或垂直方向上相邻的陆地连接而成的。你可以假设网格的四个边均被水包围。在一个 8 x 8 的棋盘上，有一个白色车（rook）。也可能有空方块，白色的象（bishop）和黑色的卒（pawn）。它们分别以字符 “R”，“.”，“B” 和 “p” 给出。大写字符表示白棋，小写字符表示黑棋。车...
2020-03-27 14:22:31
160
原创 dp真的好难..
'''第一题，给定一个数组n，比如5 10 5 4 41 7 8 4 03 4 9 0 3从每一列选出一个数，选出的数中，后一列减去前一列的绝对值和最小，输出最小值比如这里就是5 7 5 4 4，所以输出是5'''# 对不起，看不懂n = int(input().strip())arr = [[] for _ in range(3)]arr[0] = list(map(...
2020-03-26 21:43:34
178
原创 最长子序列，最长子串
notice：子序列可以是不连续的；子串是连续的；一个序列中最长上升子序列的长度序列由数字组成，后面的数字大于前面的数字，为上升#nums 数字序列def longest(nums): size = len(nums) if size<2: return size # 状态dp[i]: nums[:i+1]中最长上升子序列的长度 # 初...
2020-03-26 20:25:13
143
转载 python中定义二维数组
原文：https://blog.csdn.net/qq_39729672/article/details/90266122今天在写力扣5. 最长回文子串，二维数组这么定义的：dp = [[False]*size]*size然后后面发现，更改数据的时候会一列一起被修改即原文所说的第一种情况正确的方法是dp = [[ False for _ in range(size)] for _ ...
2020-03-26 13:39:29
1897
原创 lightGBM 简单摘要
GBDT(梯度提升决策树，gradient boost decision tree 的实现：XGBoost、pGBRT、sklearn、gbm in R 。pGBRT通过直方图实现算法。XGBoost支持预排序和直方图算法。已有研究：如何实现GBDT速度提升：1）减少训练数据：已有随机采样(SGB:准确率下降)，根据样本权重筛选(GBDT没有native weights for data ...
2020-03-15 11:48:51
179
原创 集成学习(未完成
两大类：串行：boost (e.g.adaboost, xgboost) , 减小偏差(主并行：bagging(e.g. RF)，减少方差(主boost对特定的数据分布进行学习：re-weighting, re-sampling？基础adaboost只适用于二分类bagging样本随机性：自主采样法63.2%特征随机性：随机森林用到了,属性子集k=log2(d)(训练效率更高，泛化...
2020-03-14 15:01:31
103
原创 方面级情感分析 几个经典结构 (后面又读了文章再完善
AT-LSTM, ATAE-LSTMWANG Y, HUANG M, ZHAP L, et al. Attention-based LSTM foraspect-level sentiment classification [C]/ / Proceedings of the 2016Conference on Empirical Methods in Natural Language Pro...
2020-03-11 20:54:00
1416
原创 3.11论文笔记：方面级情感分析
面向双注意力网络的特定方面情感分析模型_孙小婉双注意力网络 （都用了多头注意力）：1）上下文自注意力2）特定方面注意力融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型_武婷1）在词向量表示中加入位置权重：2）交叉注意力：他们的loss函数都使用：...
2020-03-11 20:00:03
1964
原创 面试题：赛马最快N匹
最近笔试遇见这个题，在网上看了一些回答大概理解了，现总结一下。理解有限，如有错误，还望大神指正！25匹马，5个跑道（每次有5匹马，可以同时比赛），怎样选出最快的5匹来？最少的次数我的答案：最快7次，最慢10次1.分5组比赛5次，得到排序A1,A2,A3,A4,A5B1,…,B5C1,…,C5D1,…,D5E1,…,E52.第6次，取5组中，每组第1，比赛A1, B1, C1,...
2020-01-19 16:15:02
1051
原创 gensim训练词向量
https://blog.csdn.net/lilong117194/article/details/82849054https://www.jiqizhixin.com/articles/2018-05-15-10https://zhuanlan.zhihu.com/p/40016964吴恩达视频里讲的是：语料小，建议用CBOW,语料大，用skip-gram...
2019-11-28 19:54:26
295
原创 python运算符 尤其注意位运算
详见https://www.runoob.com/python/python-operators.html#ysf5算术运算符比较（关系）运算符赋值运算符 #能反应出来有什么吗逻辑运算符位运算符 #能反应出来有什么吗成员运算符 #能反应出来有什么吗身份运算符 #能反应出来有什么吗运算符优先级Python运算符优先级以下表格列出了从最高到最低优先级的所有运算符：运算...
2019-10-24 16:01:44
166
原创 python 基本数据类型 int型占位
Python3 的6个标准数据类型https://www.cnblogs.com/fujiangong/p/5683162.html6个标准数据类型可分为2大类：不可改变的类型，可改变的类型1.不可改变的类型：数字number 字符串string 元组tuple 2.可改变的：列表list 字典{} 集合setnumber:int、float、bool、complex（复数)pytho...
2019-10-24 15:55:58
2273
原创 nn.CrossEntropyLoss() torch.div() .csv数据的shuffle 注意事项
nn.CrossEntropyLoss()简洁的注意事项：input维度要求是2D tensor, 形状 (N,C) C 是类别的数量target维度1D tensor,形状(N) N是mini-batch的大小，0 <= targets[i] <= C-1class torch.nn.CrossEntropyLoss(weight=None, size_average=True...
2019-10-22 13:37:50
284
原创 torch.nn.Linear
Linear layersclass torch.nn.Linear(in_features, out_features, bias=True)对输入数据做线性变换：y=Ax+b参数：in_features - 每个输入样本的大小out_features - 每个输出样本的大小bias - 若设置为False，这层不会学习偏置。默认值：True形状：输入: (N,in_featur...
2019-10-20 16:32:32
207
原创 torch.bmm() torch.matmul() expand() cat() split()
torch.bmmtorch.bmm(batch1, batch2, out=None) → Tensor对存储在两个批batch1和batch2内的矩阵进行批矩阵乘操作。batch1和 batch2都为包含相同数量矩阵的3维张量。 如果batch1是形为b×n×m的张量，batch1是形为b×m×p的张量，则out和mat的形状都是n×p(n×m m×p ->n×p)，即 res=(b...
2019-10-20 16:28:03
355
原创 torch.unsqueeze() view() permute() transpose()
torch.unsqueezetorch.unsqueeze(input, dim, out=None)返回一个新的张量，对输入的指定位置增加一个维度例子：https://blog.csdn.net/xiexu911/article/details/80820028torch.squeeze(input, dim, out=None)就是在指定维度压缩一个维度注意： 返回张量与输入张量...
2019-10-20 15:52:42
309
原创 nn.module nn.parameter
class torch.nn.ModuleContainers（容器）：class torch.nn.Module所有网络的基类。详见中文文档方法：register_parameter(name, param)向module添加 parameter，参数的名字是name，默认值是paramparameter可以通过注册时候的name获取forward( input)*定义了每次执...
2019-10-20 10:33:06
631
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人