- 博客(147)
- 收藏
- 关注
RSS订阅转载 shell rz/sz传输的文件大小超过4g
这里-b就是按大小分的意思，大小可以直接加单位，G/M/K，人家可以识别出来的，在后面就是被分割的文件名或者路径，最后就是分割后文件的前缀了。（1）split切割。
2023-10-31 15:32:52
359
转载 【faiss安装报错】faiss ImportError: libmkl_intel_lp64.so.1
mkl2023.1.0的原因，降级mkl，安装mkl2021.4.0。
2023-09-19 09:54:31
144
转载 C++普通数组转vector
std::vector，内部存储的所有元素，都是占用一片连续的内存空间。因此，比较好的做法就是直接取第一个元素的地址，得到了首地址，之后的做法与数组也是大同小异了。举例说明。假设函数Func需要以数组的方式传递，函数原型如下：void Func(double* pDataAddress, size_t nDataCount);那么，如果使用数组，调用的方法如下：double data[30];Func(data, 30);而使用vector，调用的方法如下：std::vector data(
2020-12-21 17:13:55
4654
转载 AI数据集的切分及交叉验证
转载自：https://medium.com/@pkqiang49/%E4%B8%80%E6%96%87%E7%9C%8B%E6%87%82-ai-%E6%95%B0%E6%8D%AE%E9%9B%86-%E8%AE%AD%E7%BB%83%E9%9B%86-%E9%AA%8C%E8%AF%81%E9%9B%86-%E6%B5%8B%E8%AF%95%E9%9B%86-%E9%99%84-%E5%88%86%E5%89%B2%E6%96%B9%E6%B3%95-%E4%BA%A4%E5%8F%89%E9%A
2020-12-09 16:11:15
996
转载 两个list的对应元素操作
转载自：https://segmentfault.com/a/1190000011664659a=[1,2,3]b=[4,5,6]现将list a与 list b按位相加，其结果为[5,7,9]方法一：c=[a[i]+b[i] for i in range(min(len(a),len(b)))]方法二：c=list(map(lambda x :x[0]+x[1] ,zip(a,b)))方法三：调用numpy库import numpy as npc = np.array(a) +
2020-12-08 14:19:13
1092
转载 Shell 引用传递
在交换变量问题中，我们都知道值参数传递不能实现交换void swap1(int a,int b)//值传递 ❌{ int temp; temp = a; a = b; b = temp;}解决方案是使用引用传递或指针传递void swap2(int &a,int &b)//引用传递 { int temp; temp = a; a = b; b = temp;}void swap3(int *a,int *b)
2020-11-18 17:04:54
319
转载 查看HDFS上的文件，文件是否为空的命令总结
-test -[defsz] 测试文件是否存在:Answer various questions about , with result via exit status.-d return 0 if is a directory.-e return 0 if exists.-f return 0 if is a file.-s return 0 if file is greater than zero bytes in size.-z return 0 if file is zero bytes
2020-11-18 14:56:15
793
原创 查看linux系统各种版本号
内核版本cat /proc/versionredhat版本cat /etc/redhat-releaseCUDA 版本cat /usr/local/cuda/version.txtCUDNN 版本cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
2020-10-21 20:13:20
346
转载 shell-set命令
转载自 简书-DDY26 set命令set命令用来修改shell环境的运行参数，也就是可以定制环境，本文记录最常用的四个参数。另外执行set命令不加任何参数，将会显示所有的环境变量和shell函数。1. set -u执行脚本的时候，如果遇到不存在的变量，Bash默认忽略它。例如#!/usr/bin/env bashecho $aecho bara是一个不存在的变量，执行结果中Bash忽略了不存在的a，然后继续执行echo bar。set -u选项在遇到变量不存在时，直接报错，停止执行。2
2020-07-16 16:19:46
246
转载 Python 全局变量与global关键字
转载自：海晨威 Python 全局变量与global关键字在Python的变量使用中，经常会遇到这样的错误:local variable 'a' referenced before assignment它的意思是：局部变量“a”在赋值前就被引用了。比如运行下面的代码就会出现这样的问题：a = 3def Fuc(): print (a) a = a + 1Fuc() 但是如果把 a = a + 1 这一句删除又不会出现上述问题了a = 3def Fuc():
2020-06-29 10:53:46
359
原创 字符串模式匹配选re.match还是re.compile
个人见解和建议如果使用者不在乎字符串模式匹配的时效性，或者pattern只使用一次，选re.match。因为re.match使用方法比较容易理解和掌握，也比较清晰明了如果使用者非常在乎时效性，同时同一个pattern需要使用多次，那就强烈建议，先使用re.compile将pattern编译成字节码对象OBJ（该对象可以作为dict的key存储），然后再用OBJ.match()方法进行字符串模式匹配。踩坑实测：我的应用场景属于第二种。耗时统计如下，使用compile带来的时效性提升，自己体会0.0。
2020-06-20 17:16:39
951
原创 【已解决】linux终端出现中文乱码
原因linux默认的语言一般是英文（EN），所以当使用中文目录或者中文命名文件的时候，可能会出现乱码的情况。解决办法（1）通过 locale 命令查看当前linux系统的语言，如果是 LANG=en_US，说明linux系统的默认语言是英文。然后进行下一步：（2）修改 ~/.bash_profile，在其中添加如下内容：export LC_ALL=en_US.UTF-8export...
2020-04-03 18:40:53
14594
转载 python中logging模块用法
文章目录1，日志级别2，日志输出2.1 将日志输出到控制台——logging.basicConfig2.2 将日志输出到文件——logging.basicConfig2.3 既要把日志输出到控制台， 还要写入日志文件——自定义logger3 日志格式说明1，日志级别日志一共分成5个等级，从低到高分别是：DEBUG、INFO、WARNING、ERROR、CRITICAL。DEBUG：详细的信...
2019-08-23 16:30:47
361
原创 python3多线程、多进程之concurrent.futures模块
1，嘚瑟自打我用上了concurrent.futures模块，我就深深爱上了它，真是爱不释手（现在我每写一些python模块，都会考虑使用futures加快代码的执行速度。）为啥？因为concurrent.futures好用又简单。2，如何使用网上也有许多资料解释如何使用该模块，但是确实存在很多坑，毕竟大部分都不是专家级别的，写写博客可能就是日常的笔记而已。。。但是，要是新手看到了...
2019-08-22 18:04:34
1060
原创 Linux定时任务命令之crontab格式和注意事项
1，格式* * * * * command分 时 日 月 周 命令具体案例： 0 1 * * * /usr/bin/python3 /home/work/fenci.py */10 * * * * /usr/bin/python3 /home/work/recpool.py */60 * * * * /usr/bin/python3 /home/work/datapro.py...
2019-08-22 16:57:05
449
1
原创 pymongo.errors.CursorNotFound: Cursor not found 原因+解决办法
1，原因一般情况下，工程上需要处理的数量比较大， 比如我常处理的数据记录常常在千万级别以上。出现以上问题的原因就是：和数据规模有关，也和对该大规模的数据处理有关。我出现的问题的代码如下，其中dataprocess()函数耗时较长import pymongoclient = pymongo.MongoClient()db = client['db_name']col = db['...
2019-08-22 16:19:33
6224
原创 python3通过pymongo操作mongoDB
1，连接mongodb数据库1.1 连接本地mongoBDmongoDB默认开启的端口号是27017方式一：pymongo.MongoClient()import pymongo#连接本地mongo服务client_bendi = pymongo.MongoClient()db_bendi = client_bendi['db_name']col_bendi = db_bend...
2019-08-22 15:42:18
298
原创 MongoDB常用命令总结
今天做大数据实验，需要从MongoDB上抽取数据，下边介绍一下MongoDB的常使用的一些基本命令。1，启动mongo（1）第一步，Mongo命令工具：首先我所需要的数据在我们实验室的服务器上，所以我用了Xshell5远程控制的服务器，理所当然，下边要介绍的Mongo命令也是在Xshell上执行的；（2）第二步，链接上服务器，成功启动MongoDB后，就可以直接在Xshell上执行命令：...
2019-08-22 15:12:11
1259
转载 VIM操作——常用命令
1，VI中的多行删除与复制（1）删除法一：单行删除，：1（待删除行）d多行删除 ，：1,10d法二：光标所在行，dd光标所在行以下的N行，Ndd（2）复制方法1：光标放到第6行，输入：2yy光标放到第9行，输入：p此方法适合复制少量行文本的情况，复制第6行（包括）下面的2行数据，放到第9行下面。方法2：命令行模式下输入6,9 co 12复制第6行到第9行之...
2019-07-30 14:57:24
165
转载 VIM操作--跳到最后一行和跳到最后一行的最后一个字符
vim操作1.跳到文本的最后一行：按“G”,即“shift+g”2.跳到最后一行的最后一个字符 ： 先重复1的操作即按“G”，之后按“$”键，即“shift+4”。3.跳到第一行的第一个字符：先按两次“g”，4.跳转到当前行的第一个字符：在当前行按“0”。5.vi加密。进入vi，输入":" + “X” 之后就提示你输入两次密码。之后:wq 保存退出。再次进入时就提示你输入密码了。如果你...
2019-07-30 14:08:36
5256
原创 数组——构建乘积数组（python实现）
1，问题描述给定一个数组A[0,1,…,n-1],请构建一个数组B[0,1,…,n-1],其中B中的元素B[i]=A[0]A[1]…*A[i-1]A[i+1]…*A[n-1]。不能使用除法。2，解题思路（1）计算B数组的下三角，B[i]=B[i−1]∗A[i−1]B[i] = B[i-1]*A[i-1]B[i]=B[i−1]∗A[i−1] 其中i∈[1,n−1],B[0]=1,ni\in[1...
2019-07-30 12:58:23
1365
原创 python日常探索（一）：for单行循环、dict遍历key
1， for循环for循环体内的语句只有一行的情况的下，可以简化for循环的书写，尤其当你需要生成一个可迭代对象的时候。例如：d = {x:x*10 for x in range(3)}print(d)d1 = [x*10 for x in range(3)]print(d1)输出结果：d，{0: 0, 1: 10, 2: 20}d1, [0, 10, 20]2, dic...
2019-07-29 11:31:06
14454
原创 python通过happybase连接hbase操作方法及注意事项
1，无力吐槽 第一次用hbase，也是第一次用python连接hbase（时间：20190711），菜鸟一个。连接过程中出现了以下两个问题，各种百度还是没能够解决。最后寻求公司大佬出面解决。真是难者不会，会着不难。针对不熟悉的东西会出现各种莫名其妙的错误。借此，详述我的坎坷经历以及怎么连接上hbase的。报错一：报错二：2，原因分析2...
2019-07-11 13:31:58
7422
5
原创 Linux常用命令总结
佛系佛系，楼主ME，每当遇到不熟悉的linux命令才会进行更新，方便自用。能方便大家的话那就更好了。文章内容部分搜罗自网上，图片是自己使用命令后的截图文章目录1，查看文件夹和文件大小1，查看文件夹和文件大小查看系统中文件的使用情况，df -h 上面的命令输出的第一个字段（Filesystem）及最后一个字段（Mounted on）...
2019-07-10 10:15:12
152
原创 数组——数组中只出现一次的数字
1，问题描述一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。2，解题思路有两种解题思路：（1）桶排序1）遍历数组array，找到数组中最大值max；2）构建辅助数组a，长度为max+1；3）遍历数组array，array中的元素作为a数组中的下标值，array中的元素每出现一次，a数组相对应下标的数组元素值加1（桶排序的思想）；4）遍历...
2019-06-26 14:38:19
306
原创 数组——数组中的逆序对
1，问题描述在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的结果输出。 即输出P%1000000007。输入描述：题目保证输入的数组中没有的相同的数字，数组大小的范围：对于%50的数据,size<=10^4对于%75的数据,size<=10^5对于%100的数据...
2019-06-25 12:23:51
248
转载 LR和SVM的联系和区别
1，LR和SVM的相同点（1）LR和SVM都是分类算法（2）如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 这里要先说明一点，那就是LR也是可以用核函数的，至于为什么通常在SVM中运用核函数而不在LR中运用，后面讲到他们之间区别的时候会重点分析。总之...
2019-06-19 21:18:18
1461
原创 分类算法常用的评价指标
1，评价指标列表2，基本概念针对一个二分类问题，即将实例分成正类（positive）或负类（negative），在实际分类中会出现以下四种情况：（1）若一个实例是正类，并且被预测为正类，即为真正类(True Positive TP)（2）若一个实例是正类，但是被预测为负类，即为假负类(False Negative FN)（3）若一个实例是负类，但是被预测为正类，即为假正类(False ...
2019-06-18 16:23:27
18976
1
转载 决策树常见的面试点整理
谈谈自己对决策树的理解？决策树算法，无论是哪种，其目的都是为了让模型的不确定性降低的越快越好，基于其评价指标的不同，主要是ID3算法，C4.5算法和CART算法，其中ID3算法的评价指标是信息增益，C4.5算法的评价指标是信息增益率，CART算法的评价指标是基尼系数。谈谈对信息增益和信息增益率的理解？要理解信息增益，首先要理解熵这个概念。从概率统计的角度看，熵是对随机变量不确定性的度量，...
2019-05-24 17:37:00
8747
1
转载 朴素贝叶斯常见面试题
NB的原理朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的待分类项xxx，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为xxx所属的类别。朴素贝叶斯朴素在哪里？在计算条件概率分布P(X=x∣Y=ck)P\left( X=x|Y=c_k\right)P(X=x∣Y=ck)时，NB引入了一个很强的条件独立假设，即，当...
2019-05-14 09:48:10
4964
1
原创 剑指offer题目归类
1，数据结构类题目(1)，数组001-二维数组中的查找006-旋转数组的最小数字013-调整数组顺序使奇数位于偶数前面028-数组中出现次数超过一半的数字030-连续子数组的最大和032-把数组排成最小的数035-数组中的逆序对037-数字在排序数组中出现的次数040-数组中只出现一次的数字050-数组中重复的数字051-构建乘积数组(2)，链表003-从尾到头打...
2019-05-08 23:47:08
212
1
转载 数组——032把数组排成最小的数
1，问题描述输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。2，解题思路先将整型数组转换成String数组，然后将String数组排序，最后将排好序的字符串数组拼接出来。关键就是制定排序规则。排序规则如下：若ab > ba 则 a > b，若a...
2019-05-07 21:22:37
106
转载 SVM的常见面试点总结
SVM的原理是什么？SVM是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器（间隔最大使它有别于感知机）。当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。...
2019-05-07 11:27:52
2641
原创 其他算法——031整数中1出现的次数（从1到n整数中1出现的次数）
1，问题描述 求出1 ~ 13的整数中1出现的次数,并算出100 ~ 1300的整数中1出现的次数？为此他特别数了一下1~13中包含1的数字有1、10、11、12、13因此共出现6次,但是对于后面问题他就没辙了。ACMer希望你们帮帮他,并把问题更加普遍化,可以很快的求出任意非负整数区间中1出现的次数（从1 到 n 中1出现的次数）。2，解题...
2019-05-06 21:03:48
123
原创 动态规划——030连续子数组的最大和
1，问题描述HZ偶尔会拿些专业问题来忽悠那些非计算机专业的同学。今天测试组开完会后,他又发话了:在古老的一维模式识别中,常常需要计算连续子向量的最大和,当向量全为正数的时候,问题很好解决。但是,如果向量中包含负数,是否应该包含某个负数,并期望旁边的正数会弥补它呢？例如:{6,-3,-2,7,-15,1,2,2},连续子向量的最大和为8(从第0个开始,到第3个为止)。给一个数组，返回它的最大连续...
2019-05-06 19:53:13
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人