- 博客(19)
- 收藏
- 关注
RSS订阅原创 pandas-udf函数定义和使用
本文介绍pandas下udf函数处理单列/多列数据返回单列多列结果的demoimport pandas as pddef func1(x): y = x + 1 return y def func2(x1,x2): y = x1+x2 return ydef func3(x1,x2): y1 = x1+x2 y2 = x1-x2 return y1,y2df = pd.read_csv("test.csv")# 简单处理df.loc[:,'y1'] =
2022-01-22 19:35:39
2331
原创 csv文件的读写-pandas和python csv包两个版本
python有csv可以直接import用于读写csv文件，pandas包也可以直接读取csv文件。import csv 读写csv文件主要使用reader和writer读写文件from tqdm import tqdmfilename = "./test.csv"csvFile = open(filename, "r")reader = csv.reader(csvFile)fileHeader = []csvWriter = open("output.csv", 'w')writer
2022-01-22 19:07:09
1247
原创 python-简单的resnet特征抽取器
class imageEncoder(nn.Module): def __init__(self, args): super().__init__() self.args = args self.resnet50 = cv_models.resnet50() #print(self.resnet50) load_resnet(args.cv_model_path, self.resnet50) # ar.
2021-08-21 14:15:20
566
原创 Python之图像特征基础处理
hdf5_file = "tmp.img"h5File = h5py.File(hdf5_file, 'w')def creat_img_feats_data(batch, img_keys, h5File): for example_index, train_example in enumerate(batch): # h5File.create_dataset(img_keys[example_index], data=batch[example_index])
2021-08-21 14:13:30
182
原创 python3-xlsx表格文件读取
对于xlsx格式的表格文件可以安装调用xlrd去读取表格内容，具体例子如下：安装xlrd pip install xlrd读取xlsx文件内容workbook = xlrd.open_workbook("filname.xlsx")worksheet = workbook.sheet_by_index(0) # 读取excel表格的sheet for i in range(worksheet.nrows): # worksheet.nrows 得到表格的行数
2021-08-21 14:03:20
838
原创 python3-jsonl文件读取
jsonl文件的每一行都是一个json str，读取的时候可以直接import jsonlines包，具体示例如下：# coding=utf-8 import jsonlineswith open(filename,'r+', encoding='utf-8') as f: for item in jsonlines.Reader(f): # 每一行读取后都是一个json，可以按照key去取对应的值 a = item['a'] b = item['b']...
2021-08-21 13:52:48
3150
原创 linux管理远程会话之screen命令的常见操作（自己填坑系列）
SSH 或者 telent 远程登录到 Linux 服务器进行系统备份、ftp传输或者训练模型，我们必须扥他执行完毕，在此期间可不能关掉窗口或者断开连接，否则这个任务就会被杀掉，一切半途而废了。在putty中设置“seconds between keeplives”在过夜之后也可能会出现inactive的情况。这个时候需要有个工具可以管理远程会话，可以用 screen 或者 tmux工具...
2018-08-17 15:49:27
1867
原创 win10+anaconda+tensorflow安装经验
一、anaconda下载安装 直接去官网搜索下载或者去六维上查找资源 官网：https://www.anaconda.com/download/ 六维：http://bt.neu6.edu.cn/thread-1576957-1-1.html 一直下一步 检测安装是否成功：conda --version 检查可以安装的python版本：conda search --full-name...
2018-03-05 21:50:44
1224
转载 斯坦福大学自然语言处理的QA数据集SQuAD
本文将详细叙述今年目前为止自然语言处理界最重量级的数据集 SQuad。SQuAD 是斯坦福大学于2016年推出的数据集，一个阅读理解数据集，给定一篇文章，准备相应问题
2017-04-09 16:08:49
11542
原创 Python之批量创建文件
批量创建文件其实很简单，只需要按照需要创建写文件、写完关闭当前写文件、创建新的写文件、写完关闭当前文件、、、不断循环即可，以下是一个简单例子，将大文件big.txt按照每1000行分割成一个个小文件，具体做法如下：# -*- coding: utf-8 -*-index = 0count = 0f_in = open("%d.txt" % index, "w")with open("big.t
2017-03-10 16:23:13
7811
1
原创 Python之gzip文件读写
gzip文件读写的时候需要用到Python的gzip模块。具体使用如下：import gzip# 写文件f_out = gzip.open("xxx.gzip", "wb")# 读文件#f_in = gzip.open("xxx.gzip", "rb")for line in open("yyy.txt", "rb"): f_out.write(line)f_out.close()除了
2017-03-10 16:09:00
25877
2
转载 python之multiprocessing.pool
Pool相关函数1、apply(func[, args[, kwds]]) apply用于传递不定参数，同python中的apply函数一致（不过内置的apply函数从2.3以后就不建议使用了），主进程会阻塞于函数。主进程的执行流程同单进程一致。2、apply_async(func[, args[, kwds[, callback]]]) 与apply用法一致，但它是非阻塞的且支持结果返回后进行
2017-03-05 10:57:03
460
转载 测试代码的执行时间：%time和%timeit
对于规模更大、运行时间更长的数据分析应用程序，你可能会希望测试一下各个部分或函数调用或语句的执行时间。你可能会希望了解某个复杂计算过程中到底是哪些函数占用的时间最多。幸运的是，在开发和测试代码的过程中，IPython能够让你轻松得到这些信息。使用内置的time模块及其time.clock和time.time函数手工测试代码执行时间是一件令人烦闷的事情，因为你必须编写许多一模一样的了无生趣的公式化代码
2017-02-26 14:34:33
9665
1
原创 python之匿名函数lambda
高阶函数可以接收函数做参数，有些时候，我们不需要显式地定义函数，直接传入匿名函数更方便。在Python中，对匿名函数提供了有限支持。还是以map()函数为例，计算 f(x)=x2 时，除了定义一个f(x)的函数外，还可以直接传入匿名函数：map(lambda x: x * x, [1, 2, 3, 4, 5, 6, 7, 8, 9])output：[1, 4, 9, 16, 25, 36, 49,
2017-02-26 14:23:09
341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人