- 博客(46)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 python报错：TypeError: Must supply at least one delayed object
再执行代码就可以正常运行了。一定要重新打开一个jupyter notebook页面，在原来的页面执行还会报错，我想可能是因为jupyter notebook没有加载到新的包版本吧。我的python版本是3.10，是在Jupyter notebook中运行代码。报错后直接把原来的distributed包卸载掉，原来的版本是2024.4.1。安装完成后重新打开一个jupyter notebook文件。然后安装2023.12.1版本。
2024-04-06 11:23:07
283
原创 使用rz将本地文件上传到通过跳板机连接的远程服务器中
1、在远程服务器上安装rz，命令如下：yum install-y lrzsz2、在远程服务器的目标文件夹下执行rz命令，直接输入rz回车就行3、会弹出一个文件选择框，选择要上传的文件就好。如果不能弹出选择框试试换一种连接服务器的方式，比如一开始是用客户端工具连接换成网页端连接，或者换一种客户端连接工具，至于为什么有的工具不能正常使用我也暂时没有找到解决办法...
2022-03-29 16:55:06
1570
原创 python re多行匹配
如果你要多行匹配，那么需要加上re.S和re.M标志. 加上re.S后,.将会匹配换行符，默认.不会匹配换行符. 代码如下:str = "a23b\na34b"re.findall(r"a(\d+)b.+a(\d+)b", str)#输出[]#因为不能处理str中间有\n换行的情况re.findall(r"a(\d+)b.+a(\d+)b", str, re.S)#s输出[('23', '34')]加上re.M后,^$标志将会匹配每一行，默认^和$只会匹配第一行. 代码如下:..
2021-11-18 13:28:42
8836
转载 oracle下载需要登录
sql优化是从事数据库行业的小伙伴们永恒的话题，不论是在实际工作中还是在面试中掌握了优化的知识可以说是踏入了成功之门三分之一脚，最近在面试，今天突然想把最近涉及到的东西总结一下，一是方便自己回顾，二也给其他因为各种原因需要这部分知识的小伙伴们提供一点帮助，欢迎大家讨论交流。...
2021-09-13 15:57:39
787
9
原创 python 输出数据到excel设置超链接及格式设置
将dataframe的数据输出到excel设置格式和超链接，用的是pandas的函数ExcelWriter，不需要另外安装第三方包。 #如果输出的数据中有url用这句代码可以解决url超长的问题 writer = pd.ExcelWriter(f'{table_name}.xlsx',engine = 'xlsxwriter',options = {'strings_to_urls': False}) d
2021-07-14 10:33:23
2120
原创 python多线程访问数据库
import threadingimport timeimport pymysqlfrom sqlalchemy import create_engineimport pandas as pdimport get_aid_from_dociddbConnectStr = "mysql+pymysql://user:passward@host:port/database?charset=utf8"conn = create_engine(dbConnectStr)client = p.
2021-06-28 10:44:03
865
1
原创 python dataframe实现行转列
在数据库里我们很容易实现行转列，但是有一个局限性就是列名一定要固定，否则就无法实现，但是在dataframe里有对应的函数可以很容易实现。样例数据：pubdate media cnt2021-04-01 APP 21092021-04-01 微信 12972021-04-01 微博 14792021-04-02 APP 27192021-04-02 微信 10402021-04-02 微博 ...
2021-05-27 10:09:25
2407
原创 python 遍历list元素是dict的错误：list indices must be integers or slices, not dict
list_data =[{"sku_id":"800001183","launch_time":"2021-05-29 00:00:00"},{"sku_id":"800001182","launch_time":"2021-05-29 00:00:00"},{"sku_id":"800001172","launch_time":"2021-05-29 00:00:00"},{"sku_id":"800001171","launch_time":"2021-05-29 00:00:00"},{"s.
2021-05-24 15:40:29
8021
原创 mysql Truncated incorrect DOUBLE value错误
在网上看到很多答案说是因为引号或者拼接字符串方式不对，但是我的语句真的没有用到这些，所以我只能另找方法，终于发现是因为字段类型不匹配造成的。语句如下：update adidas_tmp_mongo_result_hype ainner join adidas_hype_2020_dim bon a.brand_ids=b.column_idset a.brand_ids=b.column_namewhere b.column_type = 'brand_ids' ;其中brand..
2021-01-08 11:46:56
415
原创 python 执行mongo语句 用到参数 allowDiskUse
在Python中要写成这样:collection.aggregate([ {"$match": { "orig_url": {"$ne": "null", "$exists": True}, "doc_type_id": 0,}},{"$group": {"_id": "$_id", "count": {"$sum": 1}}}],allowDiskUse = True);
2020-12-24 15:13:20
1605
原创 python pandas to_excel的时候字段值超长的解决办法
writer = pd.ExcelWriter(filePath,engine='xlsxwriter',options={'strings_to_urls': False})df.to_excel(writer,index=False)writer.save()
2020-12-21 15:34:16
2098
原创 python paramiko sftp PermissionError: [Errno 13] Permission denied
用python实现将本地文件上传到sftp服务器，用paramiko 第三方库，如果远程服务器上的文件夹不存在可以先创建，语句如下：remote_dir = '/Nike_Daily'filedate = '20201216'# 判断远程路径是否存在 is_existence = True if filedate in sftp.listdir(remote_dir) else False if not is_existence: # 创建文...
2020-12-16 09:58:44
2018
原创 python3 传文件到sftp服务器
直接上代码，拿去就可以用,如果要上传到多个远程服务器直接在远程服务器的列表里把服务器的信息加上就行。# coding: utf-8import paramikoimport reimport osfrom time import sleep # 定义一个类，表示一台远端linux主机class Linux(object): # 通过IP, 用户名，密码，超时时间初始化一个远程Linux主机 def __init__(self, ip, username, password
2020-12-15 18:01:38
694
原创 python pandas 使用to_csv函数生成文件时输出字段需要用双引号括起来
pandas使用to_csv()函数输出时生成的文件需要用双引号包围起来，使用quoting参数，自己试了一下，quoting = 1和quoting = 2输出的文件一样，设置成3就会报错，官方文档对这个参数的解释感觉和双引号根本沾不上关系，试了好多参数最终才发现是由他控制的，遂记录一下。语法：df.to_csv(filepath,quoting = 1)...
2020-12-15 14:12:47
2713
原创 python 错误TypeError: not enough arguments for format string
主要原因是sql语句中包含了%，要用%%代替，不然python会认为是转义符。
2020-12-04 17:23:52
340
原创 mysql 使用过程遇到的坑
1.between and是闭区间例如 between '2020-10-20' and '2020-10-25' 查出的是包含20号和25号的数据。2.case when是顺序执行的多个case when条件写在一起是从上往下执行的，一条记录如果满足了上面的条件则不会继续判断下面的条件了。...
2020-11-09 19:31:23
121
原创 pandas dataframe的数据写到excel变成科学计数的解决方法
df['_id'] = df.apply(lambda x: '%d' % (x['_id']), axis=1).astype(object)
2020-10-13 09:19:00
1661
原创 python 操作mongodb 查询指定日期的数据问题
在 python脚本中写mongo有关日期的语句要用datetime。mongo 语句："pub_time": { "$gte": ISODate('2020-10-09T16:00:00Z'),"$lt": ISODate('2020-10-09T16:00:00Z')}python语句："pub_time": { "$gte": datetime(2020,10,9,16,0,0),"$lt": datetime(2020,10,10,16,0,0)}...
2020-10-13 09:10:43
1980
3
原创 pandas dataframe在指定位置增加列以及给指定单元格赋值
在指定位置增加一列原dataframe为： a b 0 a1 b1 1 a2 b2 增加列，不指定新列的值： df = df.reindex(columns=list(['c','a','d','b'])) c a d b 0 NaN a1 NaN b1 1 NaN a2 NaN b2 增加列的同时指定列的值： df = df.reinde...
2020-09-28 10:52:16
12723
原创 crontab 定了时但是不执行的问题
我在crontab里定了好多任务，大部分脚本都是如下格式：#!/bin/shset -ecd /godbk/wit/mlbpython3 delete_data_5339.py >& log.log首先进入文件所在的文件夹，然后执行运行命令，但是有一个脚本以这样的方式就不执行，看Log也没有任何记录，后来我在命令里写了脚本完整的路径，就可以执行了，所以问题应该就是找不到路径。#!/bin/shset -ecd /godbk/wit/mlbpython3 /go
2020-09-24 10:47:16
313
原创 python文件打包成exe可执行文件
pyinstaller -F sync_table.py -p getMysqlConnect.py -i sync.ico
2020-09-16 13:46:57
71
转载 python 操作PDF文件
原文地址：https://www.zhihu.com/follow偶然刷知乎看到的，觉得很实用，记录一下，以防以后用到。
2020-09-07 15:49:38
79
原创 pip install xx 报错：ValueError: path ‘./‘ cannot end with ‘/‘
今天安装一个Python 第三方库时报了这个错：按照错误信息的路径找到最初始的那个文件C:\Users\ellezhang\AppData\Roaming\Python\Python37\site-packages\setuptools\_distutils\util.py，打开，找到报错信息所在的行，然后根据你的出错路径添加以下代码：if pathname.startswith('./'): paths = pathname.split('/') return...
2020-08-31 17:43:50
1800
6
原创 使用sed命令自动生成insert语句
要从文件中插入一批数据到mongodb中，文件里的数据长这样，分隔符为tab键，生成的语句如下，我没有写成脚本，直接用命令处理的，所以分好几次。db.world.insert({"name":"Afghanistan","continent":"Asia","area":"652230","population":"25500100","gdp":"20343000000"});Afghanistan Asia 652230 25500100 20343000000A...
2020-08-27 14:54:38
353
原创 sublime2配置scala运行环境没有输出的问题
搭建scala运行环境前要先装好scala编译环境，就是在cmd里输入scala能有正确的输出，然后在此基础上才能在sublime里搭建运行环境。打开sublime, tools->Build System->New Build System,会打开一个文件，将如下内容复制进去：{"cmd": ["C:/Program Files (x86)/scala/bin/scala.bat","$file"],"path":"C:/Program Files (x86)/scala/bin
2020-08-07 16:16:21
238
转载 Linux系统 docker基于centos7搭建hadoop完全分布式集群
照着这个教程一步一步最终就可以成:https://www.cnblogs.com/rmxd/p/12051866.html需要指出的一点：教程里没有关闭防火墙，导致最终运行出错，所以要关闭防火墙。
2020-07-24 15:11:32
302
原创 docker run --rm -v
在Docker容器退出时，默认容器内部的文件系统仍然被保留，以方便调试并保留用户数据。但是，对于foreground容器，由于其只是在开发调试过程中短期运行，其用户数据并无保留的必要，因而可以在容器启动时设置--rm选项，这样在容器退出时就能够自动清理容器内部的文件系统。示例如下：docker run --rm bba-208等价于docker run --rm=true bba-208显然，--rm选项不能与-d同时使用，即只能自动清理foreground容器，不能自动清理det.
2020-07-22 14:46:18
2115
原创 python脚本打包成exe文件获取当前路径的问题
在写python程序中，有可能需要获取当前运行脚本的路径。打包成exe的脚本和直接运行地脚本在获取路径上稍微有点不同。import osimport sysconfig_name = 'myapp.cfg'# determine if application is a script file or frozen exeif getattr(sys, 'frozen', False): application_path = os.path.dirname(sys.executable
2020-07-20 09:25:11
4806
3
原创 pandas to_excel()追加写入时文件为空
使用pandas 的to_excel()函数往一个excel文件写入多个sheet页时要使用如下方法：writer = pd.ExcelWriter(filepath)df1.to_excel(excel_writer=writer,sheet_name='公司维度表')df2.to_excel(excel_writer=writer, sheet_name='货物维度表')writer.save()writer.close()切记：要把最后两行加上才会真正把数据保存到文件中，不然你.
2020-07-14 09:21:53
2749
1
原创 记录sublime text2配置Python运行环境
1.安装python、sublime text2（sublime text2下载免安装的版本，个人觉得修改一些配置文件比较方便）2. 打开sublime, tools->Build System->New Build System,会打开一个文件，将如下内容复制进去：{ "cmd": ["C:/Program Files/Python37/python.exe", "-u", "$file"], "path":"C:/Program Files/P...
2020-06-29 11:34:54
133
原创 pandas.read_excel()读取文件时把字符串当做数字读取，自动删除前面的0
为了保留原始的数字字符串的格式，可以指定dtype=str，来将原始数据按字符串格式导入：df2 = pd.read_excel('numeric.xlsx',dtype=str)
2020-06-04 10:03:52
6645
原创 Python list添加元素的三种方法比较
python中list添加元素的方法append()、extend()和insert()append()函数：将新元素追加到列表末尾In [1]: a = [1, 2, 3, 4, 5]In [2]: a.append(6)In [3]: aOut[3]: [1, 2, 3, 4, 5, 6]extend(): 通过该函数可以将另一个列表中的元素逐一添加到指定列表中比如使用append()函数：In [1]: a = [1, 2]In [2]: b = [3, 4]In [
2020-05-25 10:10:06
358
原创 循环读取n天的日期
import datetimecurrent_time = datetime.datetime.now()for n in range(0,300):#300可以替换成你想要的日期段，比如从现在起10天前就替换成10 delta = datetime.timedelta(days=-int(n)) n_date = (current_time+delta).strftime...
2020-04-14 15:13:32
119
原创 shell 脚本:复制指定类型的文件到指定文件夹
#!/bin/bashsourFolder="RC/ukatm/"targetFolder="RC/ukatm/20190116/"for file in `ls | find ${sourFolder} -name '*.xls'` ; do echo "----------processing file is $file-----------" cp $file $targetF...
2020-01-16 16:49:35
3121
3
原创 python 调用logging函数，函数重复打印的问题
代码：def print_log(): tim = time.strftime('%Y-%m-%d',time.localtime(time.time())) logFile = str('{}.log'.format(tim)) # if os.path.exists('../log/{}.log'.format(time)): # logFile = '{}.log'.form...
2020-01-02 16:08:00
295
原创 关于jdk的环境配置问题
由于某个软件的版本和当前jdk的版本不符，遂决定卸载当前jdk安装另一个版本，但是安装好启动软件老是报 could not find java.dll,查了好多解决方案，都说是环境变量问题，然而我觉得我的没问题，只不过没建JAVA_HOME这个变量，而是在path里用了全路径，然后某人告诉我这是约定的习惯，一定要建JAVA_HOME，好多软件都是默认寻找JAVA_HOME这个变量的，所以建了一个J...
2019-11-29 11:16:08
77
原创 python 多层嵌套json文件转csv文件
import csvimport jsonimport jsonpathimport pandas as pdimport timejson_file1 = open(r'C:\Users\ellzhang\Desktop\API-返回-11号订单.json', 'r', encoding='utf_8')csv_file1 = open(r'C:\Users\ellzhang\D...
2019-11-28 09:43:26
2378
2
原创 Python 无嵌套json文件转csv文件
import csvimport jsonimport jsonpathimport pandas as pd#正常的文件json_file = open(r'C:\Users\ellzhang\Desktop\test1.json', 'r', encoding='utf_8')csv_file = open(r'C:\Users\ellzhang\Desktop\my1.cs...
2019-11-28 09:38:51
126
空空如也
使用ngrok进行微信本地调试，出现了500内部服务器错误，求解
2016-10-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人