- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 遇到UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa3 in position 4: invalid start byte的几种处理方法
读取文件、解码字符串时，有时会遇到这样的报错：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa3 in position 4: invalid start byteUnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa3 in position 4: invalid start byte原因是使用utf-8、gbk编码方式读取这个文件或decode某个字符串时，遇到了无法解码的字符。如果
2022-02-16 11:12:15
13325
3
原创 Linux shell and expect 小贴士
Linux shell and expect 小贴士expect脚本中设置终端类型一些场景和命令需要设置TERM后，才能正确执行命令。在expect脚本头部加入这一行:set env(TERM) vt100终端类型可以是vt100，xterm等，根据实际情况选择即可。shell将expect脚本输出log中的ANSI转义序列和颜色代码去掉expect脚本输出的log中，通常包含不可视的ANSI转义序列和颜色代码，影响log读取，这行代码可以将这些字符去掉，只剩下可读字符。# remove
2022-02-16 10:18:09
641
原创 win10系统开发环境快速安装Playwright python的方法
win10快速安装playwright python首先：注意本机的python版本必须大于3.7Playwright requires Python 3.7+.其次：根据github: microsoft/playwright-python的readme信息提示，就像国内众多博客里写到的，安装playwright仅需两行命令。但是由于众所周知的国内网络的原因，第二步装浏览器的时候经常失败，而且无法跳过、无法选择不安装、无法选择安装源、无法断点续传。经过一下午的摸索，我终于弄清楚如何快速完成第二步
2021-01-10 23:11:47
11521
15
原创 python2 & python3 实现简单XML-RPC远程调用的实例
python实现简单XML-RPC远程调用的实例XML-RPC SERVER端的实现python2版python3版XML-RPC CLIENT端的实现python2版python3版client的运行结果server的输出日志远程调用一般分为两种，远程过程调用（RPC）和远程方法调用（RMI）。远程调用是分布式系统的基础。RPC属于函数级别的远程调用，其多是通过HTTP传输数据，数据形式有XML、JSON、序列化数据等。本文用python做一个xml-rpc的示例。XML-RPC SERVER端的实
2020-08-12 17:46:27
1303
1
原创 python 使用列表推导式，按指定key从长度不等的多个字典中判断并获取value，生成等长元组列表
使用列表推导式，按指定key从长度不等的多个字典中判断并获取value，生成等长元组列表列表推导式（列表生成式）按指定key从长度不等的多个字典中判断并获取value，生成等长元组列表列表推导式（列表生成式）列表推导式提供了一种创建list的简便方法。在代码中使用列表推导式，能够大幅减少代码行数，并且列表推导式是由C代码实现的，能够切实提高执行速度。注：用[]包裹起来的推导式是列表推导式，如...
2020-04-29 12:56:25
545
原创 震惊！(python)从其它文件import一个自定义的函数，运行结果却是这样！男默女泪，邻娃馋哭！！
从另一个文件导入一个写好的函数，却因为这个小细节，造成了困扰首先，新建两个.py文件。filename: import_func_test.py，创建一个用来导入的函数：def fun(x=1): print("我被执行了！", x) return xfun()filename: import_test.py，导入这个函数：from import_func_test impor...
2020-01-17 10:43:15
1477
2
原创 python3使用paramiko模块，构建一个Server类，实现ssh、sftp的功能(最终版，大概......)
python3使用paramiko模块构建Server类，实现ssh发送无交互指令、sftp上传下载，与之前的一版相比，channel发送指令可以支持交互指令，优化了部分代码。类代码# -*- coding: utf-8 -*-"""@author: Phoenix"""import paramikofrom time import sleepclass Server(obje...
2019-10-30 16:00:22
1494
原创 python3跨文件夹import的解决办法
python3跨文件夹import的解决办法在一个项目中，如果需要重复使用已经写好的自定义模块、函数，并且主函数并不与这些自定义模块、函数在同一级文件夹，我们将会面对跨文件夹/模块import的情况。例：项目结构如下：webapp/ __init__.py func/ __init__.py auto_run.py utils/ __init__.py tools.p...
2019-10-29 15:17:13
5033
3
原创 python pandas 按照时间（h:m:s）条件对使用datetimeIndex或datetime类型列的数据进行筛选的方法
神奇的pandas，越用越觉得有意思。pandas的切片功能非常强大，对于包含datetime类型列的dataframe和使用datetimeIndex的Series，通过给定datetime形式的字符串（'2019-07-26 08:00:00', '2019-07', '2019-07-26', '2019-07-26 08:00'）即可进行日期时间的筛选。BUT！如果是想查找某个周期（...
2019-07-29 00:22:26
14891
1
原创 python pandas常用功能和dataFrame数据筛选方法记录
Pandas一些常用功能：# 合并dataFrame并重置indexpd.concat([df1, df2], ignore_index=True)# 读pickle文件，指定压缩df = pd.read_pickle("/xxx/df.pkl", compression='gzip')# 去重df.drop_duplicates()# 输出到excel、pickledf.to_e...
2019-07-26 16:39:37
2203
原创 Flask使用datatables插件的html模板，插件的汉化、添加“复制、导出excel”功能按钮和调整控件显示位置的总结
终于搞定了datatables插件，调成了我想要的样子。后端路由函数在render_template时，要带上table_title，table_head（列名），table_body（数值）。值得一提的是datatables的设置，确实非常灵活多变。调整控件的位置的方法："dom" //l - Length changing 改变每页显示多少条数据的控件 默认左上角显示...
2019-07-26 16:09:45
1732
7
原创 Flask--使用ajax进行局部刷新(GET,POST方法)
想实现网站只曝露index和login两个页面，让模板文件更为抽象、模块化，令其余url全部隐藏，使用ajax进行页面局部刷新即可实现。1. ajax GET html：<script type="text/javascript"> function GETInWebRefresh(url) { ...
2019-07-18 15:50:54
9011
1
原创 Flask--使用session进行简易的用户登录访问控制
Flask Sessions（会话） 与Cookie不同，Session（会话）数据存储在服务器上。会话是客户端登录到服务器并注销服务器的时间间隔。需要在该会话中保存的数据会存储在服务器上的临时目录中。 为每个客户端的会话分配会话I...
2019-07-18 12:28:35
5476
1
原创 Excel IF+COUNTIF、IFERROR+VLOOKUP使用组合公式
昨天做了个表，搞了好久，终于搞定连表查询和返回指定格式/内容的组合公式。使用IFERROR+VLOOKUP返回符合条件的第一个值或返回空cell=IFERROR(VLOOKUP(D3,‘sheet2’!A:J,10,FALSE),"")使用IF+COUNTIF判断不连续的字符型cell之中是否有符合条件的，返回1或0=IF(COUNTIF(J3,“L*”) + COUNTIF(M3,“L*...
2019-07-17 20:55:41
11410
原创 一文搞定docker创建私有镜像仓库（配置启动http和https方式私有仓库服务，查询、删除私有仓库镜像）
docker除了使用公共镜像仓库之外，也可以创建私有镜像仓库。对于内部开发、测试、部署环境来说，是很有必要的。 如何创建私有镜像仓库服务呢？当然是以容器的方式啦！1.拉取官方registry镜像到本地docker pull re...
2019-06-29 23:28:18
8444
原创 CentOS7虚拟机搭建Kubernetes集群（使用私有镜像仓库）
VisualBox安装三台虚拟机(CentOS7)，一台Mater节点，两台node节点。网络设置为双网卡：网卡1配置成桥接网卡，用来连接外网；网卡2配置成Host-only网络或内部网络，用来做集群内网。k8s在创建集群时还需要创建Pod网络，本文使用Calico插件自建网络。Mater节点CPU至少使用2核，单核会导致k8s报错。Mater节点修改主机名hostnamectl -...
2019-06-28 20:05:13
1415
1
原创 使用TheadPoolExecutor线程池进行python多线程任务执行
之前查找过python多线程/多进程的资料，感觉都不那么pythonic，直到发现了ThreadPoolExecutor。 concurrent库只有一个futures模块，这个模块的用途就是启动并行任务。T...
2019-06-27 10:18:31
1094
原创 nginx + uwsgi + Flask的安装、配置、部署(CentOS7)
部署Flask应用到服务器，需要python环境，uwsgi服务，nginx反向代理服务。安装配置nginxCentOS7的默认源里没有nginx，需要先下载epel-release，再yum安装nginxyum install epel-releaseyum install nginx离线安装方法不在此说明......nginx的常用指令describecommand...
2019-06-20 00:14:35
278
原创 docker（一）安装（CentOS7）
查看系统内核版本是否高于3.10(CentOS7 64)uname -rYUM安装1.更新Docker源[系统内执行]cd /etc/yum.repos.d/[下载国内源repo文件]wget -c https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo[默认国外源repo文件]wget -c https...
2019-06-19 16:18:29
269
原创 python3用smtplib模块发文本邮件
python3用smtplib模块发邮件创建一个函数：# -*- coding: utf-8 -*-import smtplibfrom email.mime.text import MIMETextfrom mail_config import mail_host, sender_name, sender_password, receiversfrom datetime impor...
2019-06-13 19:25:18
298
原创 CentOS7安装python3.7.3
下载安装包到https://www.python.org/downloads/下载最新版python3(3.7.3)解包，安装前准备python3.7以上版本在安装之前，还需要安装两个依赖包，否则安装python3会报错：‘ModuleNotFoundError: No module named ‘_ctypes’’。（感谢：一蓑烟雨任平生 link 分享）libffi-3.0.13...
2019-06-05 19:49:29
560
原创 让CentOS7支持telnet服务
CentOS7 安装telnet客户端和服务端程序CentOS7对应的安装包安装设置telnet服务开机自启动修改CentOS7 网卡开机启动(虚拟机)CentOS7对应的安装包telnet client：telnet-0.17-64.el7.x86_64.rpmtelnet server：telnet-server-0.17-64.el7.x86_64.rpmxinetd：xinetd-...
2019-06-04 17:48:23
341
原创 python -c 执行单行命令/脚本，有点意思
python -c参数，支持执行单行命令/脚本。例：> python -c "import os;print('hello'),print('world')"> python -c "import os;print('hello');print('world')"注意：要用双引号将命令包起来，import要以**;结尾，命令用[]括起来，多行命令用多个[]**> py...
2019-05-21 13:52:55
17710
3
原创 python使用datetime模块创造包含时间差计算的特定格式“日期时间”字符串
最近需要生成日期时间的字符串，并且包含时间差计算。python的time模块能够满足字符串生成的需求，但是时间差计算就不行了。datetime模块，可以生成所需日期和时间的字符串，还可以进行时间差计算。导入datetime模块import datetimedatetime.datetime.now()可以生成一个datetime.datetime对象，包含了年、月、日、时、分、秒、毫秒七...
2019-05-16 12:15:36
565
原创 python3使用paramiko模块，构建一个Server类，实现ssh、sftp的功能(更新版)
使用paramiko模块，构建一个Server类，用来连接远程服务器，支持ssh连接、下发单个无交互指令、sftp单文件的上传下载。测试连接linux和solaris远程主机均能正常使用代码：# -*- coding: utf-8 -*-"""Created on Wed May 14 10:53:38 2019@author: Phoenix(https://blog.csdn.n...
2019-05-15 11:46:23
1510
原创 LINUX系统常用信息查询指令
LINUX系统常用信息查询指令系统指令说明uname -a查看内核/操作系统/CPU信息lsb_release -a查看操作系统版本 (适用于所有的linux，包括Redhat、SuSE、Debian等发行版，但是在debian下要安装lsb)cat /proc/cpuinfo查看CPU信息dmidecode | grep ‘Processor In...
2019-05-15 11:24:28
167
原创 配置ssh/scp免密登录的坑
ssh-keygen -t rsa 生成本机公私密钥。过程中直接回车，不需输入。在/root/.ssh/或/home/“login user name”/.ssh/路径下，生成id_rsa和id_rsa.pub文件。2.将id_rsa.pub文件的内容copy到对端同路径下authorized_keys文件中，没有的话就创建一个。3.正常情况下，两端互相配置好后，就可以互相...
2019-05-06 13:51:32
1093
原创 linux虚拟机格式化新硬盘，挂载，设置开机自动挂载
linux虚拟机格式化新硬盘，挂载，设置开机自动挂载查看新硬盘，在虚拟机上通过fdisk -l指令查看：[root@HSS-data-comparison-OSS ~]# fdisk -lDisk /dev/sda: 214.7 GB, 214748364800 bytes, 419430400 sectorsUnits = sectors of 1 * 512 = 512 bytesS...
2019-04-30 10:41:43
452
原创 win10系统使用VisualBox v5.2.22安装Ubuntu 18.04 desktop虚拟机过程中的小坑以及安装VirtualBox Guest Additions的方法
win10系统使用VisualBox v5.2.22安装Ubuntu 18.04 desktop虚拟机过程中的小坑安装过程中的小坑安装VirtualBox Guest Additions的方法安装过程中的小坑这个坑很隐蔽，因为并没有明显提示，是反复尝试过才发现的。不知道新版本的VisualBox是否已经解决这个问题。虚拟机界面的“设置”–“显示”–“屏幕”–“硬件加速”，这里不能勾选“启用...
2019-03-13 10:51:40
970
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人