- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python selenium+firefox对网页截长图
需求对网页截图，包括网页的不可视部分。方法1.Firefox webdriver，无头模式+调整窗口宽高+截图窗口options = Options()options.add_argument('--no-sandbox')options.add_argument('--headless')options.add_argument('--disable-gpu')options.add_argument('--disable-dev-shm-usage')driver = webdrive
2020-09-08 19:06:35
872
原创 pycharm多光标选择
mac下，多次使用control+g向下选择，control+shift+g向上回退选择，control+command+g选择所有相同词，command+g选择下一个相同词。所以结合一下，control+g向下然后command+g进行跳过选择；windows使用ctrl+j
2020-08-11 22:57:33
1365
原创 python时间格式
以下为时间概念摘抄UTC：时间标准时间协调世界时（英：Coordinated Universal Time ，法：Temps Universel Coordonné），又称世界统一时间，世界标准时间，国际协调时间。英文（CUT）和法文（TUC）的缩写不同，作为妥协，简称UTC。GMT：格林尼治时间世界时UT 即格林尼治时间，格林尼治所在地的标准时间。以地球自转为基础的时间计量系统。地球自转的角度可用地方子午线相对于地球上的基本参考点的运动来度量。为了测量地球自转，人们在地球上选取了两个基本参考点
2020-06-02 17:09:27
662
原创 爬虫卡住无报错信息
用了requests库，爬取了一晚上，程序在某个页面hang住了，没有任何报错信息，也不退出，也不前进，日志和进程查不出问题。操作回顾：查看nohup.out，无任何异常数据；查看程序log，在183页有数据，184页数据未出现；ps aux |grep 查看进程，未占用大量cpu和内存，排除死循环；查看代码，未使用多线程多进程，排除死锁；查看问题进程打开的文件，lsof -p xx，发现最后打开的文件是建立了2个tcp连接，并且一直未断开，考虑io阻塞的可能性；再次查
2020-05-21 17:48:43
3344
1
原创 linux添加子用户并给予root权限，ssh私钥登录
linux添加子用户并给予root权限，ssh私钥登录1. 添加子用户命令useradd tomcat 创建用户tomcatpasswd tomcat 给已创建的用户tomcat设置密码将在/home下创建tomcat的目录2. 设置子用户使用私钥连接ssh切换用户 su tomcat或之后chown改变之后创建的文件和文件夹的所属人编辑登录公钥文件cd /home/tomcat ,创建.ssh目录 mkdir .sshvim /home/tomcat
2020-05-20 16:20:07
1686
原创 去除字符串中的\xa0不间断空白符
记录几个python解析页面时遇到的小问题解决方法1. 去除字符串中的\xa0不间断空白符 # 方法一：用编码转换的方式 import unicodedata s = unicodedata.normalize("NFKD", s) # 方法二：直接去除所有空白 s= ''.join(s.split())2. xpath解析取标签下所有文字 # 取出标签下所有文字，有3种方法： # 1.用//text()取所有文字然后join； re
2020-05-12 18:33:37
859
原创 pyenv安装+python3.7以上+centos+openssl的坑
之前遇到一个大坑，之前一直没管，今天认真弄了一下。背景在centos系统上，已经预先安装了python2.6和python3.6，可以正常运行，但是自己想安装python3.8。坑一：手动wget下载build，make&make install都没问题，pip3 install requests库，使用requests库时出了ssl的问题；urllib3.exceptions....
2020-04-21 21:40:37
1230
原创 supervisor自运维部署操作
自运维用supervisor部署服务1.拉取git上的代码2.使用supervisor启动XXX项目（一般只需操作第5步即可）附：杀死指定的进程XXX1.拉取git上的代码git pull https://github.com/XXX.git如果冲突了，可参考这篇文章方法1：本地git stash,git pull,还原git stash pop stash@{0}，打开文件解决冲突v...
2020-04-15 17:05:37
241
原创 python supervisor使用
supervisor可以非常方便的管理后台持续运行的进程，在后台进程挂掉之后自动拉起并发出通知等本文讲述supervisor如何使用。
2020-04-15 16:44:24
1050
原创 CentOS下安装python3.7
CentOS下安装python3.7下载python3的安装包安装python3修改默认python修改默认pip修改yum文件，使之正常运行直接安装pip存在的问题下载python3的安装包cd到想保存安装包的路径下下载（去官网查看最新版下载链接）：wget https://www.python.org/ftp/python/3.7.*/Python-3.7.*.tgz解压到当前目录：...
2019-02-25 19:49:20
13366
2
原创 python3爬虫简单记录-使用CSS选择器
学习过了python写爬虫，怕以后完全不记得了，故简单把写的东西贴一下。 如果以后继续深入，再将这些代码功能补充完全。 CSS选择器，需要安装cssselect模块，用pip命令就可以，还需要安装lxml模块 还可以使用selenium简单模拟浏览器，或者使用PyQt4/PySide模拟浏览器动作使用的windows+python3.5.2 文件downloading.py#!/usr/
2017-04-26 15:56:23
10002
原创 Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法
使用Python写文件的时候，或者将网络数据流写入到本地文件的时候，大部分情况下会遇到：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。1.在这个网站看到一种解决文件写入编码的方法：Python UnicodeEncodeError: ‘gbk’ codec can’t encode c
2017-04-26 15:12:31
1544
原创 在python3中安装python2的包（比如builtwith）
最近，学习编写爬虫代码的时候，由于我用的是python3，遇到了一些第三方包在安装的时候出错的情况。第一个包就是builtwith1.首先去pypi网站上看看这个包是否有支持python3的版本。。。发现，好像并没有（有点尴尬了） 2.又想用这个模块，又不想再去搞一个python2的环境，也不想把前面写的一些代码再调整，怎么办呢？—–那就只有自己手动改这个模块，将这个模块的代码改成适应python
2017-04-21 17:42:56
4051
1
原创 vs2015中文专业版激活秘钥
以下秘钥由百度贴吧vs2015吧吧友分享提供： —————————————————————————————————— 中文专业版激活秘钥：HMGNV-WCYXV-X7G9W-YCX63-B98R2 中文企业版激活秘钥：HM6NR-QXX7C-DFW2Y-8B82K-WTYJV
2017-04-20 22:49:41
1770
原创 Sublime Text 3注册码（2017mark）
Sublime Text 3注册码（mark：2017年还能用）—– BEGIN LICENSE —–Alexey PlutalovSingle User LicenseEA7E-8607763DC19CC1 134CDF23 504DC871 2DE5CE55585DC8A6 253BB0D9 637C87A2 D8D0BA85AAE574AD BA7D6DA9 2B9773F2 32
2017-04-20 22:44:12
364
原创 Pycharm2017最新注册码
IntelliJ IDEA 注册码，可以激活IntelliJ IDEA JetBrains公司的几乎（我没试过）所有软件（不包括基于IntelliJ IDEA开发的软件，比如AndroidStudio这种）。注册码为正版注册码，无需打补丁，有效期为2017年01月31日至2018年01月30日 。用户是lan yu，感谢他。CNEKJPQZEX-eyJsaWNlbnNlSWQiOiJDTkVLSlB
2017-04-20 22:39:57
1529
原创 一劳永逸解决：TypeError: cannot use a string pattern on a bytes-like object
TypeError: cannot use a string pattern on a bytes-like object最近写代码，python2和python3之间切换，难免会碰到一些问题，有些方法比如re模块的findall要求传入的是字符串格式的参数，urllib.request.urlopen(url).read()返回的是bytes类型（这个是python3中才有的类型，所以很多pyth
2017-04-14 01:44:42
44775
5
原创 Python代码风格：#!/usr/bin/python和#!/usr/bin/env python
脚本代码文件的第一行，写了#!/usr/bin/*****。目的就是指出，你想要你的这个文件中的代码用什么可执行程序去运行它（一般是在linux操作系统中）#!/usr/bin/python是告诉操作系统执行这个脚本的时候，调用/usr/bin下的python解释器；#!/usr/bin/env python这种用法是为了防止操作系统用户没有将python装在默认的/usr/bin路径里。当系统看到
2017-04-09 00:16:55
469
转载 csdn博客规则
博客积分规则博客积分是CSDN对用户努力的认可和奖励，也是衡量博客水平的重要标准。博客等级也将由博客积分唯一决定。积分规则具体如下：1、每发布一篇原创或者翻译文章：可获得10分；2、每发布一篇转载文章：可获得2分；3、博主的文章每被评论一次：可获得1分；4、每发表一次评论：可获得1分（自己给自己评论、博主回复评论不获得积分）；5、博文阅读次数每超过100次：可获得1分，阅读加分最高加到100
2017-03-30 16:52:30
1774
原创 一个例子使用条件和循环
一个例子结合使用while和for、if和else、break和continue，看看他们之间的联系和区别：def func(): valid=False count=3 while count>0: input1=input('Enter password:') for each in passwordlist: if
2017-03-30 16:25:32
458
原创 2个段子（单身狗的反思）
1小学时放假出去玩，妈妈说：“小孩子自己出去多危险，在家呆着！”初中时妈妈说：“还有那么多作业，玩什么玩？”高中时妈妈说：“马上高考了，你还敢出去玩！”终于，我们上了大学，妈妈说：“怎么不出去玩呢？”我说：“找谁玩呢……”其实，我们错过的不是时间，是感觉……2因为你没钱，你存钱送她名牌包她都要拿专柜验真假。可因为你有钱，你带她吃路边摊 她都觉得你够真实。而因为她不够漂亮，她为你洗衣做饭你都觉得生活平
2017-03-30 15:31:01
1049
原创 python函数的参数
python函数的参数一、说几点python函数中有些意思的地方1.python函数的返回值Python使用def关键字定义函数，和其他语言一样，函数基本上可以分为有返回值和没有返回值2种，一般来说还可以分为运算功能和处理功能型函数。先说点题外话：python2和Python3在函数的使用上的些微差别>>> def run(name): print name+'runing'SyntaxErr
2017-03-21 22:15:58
927
原创 VS2015使用git同步代码
1.前言在写代码时，有时候可能希望在几个地方写代码，但是由于是台式机不能移动，而使用U盘拷贝比较麻烦，使用git进行同步就比较实用了。 VS2015上使用git的方法，在网上可以搜索到，但是由于本人是在查了好久之后才弄明白怎么弄的，所以决定自己把这个过程写下来，以便他人和自己以后查阅。2.具体过程1. 注册一个github帐号在https://github.com网站上，注册需要你的邮箱
2017-03-15 23:08:13
7080
原创 VS快捷键
快捷键 功能ctrl+k再ctrl+c : 注释选中行 ctrl+k再ctrl+u： 取消对选中行的注释CTRL + K, CTRL + L：取消remarkCTRL + K, CTRL + C：注释选择的代码CTRL + K, CTRL + U：取消对选择代码的注释CTRL + M, CTRL + O：折叠代码定义CTRL + M, CTRL + L：展
2017-03-15 22:40:38
269
转载 代码的鲁棒性
文章转载自博客园 http://www.cnblogs.com/stemon/p/4624852.html代码的鲁棒性由于鲁棒性对于软件开发非常的重要，面试官在招聘的时候对应聘者写出的代码是否鲁棒也非常的关注。提高代码的鲁棒性的有效途径是进行防御性的编程。防御性编程的一个好的方法就是设计好的、全面的测试用例。如果我们能够把测试用例提前的写好，考虑到相应的问题，对鲁棒性做相应的处理，那么面试官会觉得我
2017-03-13 20:35:27
3303
转载 函数的调用惯例
转载自： http://www.cnblogs.com/jiqingwu/p/calling_conventions.html什么是调用惯例调用惯例(Calling Conventions)指计算机程序执行时调用函数或过程的一些约定，包括：函数的参数是通过栈还是寄存器传递？如果通过栈传递，顺序是怎样的，是从左至右入栈还是相反。谁负责清理栈，是调用者还是被调用者？从清理栈的角度来讲，调用惯
2017-03-13 20:22:38
973
原创 sublime text配置python环境不能使用input和raw_input的问题
sublime text配置python环境不能使用input和raw_input的问题利用Package Control安装SublimeREPL插件，然后点击要运行的python文件一下(选择相应文件)，在菜单栏点击Tools->SublimeREPL->Python->Python-RUN current file之后就会出现一个新的窗口，在这个窗口可以正确输入了。建议使用菜单栏View->L
2017-01-16 22:28:50
3144
1
原创 Sublime Text使用GBK编码中文乱码问题
问题来源Sublime Text 在默认情况下是不支持GBK的编码格式的，因此打开GBK编码的文件或自己使用中文输入法写中文的时候就会乱码。 打开GBK编码的文件可能会直接看到中文是乱码的 中文输入法写入的字符在编辑器上看到是正常的，但是编译的时候可能提示有编码问题解决方法最终目的是在Sublime Text上安装ConvertToUTF8这个包。ConvertToUTF8是用来把GB
2016-12-29 11:32:45
5844
原创 16位汇编语言的学习小结
前言：前一段时间一直在学习汇编语言，使用的书籍就是最经典的王爽那本书，现在也学习到了一个阶段，想着是不是把学了东西做个小结。一些不容易弄明白的概念1. 16位、32位、64位机和三大总线的关系 众所周知，CPU和外部芯片做信息交互必须使用三大总线：地址总线，数据总线，控制总线。 这三大总线相对于CPU来说可以称为外部总线，CPU内部由运算器（处理信息）、控制器（控
2016-12-28 11:06:18
1335
Linux基础命令教程豪华版.chm
2017-03-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人