- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 elasticsearch painless 用法
一 、用途 我们一般在添加一个需要计算后的字段或者通过某种规则计算后的值来排序是会使用到elasticsearch的脚本功能，es在5.x版本以后默认使用的就是painless无痛脚本script_fields用法：sort用法：二、painless语法 1、常用数据类型： int、double、String、List、Map、bool (和jav...
2019-09-28 17:16:45
7583
1
原创 执行mysql语句卡死
问题：执行ALTER TABLE table1 ADD COLUMN name text(10) NOT NULL;时，sql语句卡住不动，如下图： 思路： 1、通过mysql日志查找原因，查log语句：select * from INFORMATION_SCHEMA.processlist where COMMAND = "Query"\G ...
2018-10-17 17:32:47
8966
转载 各模拟器adb连接端口
模拟器名称 默认连接端口 夜神安卓模拟器 62001 逍遥安卓模拟器 21503 BlueStacks（蓝叠安卓模拟器） 5555 雷电安卓模拟器 5555 天天安卓模拟器 5037 网易MuMu（安卓模拟器） 7555 安卓模拟器大师 54001 Genymotion 5555 ...
2018-08-30 15:24:36
2687
原创 python3 requests上传图片（base64加密的图片）
请求参数如上图所示，共有四个参数：myfile: data:image/jpeg;base64,后面是图片base64加密后的数据clientNo:''clientType:'2'userToken:在cookies中获取import requestsimport osimport base64session = requests.session()url = '...
2018-08-20 18:06:38
6507
原创 获取验证码图片、通过background-position重组验证码图片
现在有很多验证码图片获取后都是乱序的需要重组，webdriver截图是一个很方便的处理方式，但是webdriver过于占用内存，故提供一个重组的方式，现已前程无忧为例，记录一下解决方案，大体思路可以分为以下几个步骤：获取原始验证码图片----->获取css偏移量数组---->新建空白图片文件---->按顺序根据css偏移量和验证码图片尺寸抠图并粘贴到空白文件。验证码...
2018-08-06 10:31:48
1566
原创 用requests处理302页面的重定向（解决链接失效的问题）
最近在爬取智联的简历信息，爬取简历详情页的时候，使用的是公司的分布式框架，获取的详情页的url不会立即爬取，导致出现链接已失效的问题，使用的是模拟ajax获取数据，分析和代码如下：获取上面的request url 和headers,构造模拟请求：cookies = "" #登录后获取at = ''#从cookies中获取resume_url = 'https://ihr.zhao...
2018-06-26 12:20:38
28692
2
原创 deepin安装docker
深度官方deepin已经集成了docker，不过不是docker-ce这样的最新版。要想使用最新版可以参考官网debian安装教程安装，不过由于深度在定制过程中进行了大量修改，所以使用官方教程是安装不成功的。具体需要几个地方进行调整。先说说安装步骤：1、如果以前安装过老版本，可以先卸载以前版本： sudo apt-get remove docker docker-engine2、先安装docke...
2018-06-13 16:57:49
354
转载 python3安装过程中出现的ssl问题 ，No module named _ssl
安装Python3.6.41 安装python3.6可能使用的依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c++ openssl-devel2 到python官网找到下载路径, 用wget下载wget https://www...
2018-05-23 20:17:36
30891
4
原创 编译Python时报错：configure: error: no acceptable C compiler found in $PATH
报错信息如下：[root@master ~]#./configure --prefix=/usr/local/python3.6 checking build system type... i686-pc-linux-gnuchecking host system type... i686-pc-linux-gnuchecking for --enable-universalsdk... noch...
2018-05-23 19:58:45
6821
原创 Linux安装python3.6
Linux下安装Python3.6和第三方库如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境，比如yum！！！！！不要动现有的python2环境！一、安装python3.61. 安装依赖环境 # yum -y install zlib-devel bzip2-devel openssl-devel ncurses-...
2018-05-23 19:54:47
148
原创 libgtk-3.so.0: cannot open shared object file: No such file or directory Couldn't load XPCOM.
报错信息[root@test firefox]# firefox XPCOMGlueLoad error for file /usr/lib64/firefox/libmozgtk.so:libgtk-3.so.0: cannot open shared object file: No such file or directoryCouldn't load XPCOM.解决方案：1、卸载原来的fi...
2018-05-23 19:51:56
15820
原创 selenium和Python3.6实现招聘狗网站自动识别验证码登录、列表页、详情页爬取
selenium、Python3.6、requests实现招聘狗网站验证码识别自动登录、列表页、详情页爬取
2018-05-17 11:03:09
1280
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人