- 博客(20)
- 收藏
- 关注
RSS订阅原创 爬虫dns cache设置
设置代理服务器squid的dnspositive_dns_ttl 6 hours #设置为6小时，这个值取dns返回的ttl最小值dns_nameservers 8.8.8.8 #设置google dns服务器设置nscdenable-cache hosts yes #和squid设置差不多python requests设...
2018-03-09 21:15:22
907
原创 工厂设计模式
简单工厂一个可以直接生产单一种类产品工厂模式工厂类为接口工厂类可以产出单一种类产品抽象工厂工厂类为接口工厂类可以产出多种类产品...
2018-03-09 16:51:11
146
原创 python vim配置
set nocompatible " requiredfiletype off " required" set the runtime path to include Vundle and initializeset rtp+=~/.vim/bundle/Vundle.vimcall vundle#begin()" alternati
2017-05-11 15:43:59
492
原创 python redis实现bloomfilter
原理 用于海量数据去重，对数据经多次hash，放入bitmap，由于采用hash算法，可能数据可能重复，所以使用前务必按照公式计算错误率实现# coding:utf-8import redisimport mmh3REDIS_HOST = "192.168.159.128"TEN_M = 50 * 1024 * 8BF_KEY = "bf_key"redis_client = red
2017-03-08 19:06:59
1301
原创 python操作solr
solr接收http请求，所以使用requests库操作solr就可以添加 data = {"add": {"doc": params, "commitWithin": 1000}} headers = {"Content-type": "application/json"} re = requests.post(url=url, data=json.dumps(data),
2017-02-28 19:15:22
1929
转载 crontab 不运行原因排查
WTF?! My cronjob doesn’t run?!Here’s a checklist guide to debug not running cronjobs:Is the Cron daemon running?Run ps ax | grep cron and look for cron.Debian: service cron start or service cron res
2017-01-18 15:15:35
501
原创 stomp协议
stomp协议简介 stomp协议是消息框架中的通信协议 通信格式是文本结构类似于HTTP 可以互操作stomp文本结构 COMMAND header1:value1 header2:value2 Body^@命令 SEND SUBSCRIBE UNSUBSCRIBE BEGIN COMMIT ABORT ACK
2016-12-30 17:36:31
393
原创 xpath去除空格
translate(normalize-space(/tr/td/a), ’ ‘, ”)normalize-space():tab,NL,CR替换成空格，产生新的字符串translate():替换字符，产生新的字符串
2016-11-17 15:19:33
5519
原创 selenium + PhantomJS 操作
在网站模拟登陆的时候可能会遇到复杂的JS操作，如果用程序去模拟会很复杂，而且可用性很差，所以这个时候就需要用模拟浏览器操作。 selenium提供一系列操作接口可以操作firefox，chrom，phantomjs PhantomJS是无头浏览器，没有界面所以效率很高安装python selenium安装 pip install seleniumphantomjs安装 wg
2016-10-19 14:35:35
395
原创 shell if-else
if []; then ... elif []; then ... else ... fi -eq #等于 -ne #不等于 -lt #小于 -gt #大于 -le #大于等于 -ge #小于等于 -s #文件存在，不为空 -f #文件存在，不是文件夹 -d #
2016-10-09 16:53:30
195
原创 shell数组操作
数组定义 #定义数组 array_name=(value0 value1 value2) array_name[0]=value0 array_name[1]=value1 array_name[2]=value2o array_name=( value0 value1 value2 value3 ) value
2016-10-09 16:38:39
311
原创 git初始化项目
已有项目初始化 cd repo git remote add origin /path/to/origin.git git add . git commit -m 'initial commit' git push origin master
2016-09-14 18:42:56
550
原创 LWPCookieJar的使用
LWPCookieJar是python中管理cookie的工具，可以将cookie保存到文件，或者在文件中读取cookie数据到程序写入cookie到文件 from cookielib import LWPCookieJar cj = LWPCookieJar() cj.set_cookie(cookielib.Cookie(version=0,name=s_cookie['n
2016-09-14 17:44:16
8492
1
原创 PIL图片操作
分割im = Image.open(PATH)crop_im = im.crop((x1,y1,x2,y2))#(x1,y1)，(x2,y2)crop_im.save(TARGET_PATH)拼接im = Image.new("RGB",(256, 210), (255, 255, 255))#(256,210)大小，(255,255,255)背景色im.paste(image,(160,10
2016-09-08 16:10:27
265
原创 MySQL数据库优化
查看innodb状态 show engine innodb status;查看执行的sql show full PROCESSLIST;关闭sql kill PID;查看sql执行状态 explain sql SYSTEM CONST的特例，当表上只有一条元组匹配 CONST WHERE条件筛选后至多一条元组匹配，如，主键匹配 EQ_REF
2016-09-02 21:00:42
179
原创 requests 下载图片
import requestsr = requests.get( url=url, headers=headers, stream=True)with open("img/1.jpg", 'ab') as f: for chunk in r.iter_content(chunk_size=1024): if chunk:
2016-09-01 16:46:59
647
原创 python操作Mysql数据库
安装下载安装:https://pypi.python.org/pypi/MySQL-python/1.2.5操作#!/usr/bin/python# -*- coding: UTF-8 -*-import MySQLdb# 打开数据库连接db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )# 使用cursor()方法获
2016-08-29 15:54:43
368
原创 requests 使用代理验证
from requests.auth import HTTPProxyAuthurl = ...timeout = ...headers = {}auth = HTTPProxyAuth(user, password)proxies = {"http": "http://%s:8010/" % host}if url.startswith("https:"): url = "htt
2016-08-29 15:26:13
3393
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人