- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Python爬虫抓取代理IP并检验可用性
经常写爬虫，难免会遇到ip被目标网站屏蔽的情况，银次一个ip肯定不够用，作为节约的程序猿，能不花钱就不花钱，那就自己去找吧，这次就写了下抓取 西刺代理上的ip，但是这个网站也反爬！！！至于如何应对，我觉得可以通过增加延时试试，可能是我抓取的太频繁了，所以被封IP了。但是，还是可以去IP巴士试试的，条条大路通罗马嘛，不能吊死在一棵树上。不废话，上代码。#!/usr/bin/env pyt
2016-07-13 18:30:32
11517
3
原创 python+selenium调用浏览器（IE-Chrome-Firefox）实现爬虫功能
好记性不如烂笔头，今天把selenium调用浏览器操作总结一下。 首先，得先明确，为什么要采用selenium来模拟登陆网页。最主要的原因我认为还是在于通过这种模拟登录方式获取的页面html代码，可以把js里的内容也获取到，而通过urllib方式模拟登录的方式虽然也可以伪装成浏览器的形式获取页面html代码，但是这里面的js，css代码是没有的，也就是没有动态的内容，达不到全面抓取数据的
2016-07-12 14:31:39
20992
4
原创 利用第三方软件识别图片文字并转换为文本
最近在做从手机APP上采集数据的功能，因为小弟对手机通信机制还不是很了解，无法直接抓包，所以就采用比较笨的方法，抓取手机屏幕的截图，然后通过图片识别的功能，转换为文本再处理。这里，我用的手机屏幕截图方法是用monkeyrunner，不了解的可以去度娘一下，脚本语言用的是Python，通过设置定时，可以截取大量的手机屏幕截图，图片的命名也要做到唯一性，最好就用时间戳（这是很有用的哦），这样第一步
2016-06-30 10:59:28
6020
1
原创 Pycharm的快捷键风格设置
今天用pycharm时，忽然发现复制粘贴的快捷键怎么不是ctrl+c，ctrl+v了，然后各种百度，查看设置，最终找到原因是快捷键的设置是Keymaps（恕小弟太low），之前的风格是Emacs，这才改成eclipse风格，改成了自己习惯的风格，特在此记下二逼时刻。
2016-06-17 14:34:51
2462
原创 用Python根据两点经纬度计算距离
def calcDistance(Lat_A, Lng_A, Lat_B, Lng_B): ra = 6378.140 rb = 6356.755 flatten = (ra - rb) / ra rad_lat_A = radians(Lat_A) rad_lng_A = radians(Lng_A) rad_lat_B = radia
2016-06-15 14:34:58
2242
原创 Python利用MonkeyRunner操作手机
手机连接电脑后，利用monkeyrunner操作手机时，一般的商业机（也就是我们买到的手机）是无法直接连接的，可以通过adb devices查看手机是否已经连接电脑，象下图一样会出现类似手机ID的序号就代表连接成功。直接链接的话会出险报错“unable to get view server version ”，“unable to get view server protocol ve
2016-06-15 11:16:26
1005
数据结构相关
2014-05-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人