cc757的博客

原创 python爬虫之抓取代理服务器IP 并筛选可用稳定的ip

***前言：***作为一名爬手，爬取各大网站资源，经常会遇到的额问题就是ip访问过于频繁，被网站封ip，影响爬取工作。解决方法一为：用sleep函数，设置爬取频率，但是缺点就是慢，尤其对于大量的数据获取不合适。解决的另一方法就是代理ip，用匿名ip爬取资源。但是目前网络上免费的可用代理ip特别不稳定，难以直接使用。本篇文章便是解决ip不稳定，不可用，的一种简单小方法。配置：python2...