qq_35729678的博客

爬取大量数据的时候，爬取速度显著影响着爬取用时，总结一下我在使用scrapy的时候用来提升爬取速度的方法。scrapy网络请求是基于Twisted，而Twisted默认支持多线程，而且scrapy默认也是通过多线程请求的，并且支持多核CPU的并发，我们通过一些设置提高scrapy的并发数可以提高爬取速度。

Python网络数据采集,Web Scraping with Python Collecting Data from the Modern Web[美］ Ryan Mitchell 著 陶俊杰　陈小莉 译本书采用简洁强大的 Python 语言，介绍了网络数据采集，并为采集新式网络中的各种数据类 型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用 Python 从网络服务器 请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进行交互。第二部 分介绍如何用网络爬虫测试网站，自动化处理，以及如何通过更多的方式接入网络。