- 博客(4)
- 收藏
- 关注
RSS订阅原创 scrapy和scrapy-redis框架
scrapy和scrapy-redis框架Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。1、scrapyscrapy作为一款优秀的爬虫框架，在爬虫方面有这众多的优点。能快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 它的主要组件有如下...
2018-07-12 08:01:34
259
原创 路飞学城-爬虫密训-7月5号第二次直播学习笔记
from selenium import webdriver# 配置驱动#驱动一定要自己下载并放在一个目录，否则会出错option = webdriver.ChromeOptions()driver = webdriver.Chrome('/Users/wupeiqi/drivers/chromedriver', chrome_options=option)# 1. 控制浏览器打开指定...
2018-07-11 08:27:45
526
原创 路飞学城-Python爬虫集训-第1章
金角大王和银角大王盛名流传于网络，有机会听一下大王的课程也是没事。个人对python多线程 多进程爬虫较为熟练，常用requests库。requests简单好上手，非常方便，进阶的话可以使用scrapy.自动登入拉勾网并修改信息步骤如下：1 拉勾网为了防访问，在headers里需要 X-Anit-Forge-Code 和 X-Anit-Forge-Token 这两个值，这两个值访问拉勾登录网页可以...
2018-07-06 07:47:10
659
转载 Mysql安装流程
转载一篇文章，写的真不错！mysql安装详解及问题解答！断断续续花了我两天的时间，在网上查找了很多资料，终于把Mysql给安装上去了，在这里写一点我的总结，希望能为以后安装Mysql的各位起点帮助，不至于去浪费那么多时间。一． 如果在你的电脑上以前从来没有装过Mysql，那么你在安装的过程中唯一需要注意的就是，安装地址一定不要有中文路径，就像这样的“E:\我的文档\学习笔记\java
2017-06-18 14:59:11
347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人