weixin_41075201的博客

原创 智联招聘 爬虫职位信息的爬取

1、电脑系统：ubuntu 18.04.5 LTS ；开发工具：pycharm;编译环境：anaconda3,python_vesion:Python 3.8;第三方库文件：Scrapy,selenium 2、下面就是代码了，想说的话都在注释里了 第一步：编写middlewares.py文件: from ScrapySpider.setting import USER_AGENT_LIST,PROXIY_LIST import base64 import random from selenium i