xiang_long_liu的博客

原创 自制爬虫框架

自制python爬虫程序模板（爬虫小白亦可用）1.mysql数据库链接2. 页面请求过程3. 数据提取处理4. 数据保存处理。  在平时挥手大干项目的过程中，时不时会有一些小的爬虫任务需要处理，因此专门写了一个爬虫框架，基本覆盖平常用到的网站，觉得使用效果不错，分享出来给大家使用，也请各路大神走过路过提些好的意见。  接下来为大家简单介绍一下每个模块实现过程及思路。本文结束后处会附全部代码，前面代码只是便于大家理解，无需挨个粘贴。1.mysql数据库链接  本程序使用mysql数据库读取和保存数据