- 博客(1)
- 收藏
- 关注
转载 2020-10-14
转载避免网络爬虫IP被封的策略背景这两天一直在搞Java网络爬虫作为Java课程设计,目标是爬取豆瓣电影top250的影评,之后可能还需要进行情感分析,当然这就不是爬虫的内容了。我的爬虫程序在一开始只是一个页面一个页面的爬取信息,一直没出现什么太大问题,直到昨晚进行整体测试时,出现了IP被封的问题。大概仅仅爬取了数万条评论,再次进行测试后就出现了进程异常报错。上网搜索发现可能是IP被封了,这时候再进入豆瓣网站提示我需要登录才能访问,这说明确实是被封了。今天也再次出现这个问题,被封了三个IP,幸好实验
2020-10-14 11:36:09 310
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人