wanlyforever的博客

原创 去重处理— 高性能爬虫调优技术

如何优化爬虫！！！目标网站中的网页之间的链接可能是有序的也可能是无序的，甚至可能是具有很大重复性的，甚至某些网站采用页面互链的方式形成“链接死循环”诱杀爬虫，对于增量式爬网而言那些被爬取过的数据则没有必要重新获取，由其像对于网易此类老牌的信息门户内链接错综复杂，循环链接极多，面对这些情况我们就需要采用“去重处理”过滤那些没有必要爬取的页面跳出链接的死循环。什么时候应该进行去重处理？去重处理可以避免将重复性的数据保存到数据库中以造成大量的冗余性数据。不要在获得蜘蛛爬网结果后进行内容过滤，这样做