weixin_40244099的博客

1、什么是“网络爬虫”？ 简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。 2、未来发展趋势 对于这种趋势，一个形象的比喻就是抗癌。癌细胞的目的就是拼命躲过免疫细胞的识别，而免疫细胞的目标就是拼命分辨哪个是好细胞哪个是癌细胞。这场对抗爬虫的常规战眼看就要升级为“智能战”，而且战线会向云端转移。比如腾讯云的 WAF，听说最近就要通过人工智能的方法来识别爬虫。还有很多其他的云安全厂商，也开始主推反爬虫的技术。不过，就像人类目前难以消灭癌症一样，企业也难以完全消灭爬虫。但是我相信，在对抗中这条战线会达到一个精妙的平衡。这个战线每向前推进一步，都需要安全研究员付出艰辛的努力。

开发工具和查看代码！