weixin_38394761的博客

原创 动态网页信息爬取

第一篇博客，以爬虫开头，虽然以前也学过爬虫，但是时间比较久，现在又重新捡起，今天谈谈动态网页信息的爬取。 首先介绍一下爬取网页信息的基本思路：1.使用爬虫请求网页，获取网页的源代码 2.解析源代码，在源代码中找到自己想要的信息；3.若还有url地址，再次请求，重复1和2两个步骤。 找到我们所要信息的url，而有些url并不是我们所要信息的真实url，查看源代码时不能找到所要的数据，这是因为这部分信...