oqqZuo12456789的博客

原创 怎么爬取全量企业工商数据（思路）

第一：去官网，数据最新，最权威这个页面大家很熟悉，我们看了两眼，果断放弃1：数据响应太慢，已经被大公司爬的无法正常访问了2：有一定的图片反爬，人力物力投入比很低，放弃第二：各大三方网站，TYC为例他们的反爬主要 三种：1：没有地方显示全部数据，主要以 关键词搜索为主，这样就在 根本上 防止了 全量数据的展示，即使没反扒，你也拿不到全量2：只显示前几页，继续浏览需要，登录账号。。。这就更绝了，需要大量账号注册，成本一下子上来了3：字体反爬，验证码反爬，cookie校验。。。这些人工费点时间