mad_old_man的博客

原创 用Python爬取京东商城页面图片

有些网站会采取反爬虫措施，例如检测请求头中的 User-Agent 字段或者 IP 地址。如果您的请求被识别为爬虫请求，那么网站可能会返回一个空的 HTML 页面或者一个不完整的 HTML 页面，这会导致 Beautiful Soup 无法正确解析页面。这里以京东商城页面为例，运行这段代码之后会发现 len(imlist)=0这是为什么呢？所以只需要在请求的时候模拟浏览器的User-Agent请求头就好了！反爬虫机制是指网站为了防止爬虫程序对它们的数据进行抓取而采取的一系列技术手段。原因是因为反爬虫机制！