- 博客(17)
- 收藏
- 关注
RSS订阅原创 住宅IP代理和数据中心IP代理有什么区别？
本文关键词：住宅IP代理,机房IP代理,爬虫IP代理在互联网产业中，IP地址作为最基础的资源，具有广泛的作用，比如用在爬虫采集当中、舆情观察、价格监控等业务中，但是你知道吗？IP地址其实分为很多种类。我们个人消费者、家庭用户通过找各大运营商拉的宽带，实际上IP地址都是动态的，基本上每天都会变化，属于动态IP，但是这一类IP根据来源可以归类为住宅IP或者家庭IP，那么与之对应的，就还有机房IP，来...
2020-03-27 12:01:49
1486
原创 什么是独享住宅IP代理？为什么爬虫适合用住宅http代理？
首先我们要弄清楚，什么是住宅IP？住宅IP是ISP（互联网服务提供商）或者ADSL提供商分配给个人用户的实际家庭住宅IP地址，由100%的WIFI网络真实用户组成，家庭住宅IP是真实的用户设备IP，与普通网络用户使用的IP完全一致。家庭住宅IP有什么特点？家庭IP具有不连号、散点分布、与普通网民分布一致的特点，相比于机房等IP，具有成功率更高，被Ban概率更低，但是在维持稳定性上会略差，在...
2019-11-04 11:14:27
2372
1
原创 如何申请独享住宅http代理的免费测试账号？
如何申请飞蚁代理IP免费测试账号（http代理/L2TP）？现在很多互联网场景会用到http代理，比如爬虫采集、补量业务等等，但是目前高质量的http代理都是付费的，但在购买前，我不确定某些提供商的IP能否适合我，所以需要进行测试，那么如何申请免费的http测试呢？这篇细致到每一个步骤的手把手的教程，一定可以让你简单学会。首先打开网站首页，在申请测试前，我们需要注册一个账号，注册在网站右上角，...
2019-10-16 14:49:09
998
原创 Python爬虫方式抓取免费http代理IP
我们新手在练手的时候，常常需要一些代理IP进行爬虫抓取，但是因为学习阶段，对IP质量要求不高，主要是弄懂原理，所以花钱购买爬虫代理IP就显得没必要（大款忽略）,今天跟大家分享一下，如果使用爬虫抓取免费的代理IP。由于某些网站对会对爬虫做限制，因此常常需要通过代理将爬虫的实际IP隐蔽起来，代理也有分类，如透明代理，高匿代理等。本文主要讲述如何获取代理IP，并且如何存储和使用。某些网站会免费提...
2019-07-23 16:37:43
6372
原创 分享推荐几家适合爬虫的代理ip（飞蚁代理、阿布云、亿洲网络）
多年的爬虫总结，如今要改行了，分享一下我觉得好用的几家爬虫IP代理。飞蚁代理：http://www.feiyiproxy.com阿布云：https://www.abuyun.com/亿洲网络：https://www.ueuz.com/...
2019-04-16 15:21:33
8456
5
转载 python 模拟各大网站登陆方式，以及一些爬虫程序
仅供练习使用，代码注释很详细收集了一些各大网站登陆方式， 和一些网站的爬虫程序，有的是通过 selenium 登录，有的是通过抓包直接模拟登录，有的是利用 scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式，和爬虫程序，会持续更新。。。昨天加了个班，对一些老代码进行了重构和测试，大部分都可以用。欢迎 star模拟登录一些常见的网站如果你有什么比较难登陆的网站，比...
2019-03-15 14:27:40
815
1
原创 http代理动态转发，什么是动态转发代理ip？
很多用户朋友用过比如飞蚁代理的代理IP就知道，在生成API链接后发现，返回的IP只有一个，端口却有很多个，不知道是什么原因，所以很多人会有疑问 。那么，什么是动态转发代理IP呢？动态转发的意思是，您指需要将您的代理设置成我们的服务器地址，比如183.129.244.16，然后去请求任何一个目标网站或者服务器，我们将以一个随机的或者客户指定地区的IP地址代为请求并返回目标网站的结果，简单一点来说，...
2019-03-05 11:22:01
6610
转载 l2tp协议介绍,跟PPTP有什么不同?
L2TP（Layer 2 Tunneling Protocol，二层隧道协议）是VPDN（Virtual Private Dial-up Network，虚拟私有拨号网）隧道协议的一种。VPDN是指利用公共网络（如ISDN或PSTN）的拨号功能接入公共网络，实现虚拟专用网，从而为企业、小型ISP、移动办公人员等提供接入服务。即，VPDN为远端用户与私有企业网之间提供了一种经济而有效的点到点连接方...
2019-01-04 10:08:42
12518
转载 飞蚁http代理：如何寻找爬虫入口？
寻找爬虫入口1 、本次任务的入口 这个爬虫的更好的入口就是我们平常使用的搜索引擎。搜索引擎虽然有很多种，但是其实都是在干一件事，收录网页，处理，然后提供搜索服务。在平时使用的过程中，我们通常都是直接输入了关键词就直接搜索了，但是其实还有很多的搜索技巧， 比如对于这个任务来说，只要我们这样搜索，就可以得到我们想要的数据了。site:www.feiyiproxy.com现在我们在百度，谷歌， 搜...
2018-12-13 10:22:57
840
原创 用于爬虫的高匿动态ip代理要怎么选择？存在哪些猫腻？
作爬虫采集的工程师们对高匿动态爬虫代理ip肯定不陌生，也接触过不少爬虫代理ip的提供商家，那么对于爬虫工作，要如何去选择爬虫代理IP呢？哪样的ip代理提供商更加适合自己呢？首先就是ip量，ip量一定要大，都知道爬虫消耗起ip来是非常可怕的事情，一个爬虫项目一天消耗几百万上千万的ip资源是非常常见的事情，在我看来，能跟爬虫项目比消耗ip数量的，当属刷量业务了，当然咱们今天先不谈。其次就是高质量...
2018-12-07 10:20:17
1788
原创 飞蚁代理在爬虫使用过程中解决ip被封锁IP限制的8种方法
方法1使用多IP代理：1.IP必须需要，比如ADSL。如果有条件，其实可以跟机房多申请外网IP。2.在有外网IP的机器上，部署代理服务器。3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处：1.程序逻辑变化小，只需要代理功能。2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。方法...
2018-11-28 11:07:28
1704
原创 搭建一个自己的百万级爬虫代理ip池.
做爬虫抓取时，我们经常会碰到网站针对IP地址封锁的反爬虫策略。但只要有大量可用的代理IP资源，问题自然迎刃而解。以前尝试过自己抓取网络上免费代理IP来搭建代理池，可免费IP质量参差不齐，不仅资源少、速度慢，而且失效快，满足不了快速密集抓取的需求。收费代理提供的代理资源质量明显提升，经过多家测试，最终选定使用飞蚁代理作为代理提供平台。飞蚁代理代理IP平台每天能提供大概200万个不重复的短效高匿...
2018-11-09 11:45:52
9564
原创 爬虫用户要如何选择代理ip提供商?
做爬虫的都绕不过去IP代理这一条槛，免费的ip代理、付费的、自己扫的、应有尽有，尤其是趟过付费IP代理这趟浑水的，会发现市面上的ip代理鱼龙混杂，普遍存在以下问题：1、ip池夸大，吹嘘自己有几百万的量，实际上只有十几万到二三十万，因为重复使用的原因，造成ip可用率不高。那如果遇到大客户怎么办呢？只能找更大的ip代理供应商寻求合作，赚取差价，那么作为终端客户，又被人掳羊毛了。（实际上ip量夸大在...
2018-10-29 15:24:40
621
原创 数据采集爬虫ip代理基本原理-飞蚁代理
我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么正常，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden，这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息，这种情况可以称为封...
2018-10-24 14:54:13
1179
原创 [案例]飞蚁代理使用说明
一 提供服务当前只支持高匿的 http/https 代理二 实现机制图示数据转发流程：1连接接入服务器(proxy.360pdown.com:88)2发送数据至接入服务器3接入服务器从 IP 池中选择一个合适的 IP(x.x.x.x)并把数据转发到此 IP4x.x.x.x 访问真实服务器并按原路回送数据三 如何使用1申请使用账号(以 lt_test_1 为例)2使用飞蚁代理...
2018-10-23 15:47:58
1852
原创 爬虫ip代理对高匿代理ip的必要性
对于爬虫来说，在听到ip代理的时候，听得最多的莫过于透明代理、匿名代理、高匿代理这几个词了，那么分别是什么意思呢？互相之间有什么样的区别呢？为什么说爬虫ip代理一定要使用高匿代理呢？带着这些问题，让我们一起来揭开匿名级别的面纱。第一高匿名：服务器不知道你使用了代理ip和不知道你真实ip第二匿名：服务器知道你使用了代理ip但不知道你的真实ip第三透明：服务器知道你使用了代理ip而且知道你真...
2018-10-23 14:23:07
5355
2
原创 [分析]什么样的爬虫ip代理性价比最高?
说在前面，这里只是给大家分析一下目前的几种代理情况，具体付费的爬虫代理我不做推荐，因为不同的业务对ip有不同的要求，也许我推荐的是我用着好的，但是不见得适合你的业务。目前的代理ip基本都有测试服务，建议大家多进行对比测试，选择最合适自己的才是王道。随着互联网的高速发展，无论是不是互联网企业都开始了大数据采集与分析，建立自己的大数据库，从而催生了无数的数据采集公司，也就是我们所说的网络爬虫、网...
2018-10-19 15:39:59
868
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人