- 博客(5)
- 收藏
- 关注
RSS订阅原创 六、创建一个基于Python的代理采集项目（04）通过代理采集
代理拿到了，要应用到采集上面，需要在requests.get()中增加一个proxies参数为了方便以后的代码编写，先梳理一下代码因为做采集，header要变换，ip要变换，因此这两块要独立出来，方便维护有关采集方面的设置，也需要做成一个公用配置文件，方便以后修改参数在左侧src目录点右键，选择New -> PyDev Package起个common名字的包，作为通用配置包在common中创建settings.py，有关采集系统的配置信息，都放在这里# -*- .
2021-07-16 23:17:53
319
原创 四、创建一个基于Python的代理采集项目（02）构造header
抓取ip没有问题了，但是如果不设置header的话，很容易对方主机发现是程序访问而不是人访问
2021-07-11 20:51:59
164
原创 三、创建一个基于Python的代理采集项目（01）获取IP地址
只创建一个HelloWorld程序实在是体现不出python的强大来，而且很无趣，但谁让它有名气呢听说Python对采集的支持非常强大，搞个采集项目吧采集需要注意的点：1、采集的内容源要合法，对方让采集才能去采集2、采集来的内容，要用在合法的地方3、采集效率要高一些，要不数据太多的话，得采集到什么时候去4、采集不能让对方反感，不然就给封了前面两点靠个人本心了，一般遵纪守法的公民都没啥问题第三点需要用到多进程和多线程第四点涉及到反爬虫，需要考虑的多一些先来个简单点的
2021-07-11 18:39:46
153
原创 二、创建第一个Python程序，HelloWorld.py
环境搭建好了，下一步就是写代码了，先写一个全世界都在用的hello world吧1、创建一个python项目 File -> New -> Project... 选择PyDev Project 项目名称随便写一个，这里写的是py_exam，点选第二个选项，创建src目录并将其添加到PYTHONPATH 对于一个新的项目来说，会弹出一个提示框，是否开启PyDev透视框，这里选择开启，并记住自己的选择...
2021-07-11 17:20:13
1466
原创 一、Windows下eclipse + Python3环境搭建
可能很多人还在用着Windows操作系统做开发吧，也许有人使用mac，这里暂时不做讨论，因为我不用mac。在Windows中搭建一个Python3开发环境是比较容易的，因为上下班带个电脑非常不方便，因此开发环境是放在U盘中的，为此还特地买了个高速U盘（闪迪 cz880 256G），号称420MB/s读取，380MB/s写入，实际使用的话呢，开始还可以的，但是随着u盘里装的东西越来越多，速度会越来越慢，对比移动固态硬盘来说，还是固态速度更快，只不过固态比u盘个头大不少目前能做python3开发的I
2021-07-11 15:07:37
432
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人