- 博客(36)
- 收藏
- 关注
RSS订阅
原创 requests，golang版http请求，支持Ja3指纹修改
golang版requests，使用方式跟python版requests极其相似，欢迎各位大佬使用！requests支持以下新特性：1. 支持http2，默认以http2进行连接，连接失败后会进行退化而进行http1.1连接2. 支持JA3指纹修改3. 支持http2+JA3指纹4. 支持在使用代理的基础上修改JA3指纹
2022-03-30 18:19:17
4104
6
原创 同花顺财经列表数据获取（Cookie参数中的v值解决）
前言没啥可说的，直接上结果，你们要是有啥不会就看我的其他的文章，里面有基础的断点操作等等。QQ群聊855262907结果获取我们发现这个网站的结果不需要Cookie值也是可以正常获取的。当然这不是我们要的结果，因为我们需要对v参数进行解决，主要是练习自己的JS逆向水平啊！v值解决通过下图可以看出这个JS文件就是加密生成v参数的了，里面的具体解决步骤就不放出来了，平台不允许我放出来，具体可以加群进行交流。v值生成图片里面有很多环境检测的东西，比如document,window,navi
2021-01-23 22:54:42
3146
4
原创 一篇关于反爬虫和反反爬虫的文章（内含Python爬虫和JS逆向以及反反爬虫练习平台）
前言博主已经好几个月没有更新文章了，原因就是最近在搞一个反反爬虫练习平台给予大家免费使用。属实不会编写文案，所以粗制滥造的话语请大家不要建议，主要还是介绍《平头哥反反爬虫练习平台》，平台网址在最下方。爬虫根据百度百科的解释：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。危害：因为爬虫的出生，这对于最初期的大部分网站有非常大的危害。因
2020-12-29 15:59:19
1816
6
原创 Python3登陆土巴兔装修网，解决RSA加密
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在爬取老版今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法QQ群聊855262907分析土巴兔装修网先进行一次登陆，然后在开发者工具里面查找一下有参数的链接，搜索关键词username或者password看看有没
2020-11-03 14:32:22
623
2
原创 Python3爬取58同城租房数据，完美解决字体加密
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在爬取老版今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法QQ群聊85526290758同城网站分析58同城的数据爬取非常简单，唯一有点难的就是字体的加密，除此之外其他的数据用xpath即可获取。想爬取不同地方
2020-10-30 18:05:16
1675
原创 Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法(2020-6-29版)
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在爬取老版今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法破解as和cp参数今日头条某用户的链接：https://www.toutiao.com/c/user/token/MS4wLjABAAAAaezOXkHVr0
2020-06-29 13:42:51
32430
45
原创 Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法
前言任何爬虫工程师在爬取网站数据之前都会对网站进行分析，并且进行逆向(js)破解(加密)，所以我们在爬取今日头条的文章和视频数据之前，我们也需要先分析一下今日头条的反爬虫机制以及进行逆向(js)破解(加密)。分析今日头条今日头条某用户的链接：https://www.toutiao.com/c/user/3410443345/#mid=3413306633我们将对今日头条链接进行详细的分析...
2019-11-18 21:03:34
11963
29
原创 Gession是Golang的一个Session框架
Gession会话框架[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-32FqiKHW-1628651498677)(https://img.shields.io/badge/gitee-reference-red?logo=gitee&logoColor=red&labelColor=white)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KDpAwVOy-1628651498680)(https://img.shiel
2021-08-11 11:18:53
399
原创 XPath Tools - XPath浏览器插件(自己纯手工制作的)
前言今天要介绍一款自己开发的浏览器插件（XPath tools），此款插件主要是用来帮助大家使用XPath的时候能够快速的找到对应的内容，此款插件是不支持使用快捷键来选中某内容来快速获取XPath路径的，因为这样我觉得还不如直接打开控制台从里面直接复制来的好。内容和效果跟XPath helper一样，因为也是模拟他的页面嘛，还望大家轻喷啊！效果图获取元素时：获取内容时：提示错误时：唤醒插件快捷键Windows是：Ctrl+Shift+AMac OS是：Option+Shift+A安
2021-01-25 20:40:25
944
1
原创 Python3爬取腾讯新闻(手机端)广告数据
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在爬取老版今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法WAP端跟APP端完全没啥区别，所以能用WAP端就用WAP端爬取数据，APP端涉及逆向APP比较复杂，所以推荐爬取WAP端的数据。对比提交数据Form Dat
2021-01-23 22:58:15
1129
原创 Python3爬取百度文库数据
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在爬取老版今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法QQ群聊855262907分析百度文库经过一个一个的排查，发现数据就在这里，你直接搜索也是可以的，那样更快。我们直接搜索参数authorizatio
2020-11-02 11:57:42
1738
1
原创 Python3爬取迅捷语音转文字(包含持久化登陆和分片上传文件)
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在上一次爬取今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法分析迅捷语音转文字网站迅捷语音转文字功能只有VIP用户可以使用，非VIP用户不能上传大于2M的音频文件，这里只是说明网站的整个破解学习过程，不是破解此网站的
2020-08-23 14:43:43
717
原创 Python3爬取淘宝网商品数据
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在上一次爬取今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法分析淘宝网这次选择的是淘宝网热卖而不是淘宝网，二者虽然名字有不同，但是数据还是一样的，区别就在于前者把后者的所有店铺和商品的海量数据按照销售量、好评度、信誉
2020-08-20 14:19:33
7369
1
原创 安装并启动agentpool代理池
agentpoolPython打造自己的爬虫代理池agentpool是基于python3.7版本的。安装python3.7yum -y install gcc gcc-c++ make zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-deve
2020-06-21 00:36:47
576
原创 Python打造自己的爬虫代理池
代理介绍爬虫工程师在爬取网页的过程中多多少少都会碰到各式各样的反爬虫手段，比如封IP、验证码、JS加密、数据加密等，这里最为常见的就是封IP了，当同一个IP访问网站的频率过高时，网站就会认为你是一个机器人而不是真人，这时候就会对此IP进行封禁处理，让你再次访问的时候出现验证码让你来识别，或者会给你一个提醒等，这个时候你的爬虫就爬不出来任何的数据了，此时要想破解封IP只能更换自己本机的IP或者进行代理操作，这就是代理的重要性，代理有免费代理和付费代理，免费代理非常不稳定，往往需要自己去维护。代理池介绍简
2020-06-21 00:34:53
1278
原创 Nginx的缓存机制(Proxy Buffer、Proxy Cache、Proxy Store、Memcached)
Nginx的缓存机制WEB缓存简介Web缓存（或HTTP缓存）是用于临时存储（缓存）Web文档（如HTML页面和图像），以减少服务器延迟的一种信息技术。Web缓存系统会保存下通过这套系统的文档的副本；如果满足某些条件，则可以由缓存满足后续请求。 Web缓存系统既可以指设备，也可以指计算机程序。Proxy Buffer的使用Proxy Buffer启用后，Nginx服务器会异步地将被代理服务...
2020-05-07 00:37:15
3363
原创 Nginx的Gzip压缩功能
Nginx的Gzip压缩功能Gzip模块支持的配置指令ngx_http_gzip_module模块ngx_http_gzip_module模块主要负责Gzip功能的开启和设置，对响应数据进行在线实时压缩。指令值作用gzipon |offon=启用Gzip功能，off=不启用Gzip功能gzip_buffersnumber sizeGzip压缩文件使用缓...
2020-05-06 03:18:01
375
原创 Nginx优化之高并发配置，支持2万到3万并发量
Nginx安装安装过程在下面的文章当中，里面详细的介绍了Nginx服务的安装过程。Nginx编译安装详细过程Nginx服务的启停控制Nginx启停控制的办法中一共有两种方法可以用来对Nginx服务的进行启停操作。Nginx服务的启停控制压力测试使用压力测试来对网页进行高并发测试，就能看出WEB服务器的并发量，这里使用Apache自带的ab压力测试工具进行测试。ab压力测试的安装、使...
2020-05-05 21:44:15
15269
6
原创 ab压力测试的安装、使用、破2万并发测试
ab压力测试ab的简介ab命令是Apache Bench的缩写。ab命令是Apache自带的压力测试工具。ab命令非常的实用，它不仅可以对Apache服务器进行压力测试，也可以对其它的WEB服务器进行压力测试。如：Nginx、Tomcat、IIS等ab的原理ab命令的原理ab命令会创建多个并发访问线程，模拟多个访问者同时对某一URL地址进行访问。它的测试目标是基于URL的，因此，它既...
2020-05-05 16:24:05
7831
2
原创 Nginx服务的启停控制和命令用法以及平滑升级
安装Nginx服务安装过程在下面的文章当中，里面详细的介绍了Nginx服务的安装过程。Nginx编译安装详细过程Nginx服务的启停控制Nginx启停控制的办法中一共有两种方法可以用来对Nginx服务的进行启停操作。1.信号控制(非nginx内置命令中的信号控制)nginx是由一个主进程(master process)和多个工作进程(worker process)组成。所谓信号控制就...
2020-05-03 01:38:55
561
原创 Python3爬取京东商品数据，解决赖加载问题
前言在这里我就不再一一介绍每个步骤的具体操作了，因为在上一次爬取今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码。Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法爬取数据爬取京东商品信息首先需要先获取到他的商品url链...
2019-11-18 21:03:10
6038
3
原创 Charles抓取WAP(手机)端小红书的HTTP数据包和HTTPS数据包
下载Charles百度网盘：Charles安装包提取码：13js安装Charles详细安装步骤在：Charles抓取PC(电脑)端HTTP数据包和HTTPS数据包除了需要这个抓包工具以外我们还需要一个手机模拟器，因为有手机模拟器后，你的操作会变的简单的多，用真机的操作和手机模拟器是一模一样的，下面用手机模拟来进行操作，我用的是夜神模拟器。抓取数据Help>>SSL Pr...
2019-11-06 21:52:29
4148
2
原创 Charles抓取PC(电脑)端HTTP数据包和HTTPS数据包
下载Charles百度网盘：Charles安装包提取码：13js安装Charles(针对新手)双击打开已下载好得Charles，点击Next进行下一步。点击I accept the terms in the License Agreement，在点击Next。自己选择安装路径，然后在点击Next。点击Install即可进行安装。等待安装完成。点击Finish即可完成安装...
2019-11-06 21:15:23
17235
1
原创 解决Python3安装PyHook3失败
前言python3使用pyHook提示错误：TypeError: MouseSwitch() missing 8 required positional arguments: ‘msg’, ‘x’, ‘y’, ‘data’, ‘flags’, ‘time’, ‘hwnd’, and ‘window_name’当鼠标焦点所在的窗口名包含非ascii码，比如中文是unicode编码，转码就会出现问...
2019-10-25 16:03:49
5013
3
原创 Python多线程同步输出1-100的数
一、多线程是什么我们的程序默认只有一个进程，进程中有一个主线程，但是有个时候我们进行多个任务同时工作的时候就会> 发生任务不同步的问题，因为只有一个主线程，而主线程同时只能完成一个任务，所以下一个任务就会等待> 上一个任务完成后才能继续运行。代码如下：def print_num(): while True: print(1) def print_str(): ...
2019-10-16 15:12:03
2883
原创 “让我帮你百度一下”源码
序言昨天我在微信群里面看了一个很有趣的网站，就是输入自己想要输入的问题，然后再帮你生成一个链接，你访问后就自动给你跳转到相应的百度链接上去，这个网站实现并不是很难，只是很有趣而已，所以在这里分享一个自己纯手写的，原生js写出来的“让我帮你百度一下”这个站点，先看看效果图吧！github地址：https://github.com/wangluozhe/baiduyx/tree/master...
2019-08-01 11:12:50
4065
原创 Python3之Flask项目上线到Apache上(Python3+Flask+Apache+mod_wsgi)
项目为什么需要部署到Apache上？一般来说在测试环境上，大家都是直接用app.run(host=‘0.0.0.0’,port=5000)这样的形式来发布自己的项目并观察网页结构的改变，这样并不是不可以，只是只适用于测试环境上，如果进入线上环境的话会因为并发和性能的问题而导致网页非常的卡顿以致于给用户的体验造成影响，所以为了避免这种情况的发生，我们使用apache来发布自己的项目是非常友好的。...
2019-07-27 22:34:50
1148
原创 （微信编辑器）UEditor富文本嵌入135编辑器
UEditor简介UEditor是由百度「FEX前端研发团队」开发的所见即所得富文本web编辑器，具有轻量，可定制，注重用户体验等特点，开源基于MIT协议，允许自由使用和修改代码。本文以最新版本的1.4.3.3版本为教程来讲述具体文档参见：http://fex.baidu.com/ueditor/135编辑器简介135编辑器是一款提供微信公众号文章排版和内容编辑的在线工具,样式丰富,支持...
2019-06-08 15:44:53
11947
7
原创 Nginx常见负载均衡算法和第三方负载均衡算法
Nginx负载均衡算法首先呢我在这里给大家先介绍一下什么是负载均衡，他的常见算法有哪些。Nginx他是一个扩展性非常强大的WEB服务器软件，他能够支持除自己本身以外的第三方调度算法，如：fair、url_hash等等。负载均衡(参照网络)负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负...
2019-04-04 19:28:26
3796
原创 Nginx编译安装详细过程
下面为文章结构Nginx服务基本HTTP服务:高级HTTP服务:邮件代理服务:安装Nginx服务Nginx预编译常用的选项Nginx服务基本HTTP服务:1.处理静态文件(HTML静态网页及请求);包括索引文件以及支持自动索引.2.打开并自行管理文件描述符缓存.3.提供反向代理服务,并且可以使用缓存加速反向代理,同时完成简单负载均衡及容错.4.提供远程FastCGI服务的缓存机制,加速...
2019-02-28 22:14:06
1013
原创 Linux常见目录的作用
常见目录的作用:目录名目录的作用/bin/系统命令保存目录,所有用户都可以执行,在单用户模式下也可以使用此目录下的命令/sbin/系统环境设置相关命令的保存目录,只可以root用户执行/usr/bin/系统命令保存目录,所有用户都可以执行,这些命令与系统启动无关,在单用户模式下不可以执行/usr/sbin/存放根文件系统不必要的系统设置命令/b...
2019-02-19 15:07:08
210
原创 Python3 使用sm模块发送邮件
sm(Simple Mail)即简单邮件，它是基于python3中的smtplib模块进行的二次开发，功能跟smtplib没什么区别，但是其将繁琐的信息封装过程变得简单化。ZIP下载地址：https://codeload.github.com/wangluozhe/sm/zip/masterGithub地址：https://github.com/wangluozhe/smSMTP（Si...
2018-11-18 23:07:05
1795
原创 Python3 str的内置函数
str.capitalize()格式：capitalize(...) S.capitalize()->str 返回S的大写版本，即生成第一个字符有大写字母其余小写字母。 返回值为str类型的结果。String = 'My Name Is Tom'result = String.capitalize()print(result)输...
2018-11-08 16:11:22
3723
2
原创 Python递归求出列表（包括列表中的子列表）的最大值
Python递归求出列表（包括列表中的子列表）中的最大值要求：求出列表中的所有值的最大数，包括列表中带有子列表的。按照Python给出的内置函数（max）只能求出列表中的最大值，无法求出包括列表中的子列表的最大值Python3代码如下：#!/usr/bin/env python3# _*_ coding:UTF-8 _*_list_tmp = [1,3,5...
2018-09-29 15:30:21
13536
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人