- 博客(102)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 python图像识别 - paddleocr (小白安利款)
前言之前我有记载过，关于Python的图像识别的文章，但是识别率不高且不够灵活，实用性不强，所以不怎么推荐最近发现一个新的Python写好的的轮子--paddleocr，本人也安装并使用了，识别率也大大提高，一些工作中也能利用到，特别不错~相关链接：https://github.com/PaddlePaddle/PaddleOCR/blob/develop/doc/doc_ch/whl.md安装与使用pip安装： pip install paddleocr注意：安装完成以后，运
2020-11-10 11:52:17
23493
6
原创 从 GitHub 上手动安装python包教程
基本流程第一步，下载第二步，解压，打开到出现 setup.py 的文件目录第三步；打开 Windows Powershell，在当前文件目录中，shift + 鼠标左键，出现第四步，激活虚拟环境该步针对安装虚拟环境的有用，若没有安装虚拟环境，则该步忽略运行第五步我是借助 anaconda 配置的GPU学习环境，所以还必须激活对应虚拟环境位置...
2020-03-17 09:14:58
22957
11
原创 记：解决ADB Interface 找不到驱动程序方法
前言由于之前一直在自己笔记本上跑数据，公司台式机上一直没安装sdk，终于有时间了，以为很快安装好，没想到台式机碰到一堆坑。最后终于解决，特此记录，希望给有同样问题的小伙伴参考~安装好sdk后，以为用的我小米手机可以做真机调试了，手机连上PC之后驱动居然没装上，一直显示为安装成功，如图： 解决方法找了好多所谓的...
2019-12-27 18:24:41
68012
2
原创 个人总结 - JS逆向解析
目前加密的方式总结有下面几点： 对称加密（加密解密密钥相同）：DES、DES3、AES 非对称加密（分公钥私钥）：RSA 信息摘要算法/签名算法：MD5、HMAC、SHA 前端实际使用中MD5、AES、RSA，自定义加密函数使用频率是最高的 几种加密方式配合次序：采用非对称加密算法管理对称算法的密钥，然后用对称加密算法加密数据，用签名算法生成非对称加密...
2019-08-13 15:10:39
23639
1
原创 selenium进阶设置
问题一：有界面时可以展示的元素，无头模式报错element not interactable：通过错误截图发现，页面上有该元素，但是页面不够大，没有显示想定位的元素。
2024-03-01 11:25:12
321
原创 记：selenium定位验证码元素后，使用location截取验证码对应不上
有的也不一定，我另一台机器换了显示器就识别不了，原来的没问题。有解决继续更新~~
2024-02-29 17:24:42
177
1
原创 滑块验证码之模拟人工滑速
代码直接运行即可此处是用的selenium模拟，主要记录的难点是如何具体原理和利用到的东西都有做注释，逻辑完整，小白还是可以尝试理解的。
2023-11-24 18:33:10
940
原创 Hook+jsdom 解决cookie逆向
前言记录下如何破cookie逆向目标目标网址：https://q.10jqka.com.cn/目标接口：http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/2/ajax/1/对抗：cookie反爬虫处理，关键字v，如图解决步骤1、JS中关键字查找如上，我们找到了关键字 v，那么接下来就用hook搜查点击F12，打开 开发者工具，选择Console直接输入hook代码(function () {
2023-11-23 14:01:16
1051
原创 selenium4.15.2 报错Exception managing chrome: error sending request for url 和 打开Chrome浏览器自动退出问题
这里记录下，给相关词条增加个搜索~
2023-11-10 10:26:47
9421
14
原创 小工具 - Python图片转PDF文件
主要整理记载一些python实现的小脚本，网上基本转换要会员，懒得搞了，这个一键生成，可以打包成exe文件使用。
2023-10-19 16:11:04
847
原创 总结TLS指纹反爬
TLS指纹，也有人叫JA3指纹。在创建TLS连接时，根据TLS协议在Client Hello阶段发送的数据包就是就是TLS指纹。不同浏览器、不同版本（不同框架）因为对协议的理解和应用不一样，所以发送的数据包内容也就不一样，所以就形成了TLS指纹。
2023-07-10 18:09:32
3201
原创 高效简单解决滑动验证码
剩下的问题就好办了，我们只需要对轮廓的面积或者周长范围做限制，就能过滤出目标轮廓的位置， 前提是我们对目标位置的轮廓大小是预先确定的。轮廓的面积大概是 6000 到 8000 之间，周长在 300 到 500 之间， 最后用外接矩形获取该轮廓图的坐标位置和宽高大小。首先先来分析下，核心问题其实是要怎么样找到目标缺口的位置，一旦知道了位置，我们就可以借用selenium等工具完成拖动的操作。首先将图片进行高斯模糊处理，高斯模糊的主要作用是减少图像的噪声，用于预处理阶段。opencv 是什么？
2023-06-29 16:22:08
958
原创 个人总结 - IP代理池的思考
今天话有点多，连续发了几篇博客，主要平常忙的话就没时间关注博客这块，今天兴致在，就勤快点哈哈一般公司除非有钱，他可以购买ip服务器，或者大量高质量ip，但是有的时候，公司经济有限，需求量不大，个人本身做些业务的需求上，那么就可以自己搭建个本地的个人ip池。因此我们可以理清下搭建池的思路与逻辑如何。
2023-06-28 17:39:35
2065
原创 搭建IP代理池 - ProxyPool
ProxyPool是一个简易高效的代理池，他可以在windows上搭配redis使用，也可以在Docker使用提供如下功能：1、定时抓取免费代理网站，简易可扩展。2、使用 Redis 对代理进行存储并对代理可用性进行排序。3、定时测试和筛选，剔除不可用代理，留下可用代理。4、提供代理 API，随机取用测试通过的可用代理。
2023-06-28 16:24:18
3254
原创 ATX Server2-多设备集群环境搭建
ATX Server2是⼀个移动设备管理平台，主要是Python3+NodeJS+RethinkDB开发。用于集中管理我们的设备，以及远程运行测试用例。官方文档：https://github.com/openatx/atxserver2搭建这样⼀套系统，需要：1、atxserver2： 安装网址： https://github.com/openatx/atxserver2。
2023-06-26 16:12:39
1100
转载 Python 远程控制 Windows 服务器
前言在很多企业会使用闲置的 Windows 机器作为临时服务器，有时候我们想远程调用里面的程序或查看日志文件Windows 内置的服务「 winrm 」可以满足我们的需求它是一种基于标准简单对象访问协议（ SOAP ）的防火墙友好协议，允许来自不同供应商的硬件和操作系统进行互操作官网：https://docs.microsoft.com/en-us/windows/win32/winrm/portal1. 被控端 windows这里以 Windows 10 系统机器为例具体操作步骤如下：1-
2022-05-16 15:46:53
1310
1
原创 【程序告警】Python发送通知到企业微信
前言目前疫情严重，我因为公司项目上的程序每天都要运行，下班的时候人不在，不知道程序运行状态怎么样，有没有报错，能不能及时修复，所以在项目上加了个程序告警，以方便我及时了解程序状态。目前常见的告警方式有：邮件，电话，短信，微信。因为我工作是用的企业微信，应用使用时间也多，有历史记录，查看也方便，所以我选择的是企业微信。步骤1.新建应用首先登陆网页版企业微信： https://work.weixin.qq.com/点击 应用管理 ==> 应用 ==> 创建应用上传应用的 logo，输
2022-04-14 18:07:51
1510
原创 总结：用Python实现定时任务的八种方案
前言目前为止，在我工作中，常常会用到需要周期性执行的任务，其中，第一种方式是采用 Linux 系统自带的 crond 结合命令行实现。另外一种方式是直接使用Python。因此，我总结整理了下的是常见的Python定时任务的实现方式，方便给需要的人采用。定时目录方案利用while True: + sleep()实现定时任务使用Timeloop库运行定时任务利用threading.Timer实现定时任务利用内置模块sched实现定时任务利用调度模块schedule实现定时任务利用任务框架APSchedule
2021-10-13 17:24:37
481
原创 最新：GoDadddy注册的域名，如何将域名解析设置到腾讯邮箱(MX记录)
注册腾讯邮箱1、首先我们需要搜索腾讯企业邮箱注册一下2、然后域名管理里面直接显示绑定域名3、然后就是输入域名，输入之后就跳转到这个页面GoDadddy官网设置MX解析1、首先搜索GoDadddy官网 https://sg.godaddy.com并且登录你的GoDadddy账号2、登录进去以后，找到帮助-域名服务器和 DNS - (下拉)管理 DNS 记录点击进去，找到域名服务器点击你会看到如图，按照红框内容找到DNS域名管理,这里可以知道如何更改域名的流程(https://sg.go
2021-09-26 16:54:41
2035
原创 记录：weditor/uiautomator 报错出现 cannot identify image file 解决方案
前言由于现在做的移动端多设备群控框架已经搭建的差不多，手中的手机设备也有10多台在群控运行，有小米，红米，荣耀，vivo，oppo ，华为不同的手机设备都有在用。每天完成不同的任务需求抓取。在此期间每次配置设备时有的手机安装atx在weditor上运行时总会报错关于 cannot identify image file <_io.BytesIO object at 0x0000015F5F6E2FC0> 等类似错误，如图：对此，也困扰了我一段时间，网上也没有类似案例查询，只能一步步的自己
2021-07-05 16:52:05
2832
2
原创 Dict 的实现原理
简介Python内部很地方都使用着dict这种结构，在对象属性__dict__就是一个字典，所以对其效率要求很高。从接口上和实现上，python的dict都算是一种hashmap。dict采用了哈希表，最低能在 O(1)时间内完成搜索。同样的java的HashMap也是采用了哈希表实现，不同是dict在发生哈希冲突的时候采用了开放寻址法，而HashMap采用了链接法。二. 字典是否是有序的？在Python3.6之前，字典是无序的，但是Python3.7+，字典是有序的。在3.6中，字典有序是一个i
2021-06-11 17:40:07
720
1
原创 HTTP/2.0 - 最新超强反爬虫方案!(禁用所有 HTTP 1.x 的请求)
现在很多爬虫库其实对 HTTP/2.0 支持得不好，比如大名鼎鼎的 Python 库 —— requests，到现在为止还只支持 HTTP/1.1，啥时候支持 HTTP/2.0 还不知道。
2021-06-01 12:18:58
2189
2
原创 Pandas常用操作方法
本文总结自己经常使用的pandas操作方法：import pandas as pdimport numpy as np1、创建DataFrame数据方式1：通过字典直接创建df1 = pd.DataFrame({ "name":["小明","小红","小孙","王小","关宇","刘蓓","张菲"], "age":[20,18,27,20,28,18,25], "sex":["男","女","男","男","男","女","女"], "score":[6
2021-05-07 12:16:52
2884
原创 celery 爬虫使用
简介celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。它由三部分组成，消息中间件，任务执行单元和任务执行结果存储组成。官网 ：http://www.celeryproject.org/ 下载：pip install celery消息中间件：Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等。任务执行单元：Worker是Celery提供的任务执行的单...
2021-04-02 18:13:17
695
1
原创 个人总结 - apk反编译爬虫 - 补充
前言对之前apk反编译的补充，很久没更新，怕忘记啦。正所谓好记性比不过烂笔头，哈哈上一篇的地址：https://blog.csdn.net/weixin_42277380/article/details/97235098?spm=1001.2014.3001.5501问题一：app抓到数据包，可返回的数据是加密的原因：被AES加密了，要想还原出明文，必须要反编译拿到KEY解决过程1、下载APK文件2、通过搜一些特征字符串，确定需要的.dex文件 ，例如找到url中加密的参数来搜
2021-04-02 11:35:00
369
2
原创 Python 自动化脚本部署服务器流程
前言目前在理财通做定时自动化爬虫，之前完成的代码实现的部分，现在本地运行稳定后，就考虑将它部署到服务器，根据自己的定时任务在固定的时间自动启动抓取任务。但是，由于自动化程序与平台兼容性有关联，有一些依赖库在服务器运行需要做特殊处理本篇文章以一段 Selenium 编写的 Python 自动化程序，聊聊脚本部署服务器的详细过程操作步骤以 CentOS 服务器为例2-1安装桌面环境PS：如果已经安装，可以跳到下一步我们需要先安装一个桌面环境「以GNOME 为例」，设置以...
2021-03-17 09:46:11
1275
原创 Python 操作 MySQL的方法
前言在爬虫、自动化、数据分析、软件测试、Web 等日常操作中，除JSON、YAML、XML 外，还有一些数据经常会用到，比如：Mysql、Sqlite、Redis、MongoDB、Memchache等一般情况下，我们都会使用特定的客户端或命令行工具去操作；但是如果涉及到工程项目，将这部分数据操作集成到代码中使用才是王道准备首先，我们通过 Mysql 客户端或命令行创建一个数据库xh然后，在这个数据库下建一张简单的表people为了便于演示，这里只创建了三个字段：id、nam...
2021-02-08 17:57:31
2324
1
原创 常用的Linux命令总结
前言linux命令是对Linux系统进行管理的命令。对于Linux系统来说，无论是中央处理器、内存、磁盘驱动器、键盘、鼠标，还是用户等都是文件，Linux系统管理的命令是它正常运行的核心。线上查询及帮助命令(2个)man： 查看命令帮助，命令的词典，更复杂的还有info，但不常用。help： 查看Linux内置命令的帮助，比如cd命令。文件和目录操作命令(18个)ls： 全拼list，功能是列出目录的内容及其内容属性信息。cd： 全拼change direc
2021-02-08 16:03:26
182
原创 解决 Python打包成exe 文件过大问题的一些方法
前言之前有做过Python的pyqt桌面应用，当时每次更新打包的时候整个文件下来都需要300~400M，但是一直没有找到合适的方法解决，而是尽量Python少安抓库包，但效果一般，最近找到了解决方法，特此记录，给需要的小伙伴用~步骤1、为什么要打包？众所周知，Python脚本不能在没有安装Python的机器上运行。那我们如果写了一个数据分析/自动化办公的小脚本，想分享给同事小姐姐使用，可她电脑又没有装Python。这个时候如果将脚本打包成exe文件，微信发送给她，即使她的电脑上没有安
2021-01-15 11:27:48
12710
8
原创 BloomFilter在Python爬虫中的使用
BloomFilterBloomFilter（布隆过滤器）是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。BloomFilter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。BloomFilter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，BloomFilter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下，Bl
2021-01-08 11:23:46
1319
原创 总结 - Python 对增量式爬虫的思考
前言所谓增量式爬虫并不是新型的爬虫架构，而是根据项目需求而产生的一种爬虫类型。例如我们想爬取某某的职位信息，可是我们只想爬取每天更新的职位信息，不想全部都爬取， 这就需要增量式爬虫。增量式爬虫的核心在于快速去重，我们必须判断 哪些是已经爬取过的，哪些是新产生的。去重方案 去重一般的情况是对URL进行去重，也就说我们访问过的页面下次不再访问。但是也有一些情况，例如贴吧和论坛等社交网站，同一个 URL，由于用户评论的存在，页面内容是一直变化的，如果想抓取评论内容，那就...
2021-01-08 10:25:53
437
3
原创 记：解决 Weditor 页面元素坐标定位不到、不准确的问题
前言这几天同事也在研究使用uiautomator2 ，之前安装一直都挺稳定没有啥报错，然后后面有换了一个uiautomator2版本，最后就使用Weidtor 的时候就开始出现了Weidtor 界面定位不到、不准确的问题了，如下图： 解决思路和历程首先就开始一阵找原因。尝试方法一：一开始以为是uiautomator和weditor版本库的不一致问题，发现他的uiautomator2 是2.1.0版本，我的是1.3.6版本，weditor也是不同，然后就换版本，发现还是一样的报...
2020-11-03 11:49:09
5100
13
原创 记：解决 RuntimeError: atx-agent recover failed 和 requests.exceptions.ProxyError
今天运行 uiautomator2 突然用不了，一直显示报错：RuntimeError: atx-agent recover failed然后cmd 输入：adb devices，查询安卓设备，发现设备正常连接，心里就很纳闷了然后百度查找问题发现基本上很少有这样的帖子，看到一个说是库的问题，安装下 ：pip install --upgrade --pre uiautomator2发现安装不了，还发现了一个请求错误，请求正常requests也是一样的！！raise ProxyErr...
2020-05-21 18:57:58
1387
2
原创 基于Python的OCR图像识别
1、使用python的pytesseract库主要是安装库，比较简单，直接使用pip install安装即可；另外，如果进行中文识别，需要下载语言包，并配置好相应环境，具体操作可以进行百度，教程有不少。因为这个识别方法比较简单（但效果并不是很理想），（1）Tesseract的安装及配置Tesseract的安装我们可以移步到该网址https://digi.bib.uni-mannheim.de/tesseract/，里面有很多版本供大家选择，其中w32表示32位系统，w64表示64位系统，大...
2020-05-18 20:02:01
3541
win7下nsis下将python-Pyqt打包exe安装程序教程.doc
2019-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人