- 博客(47)
- 收藏
- 关注
RSS订阅原创 汽车路径尽头放一个点图像验证
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目标网址：aHR0cHM6Ly9uZnQucG9yc2NoZS5jb20vb25ib2FyZGluZw==目前我们所做的，还是有一些缺陷：①小车在图的边边，会导致我们这边的识别不出来起点位置②当终点和小车的启示位置相距很近的时候也会导致终点识别不准确③有些路口会加粗导致最后终点回连路口加粗部分不过经过测试，以上图片在案例中不少，目前常规的都能识别到。一些我收集的图片供各位大佬实践。
2023-01-15 21:30:15
3979
1
原创 Ubuntu换源
然后我个人的愚见，并不建议换源，就采用官方的源。如果非要去换源，那一定先备份官方的源再去换或者快照一下。然后陆续去换了其他的源，发现都会报错，后面发现Ubuntu是有版本号的。在换了阿里云的源后，更新执行sudo apt update，会报。因为才接触Ubuntu，如果有什么错误，欢迎大佬指点。我的版本是20.04 TSL。
2022-10-10 01:36:32
197
1
原创 大唐集团参数分析
文章目录前言相关参数ssxmod_itna前言网址：aHR0cHM6Ly93d3cuY2R0LWVjLmNvbS9ub3RpY2UvbW9yZUNvbnRyb2xsZXIvdG9Nb3JlP2dsb2JsZVR5cGU9NA==水一下，简单的看下机密流程呀。相关参数第一个参数和上一篇文章感觉应该差不多，问题不大。后面两个参数加密流程也差不多，就简单分析其中的一个ssxmod_itnahook 一下cookie的生成，进入加密手动还原了一下，那些函数大部分都是 参数相加 （没记错的话
2022-05-04 23:32:11
1078
6
原创 前程无忧，acw_sc__v2
文章目录1.前言2.不带cookie请求3.acw_sc__v2生成研究4.编码格式 声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！1.前言网址：aHR0cHM6Ly9qb2JzLjUxam9iLmNvbS9iZWlqaW5nLWhkcS8xMzkyMDc4OTkuaHRtbA==看到大佬弄了一下前程无忧的这个参数，就来水一篇文章。2.不带cookie请求返回的是一段js代码我们来格式化一下这里一下子就看到了我们需要的东西，然后整体看来了下，感觉就是
2022-04-15 09:51:28
1733
6
原创 再试JSVMP（猿人学第18题）
文章目录前言1.同样的入口函数研究2.一些难点3.AES代码声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！前言前面刚刚试了一下网络者的jsvmp，今天就去试了一下猿人学的jsvmp，发现这两个案例都是较为简单jsvmp地址：aHR0cHM6Ly9tYXRjaC55dWFucmVueHVlLmNvbS9tYXRjaC8xOA==较为详细的请看我前面网络者那篇，因为两个网址较为相似，方法也是相同的，这点就记录一些关键点。1.同样的入口函数研究那这些名.
2022-03-30 21:51:24
832
原创 初试JSVMP（网洛者第七题）
文章目录前言1.基础条件2.入口函数3.入口函数进一步探索4. 其他的一些有趣的地方5.算法对比6.其他大佬文章推荐声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！前言前面一直在看关于一些jsvmp的文章去研究，但是奈何脑袋不太灵光，最近才摸明白了一点（算是入了个门），就准备详细的写一些，就算是做个总结啦。后面也准备去研究其他较为困难的，欢迎大佬们一起来交流啊。目标网址：aHR0cDovL3NwaWRlci53YW5nbHVvemhlLmNvbS9jaGF
2022-03-30 01:02:35
3664
2
原创 极验文字点选
文章目录前言1.汉字识别2.坐标问题3.s参数可以固定，可以看推荐的第二篇文字4.随机生成16字符问题5.还有挺重要的一点6.结尾前言目标网址：aHR0cHM6Ly93d3cuZ2VldGVzdC5jb20vZGVtby9jbGljay1mbG9hdC5odG1s大佬博客推荐：阿J大佬的挺详细的另外一位大佬的，可以看到关键检查点十一姐的，关于文字提取具体详细的流程就不写了（写起太累了），只谈一谈一些关键点，以及我在整个过程出现的问题，也可以看一下我之前写的极验滑动滑块，因为这两个过程都是
2022-03-20 15:26:49
3062
6
原创 数美滑块分析
文章目录前言流程分析代码分析加密分析补环境一些注意点：最后啦前言 目标网址：aHR0cHM6Ly93d3cuaXNodW1laS5jb20vdHJpYWwvY2FwdGNoYS5odG1s相比较于 j验，数美还是比较简单，当然也是我选的滑块类型比较简单啦。流程分析可以从这个url得到背景图和滑块的图片，最开始我在像，是不是想 j 验一样会先注册用户一样的，但是后面发现并没有这样的操作，就很轻松的请求就可以了。这个就是滑完后，去请求验证的url，需要的参数。具体流程就很简单，先请求图片信
2022-03-17 23:52:52
999
2
原创 js逆向入门网站分析（某空气质量监测平台）
文章目录前言一、瞧一瞧网站是啥样呢二、新的开始，新的挑战前言 又要到放假的时间啦，学习了好一段时间的js逆向，想起之前远哥提到的一个js逆向入门的网站，就准备实践一下啦。一、瞧一瞧网站是啥样呢网址：aHR0cHM6Ly93d3cuYXFpc3R1ZHkuY24v进入网址哈，还挺可以的哎。但是，很奇怪的事情就突然发生了哎，它变了。当我们准备打开控制台准备看看呢，就直接进入了一个VM下的断点呢。好吧，那就需要过掉这个检测呢。通过对堆栈的查看，我们点击最开始那个，随便下个断点，..
2022-01-04 00:40:45
1086
3
原创 图虫网 多线程爬取 图片
图虫网前言一、目标网站二、分析步骤1.进入目标网站，摸索摸索，看看1.1 进一步得到url1.2再进一步来得到 单个相册的 url2.在单个相册里面获取单个图片的url2.1最开始的分析 ，我以为我行了2.2第二次分析，我以为我又行了2.3第三次，我终于行了代码前言继续来实践学习多线程一、目标网站图虫网进入二、分析步骤1.进入目标网站，摸索摸索，看看1.1 进一步得到url当当当，就是这个页面啦我们就点几个看一看 我点开了 树 标签和 人像，可以看出这个标签个构成还是很简单的，我
2021-03-13 18:10:14
299
原创 蜂鸟网多线程爬取
对蜂鸟网图片的多线程爬取一、对目标网站分析？1.目标网址 http://image.fengniao.com/2.发现刚开始需要滑动加载，后面有点击加载更多 这就是算是异步加载吧3.正好可以得到需要的url具体的数据二、具体步骤呈现1.抓包分析2.不使用fidder的方法代码一、对目标网站分析？1.目标网址 http://image.fengniao.com/2.发现刚开始需要滑动加载，后面有点击加载更多 这就是算是异步加载吧 这里可以采用selenium库来进行滑动，来进行加.
2021-03-05 18:21:07
895
原创 python和股市一点小知识
声明一哈：这只是我自己点浅薄的股票知识和python的结合，写起来玩的哈，看的各位千万不要当真哈，股票很复杂啊，对我来讲哈。真的千万不要当真啊！！！！！看起耍就行了哦#通过爬取数据来计算预投资股票好价格# 是在确定好 公司后才操作#深证A股的pe 平均值在 20—40 这个区间 投资价值不大# <20表明投资价格很大 >60 不能投资，可以考虑卖出# 这是整个股市的情况，一般好公司只有在股市整体下
2021-02-26 17:03:39
219
原创 实习僧字体反爬
想必都搜索字体反爬啦 ， 应该 大概 步骤 都懂吧，我也就写简陋一点啦1.首先，打开 进行观察目标网站哎呀好像有些东西不在啦这个时候就不要慌张，我们在慢慢看看哈，我们再看看网页源代码，瞧一瞧找一找呀 @font-face这个东西在@font-face属性下 没有发现 base64哎 那可能就是文件上传的哦 刚刚好我们也找到了两个@font-face属性下的 url 打开 第二个url就行啦 因为格式为 ttf 在工具FontCreator中打开哎呀好像这个
2021-02-22 16:09:46
207
原创 58同城数字字体反爬
1.什么是字体反爬字体反爬也就是自定义字体反爬，通过调用自定义的ttf文件来渲染网页中的文字，而网页中的文字不再是文字，而是相应的字体编码，通过复制或者简单的采集是无法采集到编码后的文字内容比如58我们在网页源代码中就看不见 数字2.字体反爬解决方法2.1目标***1.一般情况下为了考虑网页渲染性能，通常网页开发者会把字体编码成base64的方式，因此我们可以到网页中找到@font-face属性，然后获取里面的base64代码，再用Python代码进行解码，然后再保存本地。这就是58的fon
2021-02-07 21:00:04
1014
2
原创 有道翻译
1.先进入有道翻译 然后 找到 进行翻译的 real url2.我们再 把鼠标 滑一滑 看一看下面还有什么东西 就发现了 salt 和 sign 和 lts然后多翻译几个单词 在看一看 发现 salt 和 sign 和 lis 一直在变说明这里有问题呀 有s加密吧3.下面就是 去找 js加密的文件3.1打开网页源代码 中正好 有三个 js 文件 分别点看 然后可以 在点开的页面 crtl+f 搜一搜 看看有
2021-01-31 17:31:19
929
原创 12306预售车票 时间是2019年的哈 （记笔记）
先说明一下哈，这个是从视频上面我搬运的哈，视频时间2019的，代码应该没用我只是单纯的做笔记哈，写一哈自己的感受哈from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byf
2021-01-31 10:50:38
203
1
原创 selenium(记笔记)
from selenium import webdriverimport time#1. selenium基本是使用driver = webdriver.Chrome()driver.get("http://www.baidu.com")#driver.get('https://www.so.com/?src=lm&ls=sm2290156&lm_extend=ctype:31')#driver.get('https://www.jd.com/?cu=true&ut...
2021-01-30 14:08:13
414
原创 多线程 爬取百事糗科
这个小小的练习 没有进入 详细页面 去爬取 完整的内容（内容就是首页的，会有一些残缺） 但我的目标是 多线程 就没有深入如果代码 一些不懂得 可以看一哈我前面写的这一片 是我自己写的时候的一点多线程的注释，我也是刚开始一脸懵逼，后面才理解一点点 在这里啦啦import requestsfrom lxml import htmlimport threadingimport queueimport csvheaders={'user-agent':'Mozilla/5.0 (Wi
2021-01-28 16:19:19
284
1
原创 爬取王者荣耀壁纸
这里是单线程from urllib import parsefrom urllib import requestimport requestsimport osheaders={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}def picture_url(i): urls=[]
2021-01-26 16:45:36
224
2
原创 消费者与生产者（记笔记）
# lock 生产者和消费者模式# 先是生产者模式 进行多线程 （完后） 然后储存中间变量 最后 在消费者模式 进行多线程import threadingimport randomgmoney=0gtime=0glock=threading.Lock()class productor(threading.Thread): def run(self) -> None: global gmoney global gtime
2021-01-24 14:39:17
90
原创 数据库（记笔记）
#连接数据库import pymysql#1.使用pymysql.connect（）连接数据库db = pymysql.connect(host='',port=,user='',password='',database='')#2.如果想要操作数据库，还需要获取db上面的cursor对象cursor=db.cursor()#3.使用cursor.execute 来执行sql语句cursor.execute('select * from 表名') #找到想要操作的表#4.经行操作re
2021-01-23 19:41:48
98
原创 excel文件（记笔记）
自己的一点点愚见#excel文件操作# 安装两个库 xlrd用于读取 xlwt用于写入#1.打开excel文件 获取sheetimport xlrdworkbook=xlrd.open_workbook(".xlsx")#1.获取sheet名字workbook.sheet_names() #这里会报xlrd.biffh.XLRDError: Excel xlsx file； not supported 把xlrd版本降为1.2.0版本即可#2.根据索引获取指定的sh
2021-01-23 15:51:47
156
4
原创 csv文件操作（记笔记)
```#一。读取csv文件import csv#1.通过下标来获取一列的内容''' with open('stock.csv','r',encoding='gbk') as fp: readers=csv.reader(fp) #csv.reader() 返回的是一个迭代器 可用循环得出内容 for reader in readers: print(reader) #得到的内容是一个列表 可以通过 reader[] 加下标 .
2021-01-23 13:54:38
440
2
原创 小小的爬取了猫眼
这里我只小小的爬取了 一页import requestsimport reimport timefrom lxml import htmlimport csv#1.进入总的电影页面def url_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safa
2021-01-22 16:11:09
60
原创 json字符串（记笔记）
json 看了是视频后 我自己的理解 （就是像一个中转站一样 从一个地方到一个地方的必经之地一样），感觉理解得有些浅显不要太在意哈。import jsonbooks = [ { "name": "三国演义", "price": 18.8 },{ "name": "水浒传", 'price': 19.9, }]# result = json.dumps(books,ensure_ascii=False)
2021-01-21 18:14:27
83
原创 爬取赶集网
我就只爬取了一页，url规律还是很好找的 http://cq.ganji.com/zufang/pn1/ 数字pn的变化import requestsimport refrom lxml import htmlimport timeheaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.
2021-01-20 18:06:03
132
原创 记笔记（正则)
import re# 分组：# text = "apple price is $99,orange price is $88"# result = re.search('.+(\$\d+).+(\$\d+)',text)# print(result.groups())# group()/group(0)：匹配整个分组# group(1)：匹配第一个分组# group(2)：匹配第二个分组# groups()：获取所有的分组# findall：查找所有满足条件的# text = "
2021-01-20 16:13:48
128
原创 爬取豆瓣250电影
声明一哈，有被封ip的危险，我就被封了，可能最开始3，4次可能没得啥子不过代码没问题， 最好不要去实践import requestsimport refrom lxml import htmlimport time#1.设置代理ip和uaheaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.
2021-01-16 13:35:47
2088
原创 BeautifulSoup库(笔记)
from bs4 import BeautifulSouphtml = '''<html><head><title>The Dormouse's story</title></head><body><p class="title" name="dromouse"><b>The Dormouse's story</b></p><p class="story">On...
2021-01-16 10:14:04
135
原创 爬取斗鱼图片
主要目标 对 xpath 在 lxml 中的应用遇到的问题 ： 1. 但是发现 图片的链接 不在 网页源代码中 而是以json形式存储对于json模式的数据处理 还有其他的模式，目前我还没学到嗷，也很期待2.斗鱼的版块 url 有些是 大写 有些为小写 我不太懂from urllib import requestfrom lxml import htmlimport randomimport reimport gzipdef ungzip(data): try:
2021-01-13 13:04:02
312
5
原创 xpath 和 在 lxml 中应用 （做个小笔记）
#xpath#xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。#1.用法''' / 代表逐层提取 实例 提取标题 /html/head/title text() 提取标签下的文本 实例 提取标题文本
2021-01-12 14:15:26
86
原创 requests库（做个笔记）
#requests 库import requestsfrom urllib import parse#1.post请求url = "…………"headers = { 'User-Agent': '。。。。'}data = { 'username':'…………', 'password':'…………'}resp = requests.post(url,headers=headers,data=data)print(resp.text)# 对于 resp.text
2021-01-11 23:49:18
68
原创 自动登录 美食街
对于密码的模式 先点入登录页面 跳出 第二步 是 先把全部清了 然后再在那个框框手机登录那个框框点一点 再等一等 应该就出来了#模拟登录from urllib import requestfrom urllib import parsefrom http.cookiejar import CookieJar# 登录：https://i.meishi.cc/login.php?redirect=https%3A%2F%2Fwww.meishij.net%2F#
2021-01-11 20:25:37
145
原创 爬取腾讯视频评论
因为是 A jax异步请求（滑动有新内容出来那种 或者 点击加载更多那种） 数据这里采用了 fiddler 经行抓包 获取数据 fiddle的安装可以看这里1.进行抓包后 得到 url 后在经行 url 的分析找出规律这是得到的前几个 url 本来最后还有 一些东西 但是我检测后 发现 不要后面的数字也可以定位到网页这里可以看到 他们的 cursor明显不同 说明关键的规律就在这里了但是这个规律，我当时也是不知道怎么下手 就 去搜了一哈 就是这里然后下面
2020-12-31 17:31:56
1557
1
原创 搜狗微信爬取 保存网页
建议再看我的之前 一点要先去看一看 这一篇 会更好理解 一些因为 我也是在 url解码 这里卡起了 每次取出来都不是 正确的 url 而且 刚开始每次取出url还会变本文链接：https://blog.csdn.net/qq_42636010/article/details/943210491.首先我先封装了一个ip 和 ua 代理池 因为同一个很有可能被封 ，但是我爬取的时候嫌麻烦就用一个 好像也没问题 不过安全一点 还是 多弄几个 如果不知道 从哪里拿到 免费代理ip 可以在这个网
2020-12-30 23:11:55
478
原创 同时使用IP代理池和用户代理池（做笔记）
感觉自己写得很复杂还是自己太low了#总结综合应用from urllib import requestimport reimport randomtry: #1.建立用户代理池 #1.1建立一个 用户池 agents=[ "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
2020-12-27 15:08:12
17634
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人