Spider boy-CSDN博客

原创 python post请求编码问题

python requests json编码问题

2023-07-20 17:34:02 182

原创一分钟搭建一个正向代理

是不是每次购买代理的ip的时候，都一个傻x的白名单限制。既然代理的原理相同，那我们就可以用魔法打败魔法。搭建一个自用代理服务，使用自建的代理ip访问目标代理网站，即可实现多台服务器访问公用同一个白名单。

2022-12-22 11:37:14 763

原创 Unable to connect to the frida server: this feature requires an iOS Developer Disk Image to be mount

frida ios hook

2022-09-06 11:11:46 1764

本周在搞某音的时候遇到一个非常恶心的问题。想要hook这个Object obj的对应值，返回的对象是[Ljava.lang.String;@123456尝试了toString(), Arraylist一堆方法都没用，最终看雪的一个大佬给了一个方案，仅供大家参考。var ArrayClz = Java.use("java.lang.reflect.Array");var len = ArrayClz.getLength(obj);for(let i=0; i!=len; i++){

2022-05-20 20:21:05 391

原创处理带有：的请求头

当请求遇到上述问题时，我们编写的爬虫无法直接处理类似的请求头。会报如下错误：ValueError: Invalid header name b':authority'我们可以用hyper来处理这类问题from hyper.contrib import HTTP20Adaptersessions=requests.session()sessions.mount('https://xxxx.com', HTTP20Adapter())r=sessions.post(url_...

2021-11-16 20:40:01 347

原创 TSL指纹

请求遇到403，查看了一些主流网站的博文，发现都是讲解ua的问题，但是很少说到TSL指纹也会导致请求遇到403。如何解决这个问题呢？首先我们需要知道TSL指纹是什么东西：正常的应用会通过TLS/SSL对通信流量进行加密，以确保数据安全传输; 恶意软件也会对其通信流量进行TLS/SSL加密，以此来躲避检测。为了建立TLS/SSL连接，客户端与服务端之间会先完成TCP三次握手，建立可靠的通信; 然后进入TLS/SSL握手阶段，客户端会发送Client Hello请求数据包，如果服务端同...

2021-11-16 10:11:37 1741

原创极验验证码逆向（二）

其实关于w的生成方式，我们可以完全可以通过扣代码的方式去实现，不过首先找到w参数的生成js是很重要的。废话不多说，直接上干货。目前我掌握两种方式可以找到w这个参数。1.通过内存漫游的方式（这个后期会进行详细介绍）。2.通过经典的跟栈方式，查找这个函数的生成位置。（主要介绍）滑动一次，我们可以根据chrome寻找到这个ajax的调用栈关系，如下图所示：那么我们可以在这这个js的任意地方下断点，然后重新拖动验证码，让其在你需要的位置段住。这个过程需要很多的耐心，其实我们很

2021-10-25 18:01:27 939 1

原创极验验证码逆向（一）

记录一次处理极验验证码的心路历程。（主要是看到现有的方法都是通过selenium去模拟拖动????）demo网站：滑动模式里面有很多不同的极验现有的模式，大家可以参考一下。本文主要是以最为常用的滑动验证为基础来讲解。首先分析一下抓包的请求，手动拖动一下滑动验证码，可以看到这个包在提交。根据返回的内容来看，这个包显然就是我们需要针对的报文。通过观察参数来看，主要分析的就是参数w，模拟其生成过程。到这一步，我们可以把整个流程的处理方案分为三步骤，一针对验证码的图片处理，二得到

2021-10-25 17:10:09 1395

原创 Android Crack Tool已损坏，打不开。您应该推出磁盘映像

mac在安装Android Crack Tool的时候经常会报错，我整理了一下常规的解决方式。sudo xattr -d com.apple.quarantine /Applications/AndroidCrackTool.app亲测有效。

2021-10-08 14:29:08 348

原创 hexin-v(cookie)还原

再一次抓取目前所收录的所有股票过程中，遇到了一个小小的技术难题，那就是发现的hexin-v参数是实时生成的，所以我们需要不断的去获取该参数，以达到全部信息抓取的目的。首先我们通过hook技术，很轻易的获取到了这个cookie设置生成的地方。Object.defineProperty(document, 'cookie', { set: function(val) { debugger; re

2021-09-25 14:20:39 4116 14

原创 ATT&CK学习笔记

课题报告阐述说明使用漏洞扫描工具生成扫描报告NmapNmap是一款网络扫描和嗅探工具包。其主要的功能分为三个：1. 扫描主机端口，分析其所提供的服务2. 探测一组主机是否在线3. 判断主机所使用的操作系统，到达主机经过的路由。本次使用了该工具对172.20.150.46/22下主机的端口号1-1000进行了扫描，主要展示了主机的开放端口号以及该端口号所提供的服务。详见nmap端口扫描报告.html。WVSWVS(Web Vulnerability Scanner)是一个自动化的Web应

2020-10-13 11:35:35 1478

原创 openstack queens版安装命令

openstack-quuens安装环境配置时间同步控制节点yum install chrony -y修改配置文件**/etc/chrony.conf**server ntp6.aliyun.com iburstallow 10.0.0.0/24计算节点yum install chrony -y修改配置文件**/etc/chrony.conf**server 控制节点主机名 iburstsystemctl enable chronyd.servicesystemct

2020-09-28 17:27:20 261

原创 openstack遇到使用nova service-list查询结果返回为空

【解决问题】openstack遇到使用nova service-list查询结果返回为空该问题是因为我们在安装openstack的过程中遇到了版本冲突的情况，如果安装M版的教程安装，就会出现该问题。【解决方案】修改配置文件/etc/nova/nova.conf[DEFAULT]enabled_apis = osapi_compute,metadatatransport_url = rabbit://openstack:RABBIT_PASS@controllermy_ip = 10.0.0.

2020-09-23 15:31:35 3065 2

原创 Docker 基础操作命令一

容器生命周期管理 -a stdin:指定标准输入输出内容类型，可选 STDIN/STDOUT/STDERR 三项； -d:后台运行容器，并返回容器ID； -i:以交互模式运行容器，通常与 -t 同时使用； -P:随机端口映射，容器内部端口随机映射到主机的高端口 -p:指定端口映射，格式为：主机(宿主)端口:容器端口 -t:为容器重...

2020-07-28 08:54:29 112

原创 python面试题

python面试题linux基础：shell脚本- 示例#!/bin/shcd ~mkdir shell_tutcd shell_tutfor ((i=0; i<10; i++)); do touch test_$i.txtdone解释第1行：指定脚本解释器，这里是用/bin/sh做解释器的第2行：切换到当前用户的home目录第3行：创建一个目录shel...

2019-09-19 16:57:22 194

原创 selenium通过cookie实现登录

1 from selenium import webdriver 2 import time 3 4 #driver1登录网站，获得cookie并保存 5 driver1 = webdriver.Chrome() 6 driver1.get("https://www.ketangpai.com/User/login.html") 7 driver1.maximize_window(...

2019-08-06 18:44:57 5453

原创 MySQL数据库具体一些操作

创建数据库：CREATE DATABASE 数据库名;删除数据库：drop database <数据库名>;选择使用（需要操作的数据库）：use 数据库名称;mysql数据库数据类型：类型大小范围（有符号）范围（无符号）用途 TINYINT 1 字节 (-128，127) (0，255) 小整...

2019-05-20 17:01:58 263

原创 python爬虫之多线程解密

多线程对于Python来说是个鸡肋，但是我们还是趋之若鹜的去学习是因为，他确实在爬虫中能极大程度上提高我们的代码效率，所以，我作为一个学习者，也抱着一个学习的心态去学习了多线程，但是这条路十分的艰辛，从中也遇到了很多的问题，这些问题也让我在爬虫中有了很大的成长。大家通常学习到的多线程都是构建一个类然后去构造run方法去实现多线程，具体我就不讲述通常的多线程了，但是我在一次网课上看到了一种另类的...

2019-04-28 20:02:05 289

原创 python爬取猫眼遇到动态字体反爬

前一段时间，爬取了58同城，发现当时的网页对数字有字体反爬虫，然后废了九牛二虎之力找到了规律，终于破解了反爬虫，后来发现猫眼的这个网页虽然使用了字体反爬，但是和原来的58同城还是有很大的差别，后来了解到这个新的字体反爬虫属于动态字体加载。首先我们登陆上猫眼的首页，然后可以看到本来应该正常显示数字的部分，变成了一组我们看不懂的文本格式，然后我们去查看源码发现在源码中是以ht...

2019-04-02 15:22:52 1526 3

原创用python爬取需要cookie信息的网站

本次创作实验网站：实验网址本次创作语言：python2编译用到的工具：pycharm，Fiddler首先我们打开这个网站，不难发现，在高级检索目录下的内容是需要登录后才能获取到的，所以我们需要先注册账号，进入高级检索界面，我们就可以筛选信息了，而我们现在需要爬虫去实现的功能就是在不登录的情况下，能够爬取到该页面的我们自己筛选想爬取下来的信息。准备工作：注册该网站，并登录第一步：...

2018-10-13 14:02:19 2581 3

原创 Mongodb的安装

第一种情况：首先打开网址：https://www.mongodb.com/点击右上角的Get MongoDB，选择Community Sever，进入该页面下载mongodb安装包，然后直接正常安装就可以了第二种情况：部分用户下载此网页的安装包后，无法安装成功的进行Mongodb的安装，是因为他们所下载的版本不符合自己使用的电脑的配置，在下载改安装包的界面还有一个previous Releases...

2018-06-07 20:15:15 332

原创搭建scrapy框架

首先需要Python3以及pip等在搭建scrapy框架之前，我们要首先在网站上下载与我们下载的Python版本相匹配的相关组件打开cmdwheel：输入命令： pip install wheellxml:在网站上下载相关组件参考网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml将适应本机Python 的版本下载下来，找到下载的相关目录，将目录...

2018-06-01 22:30:15 1809 2