- 博客(42)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 手机app抓包https请求信息,解决SSL Pinning验证
抓包工具:Charles,fiddler,wireshark其中,前两个用于抓取https请求,wireshark则是包含tcp/udp在内的所有请求,本文中以Charles为例或者移动端(Android)安装:packet capturepacket capture 安装使用教程:https://mp.weixin.qq.com/s/JxJWZk-uMMjLcLQFTQ7th...
2020-04-16 16:39:09
11080
原创 Fiddler配置自动响应
Fiddler配置自动响应以文书网为例1.打开Fiddler并配置好,点击AutoResponder,然后勾选上下面两项2.点击Add Rule,添加规则可以先选中左边的链接再添加,也可以直接点击添加规则点击添加后,在右下角两个输入框中添加,上面的框为请求的链接,下面为响应点击下拉即可添加本地响应文件,或者配置其他响应配置完成后点击save...
2020-04-09 14:45:55
3974
1
转载 前端chrome浏览器调试总结
引言“工欲善其事，必先利其器” 恩，这句话我觉得说的特别有道理，举个例子来说吧，厉害的化妆师都有一套非常专业的刷子，散粉刷负责定妆，眼影刷负责打眼影，各司其职，有了专业的工具才能干专业的事，这个灵感要来源于之前我想买化妆品时，店里的海报标语，由此联想到，如果你想在某个事情上做好，并且做的专业，那么你一定要把你的工具用好，这样才能事半功倍，我见过很多师兄师姐，他们写了很多代码，他们能够很快的完成...
2020-04-09 11:02:28
356
原创 Python枚举
1. 枚举的定义 首先，定义枚举要导入enum模块。 枚举定义用class关键字，继承Enum类。 用于定义枚举的class和定义类的class是有区别【下一篇博文继续分享】。 示例代码:from enum import Enumclass Color(Enum): red = 1 orange = 2 yellow = 3 ...
2020-03-20 15:23:45
309
原创 模拟js加密参数,爬取某商城数据
1.查看网页,分析加密参数查看其 form data可以发现,其_sig参数为加密参数,经过请求测试,该参数为必要参数,在每一个携带有用数据的ajax请求中都有该参数,其必然是前端JavaScript代码依据某些参数计算后生成的,要想破解,必须要找到其JavaScript中的实现方式,通过chrome浏览器调试js代码获取该参数生成方式,教程:https://mp.csdn.ne...
2020-03-20 14:07:26
378
原创 mysql索引
查看索引 show index from 数据库表名alter table 数据库add index 索引名称(数据库字段名称)PRIMARY KEY（主键索引）ALTER TABLE `table_name` ADD PRIMARY KEY ( `column` )UNIQUE(唯一索引)ALTER TABLE `table_name` ADD UNIQUE (`column`)I...
2020-03-12 15:13:20
137
原创 Chrome浏览器调试js代码步骤
最近在爬取一个商城的商品信息玩,发现需要调试js代码获取参数加密方式,但是发现网上很多介绍使用Chrome调试js代码的文章豆不够详细,对第一次操作的人很不友好,所以自己写一篇,希望帮其他人节约点时间但其请求的form-data中有加密参数(右下角的_sig):很明显,这是一个通过JavaScript生成加密参数的加密方式,且加密方式应该为md5.所以,首要任务是找到生成该参...
2020-02-19 14:21:23
891
1
原创 ubuntu安装lrzsz以及使用sz,rz传输文件
lrzsz工具可以方便的在服务器和本地之间传输文件,安装过程：下载与编译、安装，wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gztar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20./configure && make && m...
2019-08-21 11:59:27
1346
原创 windows server 2012部署基于flask的爬虫项目
最近遇到一个需求,需要将爬虫作为一个可供调用的模块,于是写好了爬虫的接口,由于其中用到的部分工具只有windows版本,所以必须部署在windows服务器上,特此总结一下.注意事项:1.apache+ python + mod_wsgi的版本一定要对应本文版本:apache: Apache24 VC14python: 3.6.7 64位 Windows x86-64 e...
2019-08-12 11:59:55
1043
原创 python单例模式总结
代码:#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2019-01-21 09:09:09# @Author : cdl ([email protected])# @Link : https://github.com/cdlwhm1217096231/python3_spider# @Version : $...
2019-07-19 08:57:36
190
转载 HTTP1.1协议-RFC2616-中文版
说明 本文档规定了互联网社区的标准组协议，并需要讨论和建议以便更加完善。请参考“互联网官方协议标准”（STD 1）来了解本协议的标准化状态。本协议不限流传发布。版权声明 Copyright （C） The Internet Society （1999）. All Rights Reserved.摘要超文本传输协议（HTTP）是一种为分布式，合作式，超媒体信息系统...
2019-06-18 18:26:19
1010
1
转载 深度学习书籍推荐2019
你是否希望深入学习深度学习？如果你有这方面的意愿，请不要辜负我的整理工作，这是2019年最佳机器学习和深度学习书籍清单：·Deep Learningby Ian Goodfellow, Yoshua Bengio, Aaron Courville·Grokking Deep Learningby Andrew W.Trask·Deep Learning with Pythonby...
2019-06-18 18:17:27
1974
原创 验证码/图片快速下载模块
做验证码识别算法的时候,最重要的就是大量可以用于训练的验证码图片,所以,快捷的获取大量验证码图片就很有必要,于是写了个快速获取大量验证码的模块,稍作修改也可以用于下载其它的图片代码:# -*- coding: utf-8 -*-import requestsimport timedef get_vcode(nums): nums = int(nums) for ...
2019-06-11 16:40:33
616
转载 利用移动硬盘\高速U盘\SSD制作随身Windows10系统
1.准备 wtg软件+win10.ISO+驱动wtg软件链接: https://pan.baidu.com/s/1Gtk_Pa8f98_NAagWXSJL-g 密码: xfr7win10.ISO链接：https://www.microsoft.com/zh-cn/software-download/windows10/2. 解压win10.ISO，找到vim文件3.打开wtg软件...
2019-06-11 15:01:26
3092
原创 scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
一、Request()类的实例化对于爬取普通网站，不需要验证码，不需要登入的界面，我们一般用scrapy.Request类直接去爬取信息就行，下面是Request类的定义：class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None,...
2019-06-11 09:04:21
3864
原创 爬虫中对Request payload传参方式的处理
例:图片右下角就是Request payload其中,Request payload以json格式进行传参,所以在构造模拟请求的时候,也需要用json格式代码:import requestsimport jsonimport jsonpathimport timefrom lxml import etreefrom urllib.parse import url...
2019-05-23 08:59:50
3926
转载 MySQL日志管理详解
这篇文章主要介绍了MySQL日志管理详解,本文讲解了日志种类、日志功能、MySQL中日志相关常用的服务器变量说明等内容,需要的朋友可以参考下日志文件对于一个服务器来说是非常重要的，它记录着服务器的运行信息，许多操作都会写日到日志文件，通过日志文件可以监视服务器的运行状态及查看服务器的性能，还能对服务器进行排错与故障处理，MySQl中有六种不同类型的日志。一、日志种类———–> ...
2019-05-16 09:48:05
230
原创 安装 browsercookie 模块详细步骤
在安装browsercookie时遇到了不少问题,现在终于解决了,把方法分享下,希望能帮大家节约点时间到此网址上下载压缩包:https://pypi.org/project/browsercookie/#files下载后解压,然后进入解压后目录,打开cmd,进入需要安装模块的虚拟环境,执行:python setup.py install然后进入python环境,执行:...
2019-05-09 10:23:09
2450
2
原创 内置函数eval及安全处理方式ast.literal_eval
内置函数 eval() 及安全处理方式ast.literal_eval()1.eval()功能：将字符串str当成有效的表达式来求值并返回计算结果。eval（）官方文档里面给出来的功能解释是：将字符串string对象转化为有效的表达式参与求值运算返回计算结果语法上：调用的是：eval（expression，globals=None, locals=None）返回的是计算结果其中...
2019-04-25 15:48:42
1377
原创 数据库事务安全
事务概念1、什么是事务？事务（Transaction）是访问并且可能更新数据库中各种数据项的一个程序执行单元（unit）。事务通常由高级数据库操纵语言或者编程语言书写的用户程序的执行所引起。事务由“事务开始”和“事务结束”之间的全体操作组成,是一系列要发生的连续的操作。2、事务执行原理mysql允许将书屋统一进行管理（innodb引擎支持），将用户所做的操作，暂时保存起来，不...
2019-04-08 12:05:06
482
转载 CentOS7 常用命令集合
CentOS7 常用命令集合==文件与目录操作命令 解析 cd /home 进入 ‘/home’ 目录 cd .. 返回上一级目录 cd ../.. 返回上两级目录 cd - 返回上次所在目录 cp file1 file2 将file1复制为file2 cp -a dir1 dir2 复制一个目录 cp -a /t...
2019-03-21 14:22:53
256
原创 鼠标右键打开命令行cmd(管理员身份）
Windows10版本Win10系统，按住Shift后的右键菜单默认改为了 “在此处打开PowerShell窗口”，这里通过修改注册表的方式，添加另一个按住Shift后的右键菜单 “在此处打开命令行窗口”1.打开cmd窗口 （非管理员身份）打开Notepad++，粘贴以下命令，并将文件命名为opencmdhere.reg（注意：文件编码格式为UCS-2 Little Endian，否...
2019-03-18 08:49:29
1757
转载 深度学习技术路径
本文转自AI科技大本营刘昕博士（刘昕，工学博士，毕业于中国科学院计算技术研究所，师从山世光研究员。主要从事计算机视觉技术和深度学习技术的研究与工业化应用，现担任人工智能初创公司中科视拓CEO。）深度学习本质上是深层的人工神经网络，它不是一项孤立的技术，而是数学、统计机器学习、计算机科学和人工神经网络等多个领域的综合。深度学习的理解，离不开本科数学中最为基础的数学分析（高等数学）、线性代数、概率...
2019-03-08 17:23:33
3023
原创 用python+selenium做个翻译助手
编程的过程中,不可避免的会遇到不认识的单词,这时候就需要使用谷歌翻译来解决问题了,但是用google翻译查询,查过的单词还要手动保存,不然就没了,十分麻烦,于是决定自己用爬虫做个工具玩玩.思路是:1.模拟访问谷歌翻译,输入需要翻译的文字2.选择要翻译成的语言3.将翻译结果爬取下来再保存1.创建浏览器class Trans(object): def __ini...
2019-03-08 17:18:29
1969
转载 adb 详细介绍
ADB，即Android Debug Bridge，它是 Android 开发/测试人员不可替代的强大工具，也是 Android 设备玩家的好玩具。持续更新中，欢迎提 PR 和 Issue 补充指正，觉得有用的可以将此 GitHub 仓库Star 收藏备用。注：有部分命令的支持情况可能与 Android 系统版本及定制 ROM 的实现有关。Other languages:
2019-03-01 10:59:27
414
原创 chrome浏览器的各个历史版本下载
最近做一个项目,要使用到chrome浏览器比较久远的版本,在网上查找资源时,发现chrome比较老的版本的安装包特别难找,几经寻找,总算找到,具体方法如下打开百度,搜索关键字【chrome+版本号+‘浏览迷’】，例如“chrome41浏览迷”，找到“全平台”开头的链接，打开链接，在网页下方找到下载地址，使用百度网盘下载 32位或者64位chrome即可。浏览迷是一个特别好的平台,上面收藏了...
2019-01-18 14:38:04
138011
7
转载 常用正则表达式大全！（例如：匹配中文、匹配html）
转自: http://www.cnblogs.com/xdxx/archive/2016/11/30/6117132.html匹配中文字符的正则表达式： [u4e00-u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了 匹配双字节字符(包括汉字在内)：[^x00-xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）...
2019-01-11 17:21:03
356
原创 为win10 的鼠标右键添加显示cmd选项
效果第一个是在 桌面 / 文件夹窗口中 / 选中文件夹上 直接点击右键，显示“在此处打开命令窗口”选项 第二个是在 桌面 / 文件夹窗口中 / 选中文件夹上 按住Shift键点击右键，同时显示“在此处打开命令窗口”和“在此处打开Powershell窗口”两个选项具体步骤第一步：新建一个txt文件，命名为OpenCmdHere.txt 第二步：在文件中输入如下代码，并保存新...
2019-01-03 14:39:48
837
原创 牛客网 剑指Offer 索引
二维数组中的查找 替换空格从尾到头打印链表重建二叉树 用两个栈实现队列旋转数组的最小数字 斐波那契数列 跳台阶变态跳台阶 矩形覆盖 二进制中1的个数 数值的整数次方 调整数组顺序使奇数位于偶数前面 链表中倒数第k个结点 反转链表 合并两个排序的链表树的子结构 二叉树的镜像顺时针打印矩阵包含min函数的栈栈的压入、弹出序列 从上往下打印二叉树 二叉搜索树的后序遍历序列二叉树中和为某一值的路径 ...
2019-01-03 09:18:30
152
原创 python3装饰器个人总结
装饰器什么是装饰器?装饰器是一种设计模式,可以在不改变原来函数的基本功能的基础上,给原来的函数添加一些修饰的功能,作用是:可以降低代码的耦合度装饰器的本质就是一个闭包,把一个函数作为参数被装饰函数本身变成了装饰函数被装饰函数名__name__也变成了装饰函数的name名简单的计算时间的装饰器import timedef timer(func): def ...
2018-12-27 16:29:30
176
原创 Git+GitHub使用文档(个人总结)
Git :分布式版本控制系统-去中心化 Git服务器:Github(代码托管平台)代码托管:Github,Gitee,CODINGgit的下载和安装:https://git-scm.com/book/zh/v1/%E8%B5%B7%E6%AD%A5-%E5%AE%89%E8%A3%85-Git下载:https://git-scm.com/download/win...
2018-12-27 16:27:59
1510
原创 python中retry总结
import requestsfrom retry.api import retry_calldef make_trouble(service, info=None): if not info: info = '' print ('retry..., service: {}, info: {}'.format(service, info)) r =...
2018-12-27 16:25:25
1988
原创 MySQL数据库存中文时出现1366错误
错误内容:ERROR 1366 (HY000): Incorrect string value: '\xE6\x9C\x88\xE6\xB6\x88...' for column 'record' at row 1mysql> insert into card_score values(1,'1002','111'); 错误原因,字段的编码方式有问题,没有设置为utf8或者gbk...
2018-12-27 16:18:11
648
原创 DOS命令查看局域网所有IP
查看局域网内所有IP ：arp -a查看局域网内所有主机名： net view看到计算机名称: ping -4 计算机名称查看IP地址对应的主机名和MAC地址： nststat -a 192.168.0.101...
2018-12-27 08:41:50
6026
2
原创 Django项目出现： 禁止访问（403），CSRF验证失败，相应中断
CSRF验证失败，相应中断 错误信息为： 查看错误信息，不难发现，我们在上面问题中有一个{% csrf_token %}，这是一个网络漏洞，在所有表单提交中，都需要添加并且必须放在format的后面解决办法： 在模板文件中的form表单内添加 {% csrf_token %} 查看Django项目中的settings.py文件中MIDDLEWARE 是否缺少了 ‘d...
2018-12-26 16:54:38
2227
原创 百度OCR验证码识别连接
百度OCR验证码识别连接#from aip import AipOcrfrom PIL import Image""" 你的 APPID AK SK """APP_ID = 'xxxxx'API_
2018-12-26 09:09:07
4875
原创 django数据迁移1050错误:django.db.utils.InternalError: (1050, "Table 'xxx' already exists")
解决办法:先执行:python manage.py migrate --fake再执行:python manage.py migrate就解决问题了
2018-12-26 09:02:29
2198
原创 django2.1连接MySQL出现的问题解决
报错:django.core.exceptions.ImproperlyConfigured: settings.DATABASES is improperly configured. Please supply the ENGINE value. Check settings documentation for more details.最后找到的问题是:DATABASES ...
2018-12-25 16:28:51
1533
原创 chromedriver下载地址及其与浏览器版本对应关系查询
chromedriver下载地址：http://chromedriver.storage.googleapis.com/index.html浏览器版本与chromedriver版本对应关系查询(至2019年6月)：------------2019年兼容版本对照表-----------注：支持chromeV74版本的driver版本号比较特别，不知道之后是否会回归以前正常的版本...
2018-12-24 11:13:01
1517
原创 scrapy框架的安装配置
Scrapy框架安装配置1.创建一个虚拟环境,在虚拟环境中进行操作安装:pip install virtualenv创建:到对应目录下:virtualenv 虚拟环境名称 进入虚拟环境:D:\virtu\spiderenv\Scripts>activate2.安装twiste依赖,https://www.lfd.uci.edu/~gohlke/py...
2018-12-11 16:43:12
238
ADB工具可用于电脑操作手机.zip
2019-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人