qq_30346413的博客

原创 爬虫_app 6.7 ssl pining技术分析与xponsed框架安装

1、抓取数据一、什么是 SSL pingning1、根据浏览器或者操作系统（Android）自带的证书链2、使用自签名证书3、自签名证书加上 SSL Pinging 特性SSL Pinging, 即 SSL 证书绑定，是验证服务器省份的一种方式，是在https协议建立通信时增加的代码逻辑，它通过自己的方式验证服务器身份，然后决定通信是否继续下去。它唯一指定了服务器的身份，所以安全性较高。二、解决方案安装 Xposed 框架 + JustTruestMe 组件Xpo..

原创 爬虫_app 5.7 appium 和 inspector 介绍

一、appium 介绍Appium 是一个开源测试自动换框架，可用于原生，混合和移动web应用程序测试。它使用 WebDriver 协议驱动 IOS, Android 应用程序。appium 网址1、Appium 框架（1）IOS​（2）Android​二、inspector 介绍1、下载 inspector下载地址 ： https://github.com/appium/appium-inspector现在发布的版本：https://github.c...

原创 爬虫_app 5.6 sdk 下 uiautomatorviewer 工具

uiautomatorviewer 工具

原创 爬虫_app 5.3 adb工具

adb 工具

原创 爬虫_app 5.2 安装 sdk 工具包

目录一、sdk 工具包1、下载地址​ 2、安装 sdk3、配置环境变量4、配置 SDK Manager5、检查是否安装成功一、sdk 工具包1、下载地址Android SDK 百度网盘下载地址链接这里我下载的是installer_r24.4.1-windows.exe 2、安装 sdk(1)双击运行，自动检查是否有安装jdk（2）选择所有用户可用（3）选择安装路径（4）先不启动，关闭窗口3、配置环境变量（...

原创 爬虫_app 4 app数据抓取入门

一、python实现app数据抓取需求1、分析豆果美食数据包2、通过python多线程-线程池抓取数据3、通过使用代理ip隐藏爬虫4、将数据保存到 mongodb 中

原创 爬虫_app 3.7 mitmproxy 抓包软件

原创 爬虫_app 3.1 fiddler抓包工具

fiddler 的下载安装详见：fiddler软件介绍&下载&安装&软件设置一、fiddler 抓包软件配置详讲常见app拆包软件对比例子1：设置监听端口Tools -> Options -> Connections 下可以配置代理服务监听的端口，如下1；勾选 Allow remote computers to connect 可以运行远程浏览器，客户端等进行连接例子2：TextWizard 数据转换工具例子3...

原创 爬虫_app 2.9 安装docker以及docker运行

一、docker1、docker 和 Virtual Machines对比对比总结2、使用docker 理由更高效的利用系统资源更快速的启动时间一致的运行环境持续交付和部署更轻松的迁移3、下载docker 安装程序下载链接 Install Docker Desktop on Windows | Docker Documentation下载后直接双击exe进行安装，界...

原创 爬虫_app 2.8 介绍appium环境搭建的方法

1

原创 爬虫_app 2.7 packet capture抓包工具介绍

Packet Capture 抓包app介绍1、Packet Capture 是一款免root 的 app, 运行在安卓平台上，用于捕获 http/ https 网络流量嗅探的应用程序。2、特点：捕获网络数据包，并记录他们，使用中间人技术对 SSL 解密， 无须 root 权限，这个软件使用了 Android 提供的 VpnService api ， 实现了中间人攻击。3、直接下载安装即可4、图形界面介绍（从视频中截取）...

原创 爬虫_app 2.5 mitmproxy介绍&安装&如何在linux操作系统中安装&使用

1

原创 爬虫_app 2.4 fiddler软件介绍&下载&安装&软件设置

Fiddler抓包软件的安装和介绍1、常见app抓包软件对比2、FIddler 抓包软件介绍fiddler 是一个web调试代理平台，可以监控和修改web数据流3、fiddler 功能强大（1）支持 IE、Chrome、Safari、firefox和 Opera 等浏览器（2）可以在ipone、ipad等移动设备上进行连接4、fiddler 优点（1）可以查看所有浏览器、客户端应用或服务之间的web数据流（2）手动或自动修改任意的请求和响应...

原创 爬虫_app 2.1 夜神模拟器安装介绍

环境搭建第一节 Android模拟器的安装和介绍1、常见安卓开发模拟器对比2、夜神模拟器软件下载页面下载页面地址：https://www.yeshen.com/3、我下载的版本是nox_setup_v7.0.1.8_full.exe ，直接点击安装即可夜神多开器页面：夜神模拟器页面...

原创 爬虫_app 1.1 导学

课程学习目标：

原创 python_爬虫 25 Scrapy-Redis组件介绍

2

原创 python_爬虫 24 redis数据库介绍

1

原创 python_爬虫 23 Scrapy框架之（九）Scrapy爬虫实战

目录实战1：爬取简书页面内容并同步保存到数据库项目目录：spider/js.pyitems.pypipelines.pysettings.pystart.pymysql 表结构结果：代码实战2：爬取简书页面内容并使用 twisted 异步保存到数据库pipelines.pysettings.py代码实战3：将 selenium + chromedriver 集成到 scrapy ，爬取并异步保存到数据库项目目录：spider/js.py..

原创 python_爬虫 Feed exports

具体参数详见：Feed exportsFeed exports 中文本文是通过spider 项目，简单爬取Quotes to Scrape下的 text 和作者，并保存成 csv 和 jsonlines 格式的文件。一、创建项目1、执行命令行创建项目：scrapy startproject feed2、进入创建的项目： cd feed3、创建名字为 fd 的 spider 运访问的域名 quotes.toscrape.com：...

原创 Django ORM，单表和多表查询，聚合查询

单表实例======== 单表实例 ================================================================================= 添加： 方式一：实例化对象模型，调用 对象.save() book = models.Book(title="菜鸟教程", price="30", publish="菜鸟出版社", pub_date="2021-8-8") ...

原创 python_爬虫 21 Scrapy框架之（七）下载中间件

1

原创 python_爬虫 20 Scrapy框架之（六）下载文件和图片

1

原创 python_爬虫 19 Scrapy框架之（五）Request和Response对象

1

原创 python_爬虫 18 Scrapy框架之（四）Scrapy Shell

Scrapy Shell我们想要在爬虫中使用xpath、beautifulsoup、正则表达式、css选择器等来提取想要的数据。但是因为scrapy是一个比较重的框架。每次运行起来都要等待一段时间。因此要去验证我们写的提取规则是否正确，是一个比较麻烦的事情。因此Scrapy提供了一个shell，用来方便的测试规则。当然也不仅仅局限于这一个功能。打开Scrapy Shell：打开cmd终端，进入到Scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令scrapy shel

原创 python_爬虫 17 Scrapy框架之（三）CrawlSpider

CrawlSpider在上一个糗事百科的爬虫案例中。我们是自己在解析完整个页面后获取下一页的url，然后重新发送一个请求。有时候我们想要这样做，只要满足某个条件的url，都给我进行爬取。那么这时候我们就可以通过CrawlSpider来帮我们完成了。CrawlSpider继承自Spider，只不过是在之前的基础之上增加了新的功能，可以定义爬取的url的规则，以后scrapy碰到满足条件的url都进行爬取，而不用手动的yield Request。CrawlSpider爬虫：创建CrawlSpider

原创 python_爬虫 16 Scrapy框架之（二）快速入门

Scrapy快速入门一、安装和文档：安装：通过pip install scrapy即可安装。 Scrapy官方文档：http://doc.scrapy.org/en/latest Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html注意：在ubuntu上安装scrapy之前，需要先安装以下依赖：sudo apt-get install python3-dev build-essential py...

原创 python_爬虫 15 Scrapy框架之（一）框架架构

1

原创 python_爬虫 14 图形验证码识别

1

原创 python_爬虫 13 Selenium+chromedriver 动态网页爬虫

动态网页数据抓取一、什么是AJAXAJAX（Asynchronouse JavaScript And XML）异步JavaScript和XML。过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是XML语法。因此叫做AJAX，其实现在数据交互基本上都是使用JSON。使用AJAX加载的数据，即使使用了JS...

原创 python_爬虫 12 多线程爬虫

目录多线程爬虫一、多线程介绍：二、threading模块介绍：1、查看线程数：2、查看当前线程的名字：3、继承自threading.Thread类：4、多线程共享全局变量的问题：5、锁机制：三、Lock版本生产者和消费者模式：四、Condition版的生产者与消费者模式：五、Queue线程安全队列：六、使用生产者与消费者模式 多线程 下载表情包：单线程版本多线程版本协程版本七、GIL全局解释器锁：八、多线程下载百思不得姐段子作业：..

原创 python_爬虫 11 MongoDB数据库

目录一、在windows 安装 mongodb二、mongodb 概念介绍三、mongodb 三元素四、mongodb 操纵命令五、python 操作 mongodb一、在windows 安装 mongodb1、从服务器下载 mongodb 安装包，这里是的是 zip 的安装包，下载链接：mongodb-windows-x86_64-4.4.6.zip2、下载之后在文件夹下创建data 文件夹，再进入到解压文件夹下的 bin 文件夹，目录结构如下3、...

原创 python_爬虫 10 mysql数据库

MySQL数据库操作1、安装mysql在官网：https://dev.mysql.com/downloads/windows/installer/5.7.html 如果提示没有.NET Framework框架。那么就在提示框中找到下载链接，下载一个就可以了。 如果提示没有Microsoft Virtual C++ x64(x86)，那么百度或者谷歌这个软件安装即可。2、navicat 或 MySQL Workbenchnavicat是一个操作mysql数据库非常方便的软件。使用他操作数据库

原创 python_爬虫 09 cvs文件处理

csv文件处理写入数据到csv文件：写入数据到csv文件，需要创建一个writer对象，主要用到两个方法。一个是writerow，这个是写入一行。一个是writerows，这个是写入多行。示例代码如下：import csvheaders = ["name", "age", "height"]datas = [ ("许1", 89, 150), ("许2", 64, 160), ("许3", 60, 170),]with open("persons.csv.

原创 python_爬虫 08 json文件处理

什么是json：JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。更多解释请见：https://baike.baidu.com/item/JSON/2462549?fr=aladdinJSON支

原创 python_爬虫 07 正则表达式 和 re模块

目录正则表达式一、正则表达式常用匹配规则1、匹配某个字符串2、点（.）匹配任意的字符3、\d匹配任意的数字4、\D匹配任意的非数字5、\s匹配的是空白字符（包括：\n，\t，\r和空格）6、\w匹配的是a-z和A-Z以及数字和下划线：7、\W匹配的是和\w相反的：8、[]组合的方式，只要满足中括号中的某一项都算匹配成功：二、匹配多个字符（1）*（2）+（3）?（4）{m}（5）{m,n}三、小案例四、 其他符号之 ^ $ |...

原创 python 00 基础目录

1

原创 python_爬虫 00 目录

Introduction1. 第一章：网络请求1.1. 1-爬虫前奏1.2. 2-http协议和chrome浏览器1.3. 3-urllib库1.4. 4-requests库2. 第二章：数据提取2.1. 1.xpath语法与lxml库2.2. 2-BeautifulSoup4库2.3. 3-正则表达式和re模块3. 第三章：数据存储3.1. 1-json文件处理3.2. 2-csv文件处理3.3. 3-excel文件处理3.4. 4-MySQL数据库3.5. 5-

原创 python_爬虫 06 BeautifulSoup4库

一、BeautifulSoup4库和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model）的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准...

原创 python_爬虫 05 XPath语法和lxml模块

一、什么是XPath？xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。二、XPath开发工具Chrome插件XPath Helper。 Firefox插件Try XPath。三、XPath语法XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。 1、选取节点表达式 描述 示例...

原创 python_爬虫 04 requests库

虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。一、安装和文档地址二、发送GET请求三、发送POST请求四、使用代理五、cookie六、session七、处理不信任的SSL证书...