- 博客(21)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 爬虫技巧----突破前端反调试(无限debugger)
爬虫技巧----突破前端反调试需求描述四种解决方法1.禁用浏览器断点2.利用中间人修改响应代码需求描述在采集某些网站时，目标网站为了防止别人分析调试前端代码，采取了反调试措施。其中一种做法是当你按F12进入浏览器控制台后，浏览器会自动命中debugger断点，并且无限循环，导致无法调试。以食品药品监督管理总局数据查询网站为例。如下图:按F12进入控制台四种解决方法1.禁用浏览器断点...
2019-08-10 15:46:43
11988
4
原创 蘑菇街列表页mw-sign值计算
蘑菇街mw-sign值计算需求描述分析过程1.寻找加密位置2.分析传入参数3.mw-uuid4._mwp_h5_token和_mwp_h5_token_enc5.最终流程梳理结果展示关注我们需求描述在采集蘑菇街的时候，按照关键词搜索宝贝列表的接口中有mw-sign参数,...
2019-07-25 15:27:50
992
2
原创 HTTP抓包利器Fiddler基础及进阶教程(四)----使用Fiddler破解离线版极验验证
前三篇文章中介绍了Fiddler的抓包捕获，请求篡改等部分功能，本文将通过一个例子具体介绍Fiddler的在某些特定应用场景下的使用。本文最终目的:通过极验离线版滑块验证目标网站 :小微企业名录一.分析过程抓包调试，找到geetest_validate值计算入口，离线版很好找，肉眼就能找到，在offline.6.0.0.js处其中c.o方法用于产生滑块缺口位置,c.ajax方法并没有...
2019-07-14 14:50:03
2152
原创 HTTP抓包利器Fiddler基础及进阶教程(三)---- 修改请求和响应+FiddlerCore使用
本文将进一步介绍Fiddler的进阶功能，修改Http请求或响应，并使用FiddlerCore将其应用在代码当中。一.修改Http请求本小节实现的功能是使用Fiddler，将原本访问地址 https://blog.csdn.net/qq_26712977 的请求修改为访问https://blog.csdn.net/cocos2der。以火狐浏览器为例，正常情况下访问我的博客列表页如下图:...
2019-06-29 21:48:16
2021
1
原创 HTTP抓包利器Fiddler基础及进阶教程(二)---- 手机端抓包+强制全局代理
上一篇文章HTTP抓包利器Fiddler基础及进阶教程(一)中介绍了Fiddler在浏览器和桌面端应用抓包的使用。本文将进一步介绍Fiddler在移动端抓包的方法。一.配置Fiddler1.在菜单栏->Tools->Options->Connections 处勾选“ Allow remote computer to connect ” 如下图2.查看当前IP方式有很多种...
2019-06-16 17:15:20
2296
3
原创 HTTP抓包利器Fiddler基础及进阶教程(一)
作为一个爬虫er，抓包分析是基本功，而提到抓包，不得不提http抓包利器Fiddler，此系列文章将详细介绍Fiddler的一些基础功能及进阶功能的使用。本文介绍Fiddler在PC端抓包的使用教程一.安装安装这一步，直接放上官网二.浏览器抓包设置一般情况下，直接打开浏览器就可以看到数据包，但是Fiddler首次安装默认是不解析https的，即看到的数据包如下图出现这种原因一般是...
2019-06-12 22:47:45
1517
原创 爬虫应对IP封禁的一般性处理方法
**封IP目前是很多网站常用的反爬虫手段，为了让广大爬虫少走弯路，本文整理了几种可行的封IP应对方法**1.通过设置Http请求头直接绕过某些网站，由于网站开发者或者管理员安全意识不够，通过设置X-Forwarded-For头可以伪造任意IP。以IP138为例如上图所示，通过修改X-Forwarded-For标头的值，可以任意伪造请求ip，配合随机IP使用，效果很好。但是目前存在此类...
2019-05-31 21:13:38
1812
原创 CerSharp 更规范的使用方式
前文链接前文中使用的是离线依赖包直接引入的方式，这种方式拿到的dll始终不是最新的，本文将提供一种更为规范的CefSharp使用方法，使用Nuget包引用1.老规矩 先拖个界面 本文使用的框架为 .Net Framework 4.5.22.从Nuget上安装CefSharp.WinForms安装完之后工具栏应该会多出来这个控件3.把项目改成64位（x86应该也可以 没试过）4.在...
2019-05-14 09:45:57
1346
3
原创 行政区域边界提取
实现功能:使用WebBrowser和百度地图JS API 提取任意行政区域边界最终效果展示提取结果:实现过程: 1.将html源文件载入到WebBrowser WebBrowser wb = new WebBrowser(); using (StreamReader sr = new StreamReader("1.html")) {
2017-12-19 15:55:47
3403
原创 Excel操作帮助类 (基于Aspose.Cells.dll)
基于Aspose.Cells.dll 封装了对于导出的Excel的各种样式设置，内容填充操作，目前支持边框样式，颜色，字体，合并单元格等操作,简化Aspose.Cells.dll的使用调用示例 /// ---------->Clom Y /// | /// | /// | /// \/ Row X stat
2017-11-14 11:54:09
1162
原创 C# 实现Sort接口 排序自定义实体类集合
预定义实体类 class SortClass { public SortClass(int id,String value) { this.Id = id; this.Value = value; } String _Value
2017-11-07 11:55:39
1910
原创 基于C#的Http参数化请求工具
前言写这个工具的原因是工作中经常需要去模拟客户端去请求接口，有时还需要携带一些请求头参数，在浏览器上直接模拟提交略麻烦，所以写了这个工具 持续更新中上图!常规请求默认使用Get请求,填上postdata则自动识别为Post请求 抽取内容请求图片下载文件 链接压缩包地址 密码:gbxjGitHub地址持续更新中~~
2017-11-03 16:37:10
9647
6
原创 Newtonsoft.Json.dll 的使用
1.类库说明Newtonsoft.Json.dll是.NET 下开源的json格式序列号和反序列化的类库，利用此类库，可以方便地操作json数据，其中在反序列化时，可以直接将格式化的json数据处理成预定义的实体类，也可以生成对应的匿名类2.环境配置1通过NuGet程序包直接配置 在对应项目的引用选项上右键，在弹出菜单中选择”管理NuGet程序包”，在搜索框中搜索json，找到Newtonso
2017-10-30 11:14:28
21284
原创 C# 图片和Base64字符串互相转换
1.base64编码的字符串转换为图片格式(Bitmap) /// <summary> /// base64编码的文本 转为 图片 /// </summary> /// <param name="basestr">base64字符串</param> /// <returns>转换后的Bitmap对象</returns>
2017-10-30 10:31:26
9455
4
原创 VS 通过局域网访问调试状态下的web应用程序
前言因工作需要，与同事协作开发接口，但是每次修改都要发布到IIS上，很不方便，所以就想到能不能通过局域网直接访问调试状态下的web应用程序，网上查阅资料很久，整理这篇博客环境操作系统 Windows7 编译环境 VS2013步骤1.新建demo .net mvc应用程序，并添加一个默认页面，运行效果如下 确保应用程序运行在IIS Express 上2.在任务栏找到IIS Express的图标
2017-10-24 22:03:41
3709
原创 C# Linq 的使用整理(持续更新中)
Linq 说明1.什么是LINQ? LINQ即Language Integrated Query(语言集成查询)，LINQ是集成到C#和Visual Basic.NET这些语言中用于提供查询数据能力的一个新特性。 注：LINQ(发音为Link)2.关于LINQ的重要高级特性？ 1> LINQ是.NET框架的扩展，它允许我们以数据库查询的方式查询数据集合。 2> C# 3.0包含整合LINQ到
2017-10-20 11:42:01
1546
原创 C#中CefSharp的简单使用
准备工作1. 创建32位winform项目 必须指定32位或64位 这里使用32位 2. 下载CefSharp相关文件 3. 复制CefSharp相关文件到项目debug目录并添加引用1.创建项目关键步骤是项目必须是32位 2.CefSharp相关文件可以直接通过NuGet程序包直接导入，本人为了图方便直接将用到的文件打包，新建项目时解压到debug目录就行压缩包下载链接 密码:5n49包
2017-10-19 11:44:21
26687
7
原创 C# 实现自动ADSL拨号
前言由于工作原因，需要使电脑长时间保持宽带连接状态，并且有动态拨号更换ip的需求，在网上查阅资料许久，首先找到了这篇博客: 使用C#实现ADSL自动拨号但是本人在win8 64位的系统上并未成功，后来采用bat去实现这个功能并封装成帮助类类代码类代码如下//---------------------------------------名称:基于bat批处理的ADS...
2017-10-18 16:41:05
4286
2
原创 C# 泛型使用
1.预定义编译器为VS2013 编译环境为Framework 4.0 项目类型为控制台应用程序预定义实体类 class TestClass { int _Key = 0; public int Key { get { return _Key; }
2017-10-18 14:46:20
435
原创 前端学习Tips
前端学习Tips整理了一些本人前端学习路上一些tipsJQuery1.获取相同标签的class数例如要知道页面中class为a的标签数量 代码如下html代码:<div class="a"></div><div class="a"></div><div class="a"></div><div class="a"></div><div class="a"></div><div clas
2017-10-18 11:02:19
673
CefSharpNuget.7z
2019-05-14
CefSharp测试.7z
2019-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人