- 博客(23)
- 收藏
- 关注
RSS订阅原创 移动端爬虫--项目实践loach--API（六）
loach http api为什么要提供一组api来启动程序loach本身设计为任务驱动模型，需要有新的任务才能是loach继续运行。所以使用http来提供新的任务。最初是没有这组API的，每次启动loach都需要启动若干appium实例（wifi模式还需要建立adb连接），繁琐的操作另每次重启都苦不堪言。HTTP API添加设备...
2018-09-12 20:27:00
470
2
原创 centos7虚拟器共享文件夹 找不到解决
设置共享后，/mnt下却找不到解决：确保成功共享vmware-hgfsclient挂在yum install open-vm-toolsvmhgfs-fuse .host:/ /mnt/hgfs注意权限问题 ...
2018-07-27 01:26:00
3340
1
原创 centos7 gccs升级
最近linux的gcc版本更新到gcc 6.1.0 版本了，我查看了一下我的机器上的GCC版本.... http://wget http://ftp.gnu.org/gnu/gcc/gcc-6.1.0/gcc-6.1.0.tar.bz2tar -jxvf gcc-6.1.0.tar.bz2cd gcc-6.1.0./contrib/downloa...
2018-07-26 22:42:00
244
原创 抖音、猫眼网页信息加密分析与应对（2）
文集 移动端网页端爬虫前言本来想通过网页端来抓取猫眼电影的一些票房数据，但是发现maoyan1.pngmaoyan2.png小看了。下面将提供两种应对策略。编码集和图像识别分析F12 -> network -> font,可以看出.woff文件其实是一个自定义的字符子，它告诉浏览器怎样显示那些奇怪的编码成...
2018-07-25 12:12:00
992
原创 抖音、猫眼网页信息加密分析与应对（1）
猫眼电影反爬攻防文集 移动端网页端爬虫票房信息爬取示例按照上文操作一直很顺利，直到文章最后woff1.png图1.编码与实际数字不是按照文中所述的那样顺序对应的，所以即使拿到网页的woff文件也无法得到正确的映射关系。相信这是最近刚更新以应对爬虫们的。解决办法更改woff文件后缀为.ttf, 双击打开，便能看到下图。 ...
2018-07-25 12:05:00
953
原创 fiddler插件开发-DouYinCapture（五）
fiddler插件开发-DouYinCapture文集 移动端爬虫源码前言前面几篇文章介绍了app的自动化，但是光这样只是去掉人工操作，app运行时的请求并没有抓下来。下面介绍如何通过代理实现数据的抓取 — DouYinCapture。介绍DouYinCapture是fiddler的最基础最简单的一个插件即实现了IFiddlerExte...
2018-07-24 11:17:00
750
原创 移动端爬虫--多台设备自动化（三）
文集 移动端爬虫多台设备自动化思路启动多个appium service，且每个server对应一个设备appium -p 4723 -U udidappium -p 4724 -U udidAppium -p 4725 -U udid-p appium的端口 默认4723-U udid 设备的unique id ，使用adb ...
2018-07-24 10:19:00
848
原创 移动端爬虫--项目实践loach--爬去抖音数据（四）
文集 移动端爬虫源码loachloach是一个移动端爬虫，针对现下很火的短视频app—抖音支持多个android设备并行自动化支持任意android设备的服务端部署到任意机器支持使用http方法控制任务示意图imageappium 提供了一组restful接口用来控制设备scheduler会将从http...
2018-07-24 10:19:00
2528
4
原创 移动端爬虫--单设备自动化（二）
文集 移动端爬虫单设备自动化准备假设软件环境都已配置一台android虚拟机， 我的是夜神端口是62025启动连接设备[图片上传失败...(image-cd54b7-1532398731012)]运行appium，默认启动4723端口image[图片上传失败...(image-72a668-15323987...
2018-07-24 10:19:00
610
原创 移动端爬虫--Appium环境搭建（一）
文集 移动端爬虫配置macjdk最高支持1.8查看安装路径/usr/libexec/java_home -VJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/HomePATH=$JAVA_HOME/bin:$PATH:.CLASSPATH=...
2018-07-23 18:44:00
1527
转载 Linux中动态链接库总结
#参考：# http://www.abc188.com/info/html/wangzhanyunying/jianzhanjingyan/20080417/70810.html# http://os.51cto.com/art/201001/176625.htm# http://os.51cto.com/art/201001/176618.htm[概述]本文是我在学习lin
2016-05-11 23:04:03
1019
原创 Linux从按下电源到屏幕出现命令行究竟做了什么——linux mingetty命令
第一部分：内核的引导(核内引导) 第二部分：运行init及系统初始化 init程序 需要读取配置文件/etc/inittab。inittab是一个不可执行的文本文件，它有若干行指令所组成。 该文件决定了系统的启动级别（1,2,3,4,5）。 inittab中有这样一行si::sysinit:/etc/rc.d/rc.sysinit（调用执行/etc/rc.d/rc.sysini
2016-05-09 15:39:52
3902
转载 SQL中PIVOT 行列转换
http://www.studyofnet.com/news/295.htmlPIVOT通过将表达式某一列中的唯一值转换为输出中的多个列来旋转表值表达式，并在必要时对最终输出中所需的任何其余列值执行聚合。UNPIVOT与PIVOT执行相反的操作，将表值表达式的列转换为列值。通俗简单的说：PIVOT就是行转列，UNPIVOT就是列传行一、PIVOT实例1. 建表建立一个销售情况表，其中，year字
2016-02-16 09:27:42
786
转载 图片的二进制数据库存储和显示
GridView控件 Image控件 与图片的二进制数据库存储和显示1.将图片以二进制存入数据库2.读取二进制图片在页面显示3.设置Image控件显示从数据库中读出的二进制图片4.GridView中ImageField以URL方式显示图片5.GridView显示读出的二进制图片====================1.将图片以二进制存入数据库----------------------
2016-01-19 10:55:36
5173
原创 sql 增加自增列
select * from (select *,row_number() over(order by HoldCount)as b from dmRoom) as aselect * from dmRoom
2016-01-13 16:10:34
1596
原创 sql case 字段整合
create procedure [dbo].[p_dm_GetBedByRID2]( @Room_ID bigint)ASBEGIN select convert(nvarchar(10),bed.BedNumber)+N'('+ (case when exists(select 1 from dmStudentInfo where Student_ID=bed.S
2016-01-08 11:44:41
626
转载 自定义异常
在写存储过程时，我们常常会使用RAISERROR语句来抛出一个自定义异常。 如何在.net程序中来捕捉这个异常。framework类库为我们提供了一个SqlException异常类型，该类型是当 SQL Server 返回警告或错误时引发的异常。 一个存储过程中可以有多个RAISERROR语句来抛出的异常，如何捕捉到具体的哪一个？ RAISERROR语句中有一个参数state，MS
2015-12-21 10:26:40
515
转载 SQL Server 触发器
SQL Server 触发器触发器是一种特殊类型的存储过程，它不同于之前的我们介绍的存储过程。触发器主要是通过事件进行触发被自动调用执行的。而存储过程可以通过存储过程的名称被调用。Ø 什么是触发器 触发器对表进行插入、更新、删除的时候会自动执行的特殊存储过程。触发器一般用在check约束更加复杂的约束上面。触发器和普通的存储过程的区别是：触发器是当对某一个表进行操作。诸如：update、ins
2015-12-21 09:29:38
517
转载 文章标题
存储过程详解存储过程简介什么是存储过程：存储过程可以说是一个记录集吧，它是由一些T-SQL语句组成的代码块，这些T-SQL语句代码像一个方法一样实现一些功能（对单表或多表的增删改查），然后再给这个代码块取一个名字，在用到这个功能的时候调用他就行了。存储过程的好处：1.由于数据库执行动作时，是先编译后执行的。然而存储过程是一个编译过的代码块，所以执行效率要比T-SQL语句高。2.一个存储过程在程序在网
2015-12-20 10:47:28
586
原创 文章标题
alter procedure [dbo].[p_dm_GetRecordPeriodList]asbegin select CheckRecord_ID, SUBSTRING(convert(varchar(20),Date,23),1,4)+'年'+SUBSTRING(convert(varchar(20),Date,23),6,1)+'月' as Period,
2015-12-18 18:45:59
551
原创 8086CPU 取指令 执行 寄存器 理解
问题描述：学习x86的过程中对cpu的取指、执行工作原理一直是一知半解，上网查了很多相关，发现都讲的不全或者说很模糊。所以，经过自己长时间的查阅总结，终于画出了下图。在此之前需要说明下：cs：代码段寄存器 ip：指令指针寄存器x86cpu：地址宽度20，但是cpu只能提供16位的访问宽度，因此cpu把两个16位数一个当作段地址，一个当作偏移地址合成一个20位数. 段地址 * 16 +
2015-08-19 13:29:39
3584
原创 2015.08.07网络编程read()函数详解
2015-8-7网络编程总结 read()读函数特性 + 实例: 问题描述：网络编程，运行的时候有没有遇到过程序运行没有按自己设计的流程走，打印乱码，打印多了少了。如果有且翻来覆去找不到问题所在，那么你可能需要详细的了解一下read函数的运行机制。客户端与服务器连接 套接字sockfd; 1.sockfd好比是连接呼客户端与服务器的管道，管道有内
2015-08-08 13:53:19
1792
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人