- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 IDA常用的快捷键
f5 识别成伪代码N 重命名Y 设置类型X 查看交叉引用/ 添加注释\ 隐藏castC 识别成汇编指令G 根据指定地址、函数符号跳转alt M 添加标签ctrl M 查看标签tab 汇编和反汇编切换p 识别成函数D 切换成数据A 切换成字符串...
2022-02-03 10:25:48
816
原创 初学爬虫的User-agent
关于初学爬虫的一个小助力许多人在刚开始接触爬虫时，对于请求的头部，也就是User-Agent需要每次都去复制抓包中的或者搜索一个。其实python中有一个第三方标准库，可以省去不少事，有人知道，也有人不知道，简单的介绍一下用法。这个就是fake_useragentfrom fake_useragent import UserAgent,FakeUserAgentErrorua = UserAgent()headers = {"User-Agent": ua.random} print(head
2020-08-28 15:56:27
283
原创 简单的关于AES加密介绍
加密与解密使用同一个密钥的加密方式叫做对称加密，使用不同密钥加密的是非对称加密。相对于非对称加密来说，对称加密的速度更快。适合大量数据加密的场景。常见的对称加密算法有：DES、3DES、BLOWFISH、RC5和AES等。目前应用广泛强度最高的是AES。加密过程：输入明文 —> AES加密算法 ---->输出密文| ||| |密钥key || || |
2020-08-09 16:02:02
926
原创 信道极限容量
二元制调制方法：调幅：载波的振幅随基带数字信号而变化。调频：载波的频率随基带数字信号变化而变化。调相：载波的初始相位随基带数字信号而变化。信道的极限容量任何实际的信道都是不理想的，在传输信号时会产生各种失真以及带来多种干扰。码元传输的速率越高，或传输的距离越远，或传输媒体质量越差，在信道的输出端的波形的失真就越严重。从概念上讲，限制码元在信道上的传输速率的因素有两个：信道能够通过的频率范围。（在任何信道中，码元传输的速率是有上限的，否则就会出现码间串扰的问题，使接收端对码元的判决成为不可能。
2020-08-07 14:58:33
1003
转载 爬虫实际问题
资源下载阶段经常出现中断或失败等问题【方案：将资源下载及相关处理从爬取过程中独立出来，方便任务重跑】虽然是不同平台，但是重复资源太多，特别是视频网站 【方案：资源下载前根据title匹配，完全匹配则过滤，省下了多余的下载时间消耗】大量爬取过程中，会遇到ip被封的情况。【方案：动态 ip 代理】大型视频网站资源获取规则频繁替换（加密，视频切割，防盗链等），开发维护成本高 。【方案：you-get三方库，该库支持大量的主流视频网站的爬取，大大减少开发维护成本】app相关爬取被加密【方案：反编译.
2020-08-05 11:31:00
147
转载 复杂的爬虫设计
当我们要爬取的数据相对比较简单, 数据属于拿来即用型，实际上我们要爬取的数据大部分是非结构化数据(html 网页等),需要对这些数据做进一步地处理（爬虫中的数据清洗阶段）,而且每个我们爬取的数据中也很有可能包含着大量待爬取网页的 url,也就是说需要有 url 队列管理，另外请求有时候还需求登录，每个请求也需要添加 Cookie，也就涉及到 Cookie 的管理，在这种情况下考虑 Scrapy 这样的框架是必要的！不管是我们自己写的，还是类似 Scrapy 这样的爬虫框架，基本上都离不开以下模块的设计u
2020-08-05 11:21:10
299
原创 物理层1
什么是物理层？物理层考虑的是怎么样在各种计算机的***传输媒体上传输数据比特流***，而不是指具体的传输媒体。物理层的作用：是尽可能的屏蔽掉不同传输媒体和通讯手段差异。物理层的主要任务：确定与传输媒体额接口特性。机械特性：指明接口所用接线器的形状和尺寸、引线数目和排列、固定和锁定装置等。电气特性：指明在接口电缆的各条线上出现的电压的范围。功能特性：指明某条线上出现的某一电平的电压表示何种意义。过程特性：指明对于不同功能的各种可能事件的出现顺序。一个数据通信系统包括三大部分：源系统 （发送
2020-08-04 17:10:18
117
原创 内存
内存的物理结构内存的内部是由各种ic电路组成的，种类庞大。主要分为三种储存器：随机储存器（RAM）重要的一种，表示既可以从中读取数据也可以写入数据，当容器关闭时，内存中的信息会丢失。只读储存器：ROM一般只能用于数据的读取，不能写入数据，但是当机器停电时，这些数据不会丢失。高速缓存：Cache分为一级缓存、二级缓存、三级缓存这些数据时，它位于内存和cpu之间，是一个读写速度比内存更快的储存器。当cpu向内存中写入数据时，这些数据也会被写入高速缓存中。当cpu读取数据时，会直接从高速缓存器中读取，如
2020-08-01 20:35:30
192
原创 cpu与寄存器
cpu是寄存器的集合体不同类型的cpu，其内部寄存器的种类数量以及寄存器的数值范围是不一样的。累加寄存器：储存运行的数据和运算后的数据。标志寄存器：用于反应处理器的状态和运算结果的某些特征以及控制指令的运行。程序计数器：程序计数器是用于存放下一条指令所在单元的地址的地方。基址寄存器：储存数据内存的起始位置。变址寄存器：储存基址寄存器的相对地址。通用寄存器：储存任意数据。指令寄存器：储存正在被运行的指令，cpu内部使用。栈寄存器：储存栈区域的起始位置。其中程序计数器、累加寄存器、标志寄存
2020-08-01 15:29:44
1433
原创 处理selenium + python爬虫被发现该如何处理？
处理selenium + python爬虫被发现该如何处理？网上有多种办法，总结起来有三种。个人感觉直接修改selenium的参数比较合适。browser.execute_cdp_cmd( "Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined })
2020-06-25 11:31:57
645
原创 安卓常见应用权限
安卓常见的应用权限：辅助功能权限优势：帮助用户更加简单的操作设备，包括文字转语音、触觉反馈、手势动作、轨迹球和手柄操作。开发场景：实现静默安装、卸载、应用锁、通知栏管理、抢红包功能。存在的风险：可以监听设备当前窗口的变化，分析当前应用 的view结构之后模拟点击。当一个恶意应用软件申请到了这个权限之后，可以监听设备应用启动情况。模拟一些社交App的登录窗口页面，其实是他们自己的钓鱼登录页面。当监听到当前应用是社交app，而且是聊天记录页面时，就可以得知当前聊天记录。分析设备中的应用情况，在用
2020-06-22 10:36:32
831
2
原创 python基础10
os模块#获取计算机的操作系统类型os.nament:windows posix:linux max#获取操作系统中的所有环境变量os.environ#获取系统变量中指定字段的值os.environ.get(‘key’)#获取当前文件所在路径os.curdir()#获取当前文件所在路径 绝对路径os.getcwd()#创建目录os.mkdir() 文件存在会...
2019-09-22 14:24:46
49
原创 python基础9
列表生成式快速的在内存中生成一批符合要求的数据。格式：[元素 元素的来源 元素的筛选]生成器（元素 元素的来源 元素的筛选）值一旦取出，生成器中就没有了。使用next方法，一个一个取值ge-obj = (ele for ele in range(1,101))value = next(ge_obj)print(value)一次只取一个。yield i 不会中断函数 如果y...
2019-09-21 13:42:01
75
原创 python基础8
高阶函数map参数：map（func,*iterables）第一个参数是函数，必须要有形参，接受序列中的元素。按照函数对数据进行改变之后的结果。第二个参数是要进行转化的序列。res = map(str,list0)ret = map(lambda x,y:(y,x),'abcdef',[123456]res = list(map(str,list0) 传统方法： n...
2019-09-17 21:03:51
181
原创 python基础7
匿名函数一般应用于函数的简化或者为了一个功能。lambda 形式参数 ： 表达式如果函数没有参数，形式参数可以省略。匿名函数执行完后会被立即释放。函数也是一种数据，函数的类型是FunctionType系统自带的是BulitFunctionTypeform types import FunctionTypef = 函数名f 具有和函数和abs一样的功能。偏函数:根据场景重置参数参数...
2019-09-17 20:36:18
64
原创 python基础6
函数定义：函数在程序中，是一段独立的代码和功能，函数又称之为方法。作用：将常用的代码 封装成对应的功能 需要使用代码时，直接调用函数即可。优点：简化代码 降低代码重复率函数的分类系统分类： 直接可以调用的自定义方法：根据实际需求封装独立的代码格式def 函数名 （参数名）: 函数封装的功能实现 return 功能运行的结果函数名的命名规则：字母小写，每个单词用下划线隔开形...
2019-09-16 19:34:10
62
原创 python基础5
.元组详解tuple = (1,2,45,67)tuple1 = (18,) 元组中有一个元素时，后面必须加上逗号，否则解释器会将小括号解释为提高优先级的含义。元组取值:tuple[0]<= < > >= == != 同位置元素的索引进行比较，如果一致，比较下一个的大小。最后结果的是true或false将其他序列转换为元组类型，将序列中的元素添加到元组...
2019-09-14 21:40:19
115
原创 python基础4
python实现冒泡、选择、插入、二分法、顺序查找算法冒泡排序规则：每次从索引0的位置开始，取元素进行两两进行比较，将较大者向后移，一直到最值对应的位置。遍历的次数是列表的长度-1次每次遍历的元素个数 = 列表长度-当前遍历的次数#降序list0 = [56,28,31,15,29,42]for i in range(1,len(list0)): for j in range(0,...
2019-09-14 14:30:11
66
原创 python基础3
range方法的使用生成一系列的随机整数range(stop)从0开始到stop-1结束区间[0,stop]基本用法range(start,stop,step)随机模块import random方法：1、random.choice(序列) 在序列中随机选择生成一个元素。2、random.random() 在0-1之间随机生成一个小数，包含0，不包括1。3、random.ra...
2019-09-14 12:55:18
62
原创 python基础2
数值类型数值：符号：int int占4b 具有python2中的long内存空间。整型----->整数int（）字符串的数据类型必须满足整型的特征。int（x，base=10） base默认值是10，基于十进制格式转换。x：指定的数据。基于指定的进制格式将数据按十进制装换。浮点型：符号;float 占4b对应的数据类型是小数。将指定的数据装换成浮点型。布尔类型：符...
2019-09-14 11:43:04
96
原创 python基础1
计算机基础- 计算机组成计算机之父：冯.诺依曼组成：输出设备、输入设备、控制器、存储器、运算器- 输入设备键盘、鼠标- 输出设备显示器、音响- 机箱主板：连接各个设备的载体cpu：计算机的中央处理单元，CPU的个数是由电脑核数决定的。内存： 计算机的运行内存，负责是存储cpu与硬盘上数据的交换。显卡：显示器呈现画面。软件开发软件：一系列按照特定的顺序组成的计算机的数据与...
2019-09-13 13:32:18
218
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人