- 博客(100)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Python 网络数据采集（四）：Selenium 自动化
在 WEB 功能测试领域，Selenium 是一个免费、开源、跨平台的重要工具，它可以对 Chrome、Firefox、Safari 等浏览器进行测试，支持多种语言（如 Python、Java、C#、Ruby、JavaScript 等），它足以胜任一切 WEB 功能测试任务。优点：它可以模拟浏览器，打开你需要爬取的网站，可以大概率避免被封。因为我们用 Python 的 requets 库时，有些反爬严格的网站，可以识别出你当前访问是机器，导致爬取数据失败。缺点：速度慢。
2024-01-12 15:21:14
2661
原创 Python 上下文管理器编程模式写出优雅代码——@contextmanager 装饰器
with 语句和上下文管理器即是其中之一（在各种语言中 with 语句的作用不同，不要觉得名字一样，就意味着作用也一样），with 语句会设置一个临时的上下文。这些记录状态的语句，通常格式固定且遍布在代码的各个角落，也就是所谓的样板代码。 但是，如果你的应用场景不需要进行这么细致的管理，也可以使用 @contextlib.contextmanager 来创建简单的上下文管理器，用它把一个生成器函数转换为上下文管理器。得暇，回望先前写的代码，方才发现其中充斥着大量的样板代码。霎时脑海里浮现了开篇的那段话。
2023-11-03 22:37:45
327
原创 Scapy 解析 pcap 文件从HTTP流量中提取图片
通常我在网络嗅探与数据包分析中，使用 Wireshark 就可以很方便地浏览 pcap 文件的内容。但当捕获得流量很大或数据包特征不太明显，再或者数据包特征已确定，要从中进一步分析（提取）流量。以往采用人工方式可以说是种恶梦。幸运的是 Philippe Biondi 为 Python 开发的数据包处理库Scapy以精巧和令人惊叹，一两行代码就能解决上述问题（功能远远不止如此）。这里我会演示如何借助 Scapy 的 pcap 数据处理能力，从嗅探到的 HTTP 流量中提取图片。
2023-09-17 18:25:01
2275
1
原创 PYTHON 解码 IP 层
通过上述举例。我的初衷只是为了让原本乏味枯燥的，网络相关理论知识变的有趣，为我们接下来深入学习起到“抛转引玉”的作用。
2023-07-12 17:28:53
1414
1
原创 远古 Windows 98 SE 和 putty 0.63 连接 SSH
每每此时，总是惊叹前辈们在简陋的软硬件环境下，做出了那么多创意实足的软件，而大小往往竟只有几个 KB。通过查找资料得知因高版本的 OpenSSH 废弃了过时的密钥交换算法，我们需要手动加上以便支持旧版的客户端。在文件尾部增加如下两行，如果之前配置文件中已经有 KexAlgorithms 配置，请注释掉。毕竟观看此文的朋友（可能就是正在观看的你）不是来听我这个大叔来絮叨的。（最后一个已知能在 Windows98 下运行）来登录 SSH 以便管理家里的。在这台安装有 Windows 98 的旧电脑，装有。
2023-07-01 10:57:02
761
原创 geo-tool 解析百度经纬出错 {‘status‘: 240, ‘message‘: ‘APP 服务被禁用‘}
近日，在做一个项目需要使用百度地图提供的地理编码 API 来完成从物理地址到经纬度的转化。实践过程中纯手工调用百度 API 较为繁琐，就想查找一下是否有人已经实现了这个服务的通信协议。
2023-06-25 11:12:22
1349
原创 小米电视无法访问 SAMBA 4.15.13 共享文件
小米电视（我的）只能使用版本较低的 SMB 1.0 协议。通过查找资料得知 Linux Samba 服务默认使用协议。最后，重启 samba 服务。小米电视即可正常访问。系统，之前一直正常使用。因，许久没有更新，今天。时间：2023-4-8 21:00。再次连接一直失败（图 1-1）。下面添加对应配置（图 1-3）。
2023-04-08 21:12:01
2016
1
原创 批处理 for 命令爬过的坑之在 Windows 命令行下显示目录大小
囫囵吞枣般看了文章给出的示例代码，在转发给同事的同时还附上了一通自己的高谈。如，作者给出的 for 代码需要以硬编码的方式给出目录名和位置，这种方式缺乏灵活和通用性，应该将作者给出的代码嵌套在先遍历目录 for 命令内。然而可惜的是，结果值都为无效的 0。当 CMD 读取每个命令行的时候，环境变量和带有 % 标记的命令行参数由它们对应的值所替代。由于在 for 循环开始运行之前， 0 值已经替换了，echo 不会看到 sum、size 值的修改，所以输出都是 0，而这根本不是你想要的结果。
2023-01-05 19:00:18
1567
3
原创 为什么说 Windows 10 不会被 DDoS SSDP反射攻击利用
为了能顺利阅读下面的主题，这里极简介绍下 SSDP 协议（详细部分见文未给出的参考）如果你熟知此协议可跳过此部分。SSDP（简单服务发现协议）是应用层协议，是在HTTPU和HTTPMU的基础上实现的协议，是构成UPnP（通用即插即用）技术的核心协议之一。它为网络客户端提供了一种发现网络服务的机制，采用基于通知和发现路由的多播方式实现。按照协议的规定，当一个控制点（客户端）接入网络的时候，它可以向一个特定的多播地址的 SSDP 端口使用M-SEARCH方法发送消息。
2022-11-24 13:16:34
1020
原创 Centos8 部署 Jupyter Notebook
Jupyter（https://jupyter.org）项目是一个非营利性开源项目，于 2014 年由 IPython 项目中诞生，它能支持所有编程语言的交互式数据科学和科学计算。它的特点是能够在网页上直接执行编写的代码，同时支持动态交互，在做数据可视化时尤其方便。为了能随时随地调试稍纵即失的灵感代码，我专门在网上购买了一台云主机并部署了 Jupyter Notebook。有了它我甚至可在手机上做一些有意思的实验。下面我将此次部署过程分享出来，希望对有类式需求的朋友有所帮助。
2022-10-10 17:13:30
1246
原创 PYTHON 实现 UNIX/LINUX 性能监视可视化
UNIX/LINUX 系统运行时，将维护一组计数器以跟踪一些关键的系统资源的使用情况，包括：CPU 使用情况缓冲区使用情况磁盘 I/O 活动磁带 I/O 活动终端活动系统调用活动上下文切换活动文件访问情况队列活动进程间通讯换页活动空闲内存和交换区内核空间分配内核表远程文件共享通过对上述资源使用情况的分析，可获得系统中三个子系统的工作情况，这三个子系统为：CPU CPU 处理指令和程序。用户向系统提交作业主要由 CPU 完成。
2022-10-03 23:36:07
2051
12
原创 Python 命令行参数：Argparse 与 Click
和以往一样，我在实践过程中，执行编写的程序时，通过命令行传值给 Python 程序，达到从外部控制程序（而不是在代码内对这些值进行硬编码）。Python 内置了 Argparse 的标准库用于创建命令行，Argparse 是面向过程的，需要先设置解析器，再定义参数，再解析命令行，最后实现业务逻辑。在一些人看来，这此方式都不够优雅。...
2022-07-29 12:18:19
1463
1
原创 VUE transition 组件过度效果分析
Vue.js 在插入、更新或者移除 DOM 时，提供了多种不同方式的应用过渡效果，包括以下工具：在 CSS 过渡和动画中自动应用 class；可以配合使用第三方 CSS 动画库，如 Animate.css；在过渡钩子函数中使用 JavaScript 直接操作 DOM；可以配合使用第三方 JavaScript 动画库，如 Velocity.js。 Vue.js 提供了 transition 的封装组件，在下列情形...
2022-07-08 11:18:01
274
原创 Weblogic 管理控制台未授权远程命令执行漏洞（CVE-2020-14882，CVE-2020-14883）
近年来 Oracle 官方接连披露了多款旗下产品的安全漏洞，其中包括几个较为严重的漏洞（CVE-2020-14882，CVE-2020-14883，CVE-2020-17530，CVE-2021-44228）未经身份验证的攻击者可通过HTTP、IIOP、T3协议发送构造好的恶意请求实现远程代码执行，风险较高。工作中极少涉足安全领域，所以对此知之甚少，本周机缘巧合下接触到了上述漏洞，本着学习的态度，利用周未时间深入的...
2022-07-03 12:50:28
1246
原创 Python 玩数据分析：统计 Excel 并用 Matplotlib 绘图
Python 玩数据分析：统计 Excel 并用 Matplotlib 绘图
2022-06-19 15:51:41
3038
2
原创 Centos8 创建 LAMP
Centos8 创建 LAMP第一部分：信息收集1.1 环境第二部分：安装 APACHE2.1 安装 APACHE WEB 服务器2.1 查看 HTTPD 运行状态2.2 启动 HTTPD 与开机自启动服务第三部分：安装 MariaDB3.1 安装 MariaDB3.2 启动 MariaDB 与开机启动服务3.3 查看 MariaDB 运行状态3.4 启用 Secure 来保护 MariaDB 数据库引擎第四部分：安装 PHP74.1 通过 Remi 信息库安装最新版本的 PHP4.2 安装 yum uti
2022-05-27 14:04:02
776
原创 Python 网络数据采集（二）：抓取所有网页
Python 网络数据采集（二）：抓取所有网页如有必要，移劝到另一个网页重复这个过程2. 正则表达式2.1 正则表达式和 BeautifulSoup2.2 获取属性2.3 遍历单域名下所有页面2.4 让标签的选择更具体2.5 完整代码3. 下一节，通过互联网采集参见 作者：高玉涵 时间：2022.5.22 08:35 博客：blog.csdn.net/cg_i不知前方水深浅。如有必要，移劝到另一个网页重复这个过程 在互联网上进行自动数据采集这件事情和互联网存在的时间差不多一样长。虽然网络数据采集
2022-05-27 13:56:59
4074
原创 Python 网络数据采集（一）：BeautifulSoup
Python 采集网络 数据（一）：BeautifulSoup 起个头网络数据采集大有所为第一个任务1. Beautifulsoup 简介1.1 安装 BeautifulSoup1.1.2 运行 BeautifulSoup1.1.3 复杂 HTML 解析1.1.4 BeautifulSoup 的 find() 和 findAll()1.1.5 其它 BeautifulSoup 对象1.1.6 导航树2. 一个完整的例子3. 未完待续······ 作者：高玉涵 时间：2022.5.20 16:47 博
2022-05-20 19:59:21
1465
原创 Centos 7 安装 ORACLE 11g
Centos 7 安装 ORACLE 11g第一章：系统基本信息第二章：安装 ORACLE 11g2.1 安装前的准备工作2.2 开始安装 ORACLE2.4 Netca 配置监听2.5 dbca 静默建库2.6 启动 ORACLE第三章：异常处理1. yum 报错：Loaded plugins: fastestmirror, langpacks2. Oracle 安装报错 ins_ctx.mk3. Oracle 安装报错 agent nmhs 时间：2022-4-27 作者：高玉涵 博客：blog.
2022-04-29 14:50:22
4001
1
原创 Linux 下使用软件包
Linux 下使用软件包学习这些知识纯粹是一种乐趣1.1 使用软件包1.2 关于安全性和软件包1.3 验证的必要性1.4 软件包的基本认证1.5 数字签名的软件包验证机制1.6 RPM 格式的 GPG 签名1.7 查看软件包1.8 深入理解 RPM 软件包1.9 深入理解 Debian 软件包1.10 软件包更新1.11 Apt：高级软件包工具1.12 Yum：Yellowdong 修订版更新 作者：高玉涵 时间：2022.4.13 19:42 博客：blog.csdn.net/cg_i学习这些知识
2022-04-14 14:54:07
1162
原创 编写 ls -l
编写 ls -l1.1 问题 1：ls -l 能做些什么1.2 问题 2：ls -l 是如何 工作的1.3 用 stat 得到文件信息1.4 stat 提供的其他信息1.5 如何实现1.6 将模式字段转换成字符1.7 将用户/组 ID 转换成字符串1.8 编写 ls1.c留给大家的问题 作者：高玉涵 时间：2022.3.27 16:23 博客：blog.csdn.net/cg_i 环境：Linux ubuntu 4.15.0-163-generic #171-Ubuntu SMP Fri Nov 5
2022-03-27 19:11:09
905
原创 Unix & macOS 编写 who 命令
Unix & macOS 编写 who 命令作者：高玉涵时间：2022.3.14 09:47博客：blog.csdn.net/cg_i环境： HP-UX B.11.31 U ia64 macOS 12.2.1活动老，学到老。—— 俗语介绍 在使用 Unix 的时候，经常需要知道有哪些用户正在使用系统，系统是否很繁忙，某人是否正在使用系统等。为了回答这些问题，可以使用 who 命令，所有的多用户系统都会有这个命令。这个命令会显示系统中活动用户的情况。接下来的问题是，who 命令是如
2022-03-15 17:05:42
2556
原创 什么是平台依赖结构
什么是平台依赖结构序言为初学者解释什么是平台依赖结构网络字节与地址变换字节序（Order）与网络字节序字节转换（Endian Conversions） 作者：高玉涵 时间：2022.2.11 14:30 （福虎年十一） 博客：blog.csdn.net/cg_i 平台：HP-UX、LINUX序言 接触 UNIX 程序移值到 Linux 项目，已 11 个多月了，经过大家的努力，初步实现了目标，但接下来的日子，才是完成总体目标的关键，这期间确实有很多感触。作为一个一直都很热爱“底层”技术的开发人员
2022-02-11 14:48:03
599
原创 基于 C 语言 LINUX 的文件操作
基于 C 语言 LINUX 的文件操作 作者：高玉涵 时间：2022.2.8 10:20 （福虎年初八） 博客：blog.csdn.net/cg_i底层文件访问（Low-Level File Access）和文件描述符（File Descriptor） 即使看到“底层”二字，也会有读者臆测其难以理解。实际上，“底层”这个表达可以理解为“与标准无关的操作系统独立提供的”。稍后讲解的函数是由 Linux 提供的，而非 ANSI 标准定义的函数。如果想使用 Linux 提供的文件 I/O 函数，首先应该
2022-02-08 17:41:36
2250
原创 NAS快照不可见引发的HPUX访问共享文件夹LS命令挂起
NAS 快照不可见引发的 HPUX 访问共享文件夹 LS 命令挂起新年快乐打脸了：空欢喜一场结论致谢作者：高玉涵时间：2022.1.7 11:22博客：blog.csdn.net/cg_iNAS：华为 OceanStor 版本：V300R006C00 补丁：SPC100 SPH113背景知识：《用逆向方法：排除一例 NFS （网络文件系统）罕见故障》修学好古，实事求是。——《汉书·河间献王刘德传》 君子不隐其短，不知则问，不能则学。——董仲舒新年快乐 2021 的一切挫折都已过去，祝大家
2022-01-07 12:59:25
540
原创 用逆向方法：排除一例 NFS （网络文件系统）罕见故障
用逆向方法：排除一例 NFS （网络文件系统）罕见故障前言NFS 卡住了tcpdump 抓包像福尔摩斯一样思考参考 作者：高玉涵 时间：2021.12.20 09:47 博客：blog.csdn.net/cg_i 环境： 1 号机： HP-UX B.11.31 U ia64 2 号机：Linux 4.19.90-24.4.v2101.ky10.x86_64前言 手头项目需要 HP-UX 和 LINUX 系统，远程访问同一存储。系统部同事给出的办法是，使用 Sun 的网络文件系统（NFS）协
2021-12-21 12:04:20
1061
原创 HP-UX 安装 tcpdump
HP-UX 安装 tcpdump 作者：高玉涵 时间：2021.12.16 15:45 博客：blog.csdn.net/cg_i 环境：HP-UX B.11.31 U ia64 近期工作接触到 HP-UX，因它是面向企业的高级系统，之前对它知之甚少（我想大部分人都不可能自己买个小型机来研究它吧）。日常为排查一例系统故障，需要用到 tcpdump 工具来抓包。不幸运的是，我的机器上没有附带这个工具。无奈下，全网搜索适配的软件和安装方法，过程之艰辛几度让我绝望，好在经过努力问题终得解决，过程遂记之
2021-12-16 14:47:03
669
原创 银河麒麟高级服务器操作系统V10——静默方式安装 ORACLE 11.2.0.4
银河麒麟高级服务器操作系统V10——静默方式安装 ORACLE 11.2.0.41.1 安装包清单和编译环境1.2 安装前的准备1.2.1 系统配置更改1.2.2 系统内核配置更改1.2.3 依赖库安装2.1 创建组2.2 创建用户3.1 展开 ORACLE 安装包4.1 配置 ORACLE 用户环境5.1 开始安装 ORACLE替换 unzip6.1 重新编译 ORACLE6.2 /bin/ld: 找不到 /usr/lib64/libpthread_nonshared.a6.3 /usr/bin/ld
2021-12-12 16:45:26
10080
19
原创 银河麒麟高级服务器操作系统V10——LVM创建与使用
银河麒麟高级服务器操作系统V10——LVM创建与使用fdisk -l 查看当前分区表信息fdisk 新增一块 2 TB 分区并个性 ID 为 8efdisk和lsblk 查看最新分区信息将物理磁盘初始化为物理卷 PV基于 VG 创建逻辑卷 LVpvs 输出物理卷报表基于 VG 创建逻辑卷 LV为逻辑卷创建文件系统df 查看磁盘空间创建挂载点、挂载 LV实现开机自动挂载参考作者：高玉涵时间：2021.12.07 15:45博客：blog.csdn.net/cg_ifdisk -l 查看当前分区表信息
2021-12-08 18:07:52
3211
原创 反黑风暴·记一次遭遇 SSDP DDoS 和 EternalBlue（永恒之蓝）攻击经历
反黑风暴·记一次遭遇 SSDP DDoS 和 EternalBlue（永恒之蓝）攻击经历前言故事一：SSDP DDoS故事二：EternalBlue（永恒之蓝）总结参考作者：高玉涵时间：2021.12.07 15:45博客：blog.csdn.net/cg_i前言 就在昨天下午我所处的内网被 DDoS 攻击，万幸的是攻击来自内部，除所处网络因攻击不堪重负瘫痪，期间并未波及其它。因发生在内部，定位也较为轻松，找到中毒的电脑，拔掉它的网线、杀毒、打上补丁，故障排除。本想“事去佛衣了”没曾想，今天一大早
2021-12-08 14:43:01
7351
3
原创 Linux 汇编读写简单记录
Linux 汇编读写简单记录写入记录读取记录彩蛋参考作者：高玉涵时间：2021.11.16 09:30博客：blog.csdn.net/cg_i环境：Linux 7e142849497c 5.10.47-linuxkit #1 SMP Sat Jul 3 21:51:47 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux 如前一章所述，许多应用程序处理持久性数据，即通过将数据存储在文件中，使数据的寿命比程序长。你可以关闭程序，然后再打开，然后回到之前打开的地方。现在，
2021-11-16 10:59:16
1480
原创 银河麒麟高级服务器操作系统V10——安装Tuxedo12
银河麒麟高级服务器操作系统V10——安装Tuxedo12引言1. 什么是 TUXEDO2. 我的环境2.1 操作系统环境2.2 JAVA 版本2.3 ORACLE 版本 11.2.0.43. 安装前的准备工作3.1 下载、上传与展开3.2 建立用户和组3.3 移动安装包并赋权4. 第一次尝试：控制台模式下安装4.1 JAVA_HOME is not set4.2 开始控制台模式下安装4.3 控制台模式下安装止步于此5. 第二次尝试：图型界面模式下安装5.1 先决条件5.2 ROOT 用户环境下安装5.3 为
2021-11-10 11:51:15
4101
3
原创 Linux 下用汇编语言处理文件
Linux 下用汇编语言处理文件1.1 UNIX文件的概念1.2 打开和关闭文件1.3 访问类型1.4 UNIX 权限1.5 打开错误返回代码1.6 缓冲区和 .bss1.7 标准文件和特殊文件1.8 在程序中使用文件GDB toupper 程序调试部分内容表参考作者：高玉涵时间：2012.10.12 15:56博客：blog.csdn.net/cg_i环境：Linux 7e142849497c 5.10.47-linuxkit #1 SMP Sat Jul 3 21:51:47 UTC 2021
2021-10-12 16:10:33
948
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人