- 博客(42)
- 收藏
- 关注
RSS订阅
原创 爬取全网小说（2）
python爬取全网小说前言：上一篇文章讲了怎么获取所有小说的唯一编号，然后将编号进行拼接就可以得到小说的所有章节的页面。这次我们来讲讲怎么将所有小说的内容下载下来。上一篇文章地址：爬取全网小说（1）结果如下：1. 分析整体思路和小说章节页面a） 整体思路和实现目标：我们已经获取到了 {“小说名”: “小说对应的编号”} 的字典了。这样就可以实现下载用户指定的小说了。因为小说章节较多，我们就可以考虑将获取到的小说章节全部放入队列当中，然后再使用多线程进行下载，但又考虑到多线程下载的最终结果是
2020-06-10 21:10:57
648
原创 爬取全网小说（1）
python爬取全网小说前言：想必大家都有过看小说时突然弹出来广告的烦恼吧，今天我就来教大家怎么去下载用户指定的小说。1. 分析页面a） 我们首先找到小说的章节地址，分析发现每个小说都有一个唯一的编号。那我们只需要找到小说的编号即可下载所有的小说了。而正好我们可以使用字典将数据保存到本地，以小说名作为键，以小说的唯一编号作为值即可实现下载用户指定的小说了。b） 我们知道了每个小说都有一个唯一的编号，找到编号即可下载对应的小说，那么编号到哪里找到呢。我们到小说的总排行榜的索引页中可以直接获取小说的唯
2020-06-05 20:18:36
1231
原创 多线程爬取4k超高清美图壁纸
多线程爬取4k美图壁纸前言：看完此篇文章你可以更加深入的了解多线程的使用，并且最重要的你能够下载你自己想要的超高清4k壁纸爬取结果：1. 分析网站要爬取的url ：http://pic.netbian.com/a） 判断网页是动态加载还是静态加载页面。右击查看网页源代码，按Ctrl + f在源代码中搜索网站的详情页地址，从而判断整个网页是静态加载的b） 明确爬取的目标。我们要爬取的目标是详情页的图片，因为详情页壁纸的大小比例才是我们想要的，索引页的壁纸比例都太小c） 分析类别。通过多次点
2020-05-09 19:00:57
2464
13
原创 分析爬取网易云音乐
爬取网易云音乐本章说的是在网易云中搜索某音乐或者歌手,从而下载搜索的内容的文章外链地址: http://music.163.com/song/media/outer/url?id={}.mp3,外链是需要记住的,找是很难找到的例如:http://music.163.com/song/media/outer/url?id=108418.mp3背对背拥抱可以看出来只需要获取每首歌曲的id即可获...
2020-04-20 15:24:47
10180
7
原创 Day27 Java学习笔记之《管理系统与服务器集成&单元测试&Log4J日志》
文章目录1. 管理系统与服务器集成1.1 准备工作【应用】1.2 HttpRequest类代码实现【应用】1.3 DynamicResourceProcess类代码实现【应用】1.4 StudentServlet类代码实现【应用】1.5 查询学生【应用】1.6 添加学生【应用】2. 单元测试2.1 概述【理解】2.2 特点【理解】2.3 使用步骤【应用】2.4 相关注解【应用】3. 日志3.1 概述【理解】3.2 日志体系结构和Log4J【理解】3.3 入门案例【应用】3.4 配置文件详解【理解】3.5 在
2021-10-25 10:44:07
146
原创 Day26 Java学习笔记之《XML&枚举&注解》
文章目录1. xml1.1 概述【理解】1.2 标签的规则【应用】1.3 语法规则【应用】1.4 xml解析【应用】1.5 DTD约束【理解】1.6 schema约束【理解】1.7 服务器改进【应用】2. 枚举2.1 概述【理解】2.2 定义格式【应用】2.3 枚举的特点【理解】2.4 枚举的方法【应用】3. 注解3.1 概述【理解】3.2 自定义注解【理解】3.3 元注解【理解】3.4 改写服务器【理解】1. xml1.1 概述【理解】万维网联盟(W3C)万维网联盟(W3C)创建于1994年
2021-10-25 10:39:42
97
原创 Day25 Java学习笔记之《类加载器&反射&HTTP服务器改写》
文章目录1. 类加载器1.1 类加载器【理解】1.2 类加载的过程【理解】1.3 类加载的分类【理解】1.4 双亲委派模型【理解】1.5 ClassLoader 中的两个方法【应用】2. 反射2.1 反射的概述【理解】2.2 获取Class类对象的三种方式【应用】2.3 反射获取构造方法并使用【应用】2.3.1 Class类获取构造方法对象的方法2.3.2 Constructor类用于创建对象的方法2.3.3 小结2.4 反射获取成员变量并使用【应用】2.4.1 Class类获取成员变量对象的方法2.4.2
2021-10-25 10:35:56
71
原创 Day24 Java学习笔记之《NIO&HTTP协议及服务器》
文章目录1. NIO1.1 NIO通道客户端【应用】1.2 NIO通道服务端【应用】1.3 NIO通道练习【应用】1.4 NIO通道练习优化【应用】1.5 NIO选择器【理解】1.6 NIO选择器改写服务端【应用】2. HTTP协议2.1 概述【理解】2.2 URL【理解】2.3 抓包工具的使用【应用】2.4 请求信息【理解】2.5 响应信息【理解】3. HTTP服务器3.1 需求【理解】3.2 环境搭建【理解】3.3 获取请求信息并解析【理解】3.4 给浏览器响应数据【理解】3.5 代码优化【理解】1
2021-10-25 10:28:14
186
原创 Day23 Java学习笔记之《网络基础&UDP&TCP&NIO》
文章目录1. 网络编程入门1.1 网络编程概述【理解】1.2 网络编程三要素【理解】1.3 IP地址【理解】1.4 InetAddress【应用】1.5 端口和协议【理解】2. UDP通信程序2.1 UDP发送数据【应用】2.2 UDP接收数据【应用】2.3 UDP通信程序练习【应用】2.4 UDP三种通讯方式【理解】2.5 UDP组播实现【理解】2.6 UDP广播实现【理解】3. TCP通信程序3.1 TCP发送数据【应用】3.2 TCP接收数据【应用】3.3 TCP程序练习【应用】3.4 TCP程序文件
2021-10-25 10:20:43
87
原创 Day22 Java学习笔记之《线程池&原子性&并发工具类》
文章目录1. 线程池1.1 线程状态介绍1.2 线程的状态-练习11.3 线程的状态-练习21.4 线程的状态-练习31.5 线程池-基本原理1.6 线程池-Executors默认线程池1.7 线程池-Executors创建指定上限的线程池1.8 线程池-ThreadPoolExecutor1.9 线程池-参数详解1.10 线程池-非默认任务拒绝策略2. 原子性2.1 volatile-问题2.2 volatile解决2.3 synchronized解决2.4 原子性2.5 volatile关键字不能保证原
2021-10-25 10:16:09
85
原创 Day21 Java学习笔记之《多线程&线程同步&生产者消费者》
文章目录1. 实现多线程1.1 简单了解多线程【理解】1.2 并发和并行【理解】1.3 进程和线程【理解】1.4 实现多线程方式一：继承Thread类【应用】1.5 实现多线程方式二：实现Runnable接口【应用】1.6 实现多线程方式三：实现Callable接口【应用】1.7 设置和获取线程名称【应用】1.8 线程休眠【应用】1.9 线程优先级【应用】1.10 守护线程【应用】2. 线程同步2.1 卖票【应用】2.2 卖票案例的问题【理解】2.3 同步代码块解决数据安全问题【应用】2.4 同步方法解决数
2021-10-25 10:10:56
76
原创 Day20 Java学习笔记之《字符流&转换流&对象操作流&Properties集合》
文章目录1. 字符流1.1 为什么会出现字符流【理解】1.2 编码表【理解】1.3 字符串中的编码解码问题【应用】1.4 字符流写数据【应用】1.5 字符流读数据【应用】1.6 字符流用户注册案例【应用】1.7 字符缓冲流【应用】1.8 字符缓冲流特有功能【应用】1.9 字符缓冲流操作文件中数据排序案例【应用】1.10 IO流小结【理解】2. 转换流2.1 字符流中和编码解码问题相关的两个类【理解】2.2 转换流读写数据【应用】3. 对象操作流3.1 对象序列化流【应用】3.2 对象反序列化流【应用】3.3
2021-10-25 10:05:17
86
原创 Day19 Java学习笔记之《File类和字节流》
文章目录1. File类1.1 File类概述和构造方法【应用】1.2 绝对路径和相对路径【理解】1.3 File类创建功能【应用】1.4 File类删除功能【应用】1.5 File类判断和获取功能【应用】1.6 File类练习一【应用】1.7 File类练习二【应用】1.8 File类练习三【应用】2. 字节流2.1 IO流概述和分类【理解】2.2 字节流写数据【应用】2.3 字节流写数据的三种方式【应用】2.4 字节流写数据的两个小问题【应用】2.5 字节流写数据加异常处理【应用】2.6 字节流读数据(
2021-10-25 10:00:44
81
原创 Day18 Java学习笔记之《Map集合&Stream流》
文章目录1. Map集合1.1 Map集合概述和特点【理解】1.2 Map集合的基本功能【应用】1.3 Map集合的获取功能【应用】1.4 Map集合的遍历(方式1)【应用】1.5 Map集合的遍历(方式2)【应用】2. HashMap集合2.1 HashMap集合概述和特点【理解】2.2 HashMap集合应用案例【应用】3. TreeMap集合3.1 TreeMap集合概述和特点【理解】3.2 TreeMap集合应用案例一【应用】3.3 TreeMap集合应用案例二【应用】4. 可变参数4.1 可变参数
2021-10-25 09:55:20
644
原创 Day17 Java学习笔记之《Set集合&树》
文章目录1. Set集合1.1 Set集合概述和特点【应用】1.2 Set集合的使用【应用】2. TreeSet集合2.1 TreeSet集合概述和特点【应用】2.2 TreeSet集合基本使用【应用】2.3 自然排序Comparable的使用【应用】2.4 比较器排序Comparator的使用【应用】2.4 两种比较方式总结【理解】3. 数据结构3.1 二叉树【理解】3.2 二叉查找树【理解】3.3 平衡二叉树【理解】3.4 红黑树【理解】3.5 成绩排序案例【应用】4. HashSet集合4.1 Has
2021-10-25 09:50:16
72
原创 Day16 Java学习笔记之《Collection集合&泛型》
文章目录1. Collection集合1.1 数组和集合的区别【理解】1.2 集合类体系结构【理解】1.3 Collection 集合概述和使用【应用】1.4 Collection集合的遍历【应用】1.5 增强for循环【应用】2. List集合2.1 List集合的概述和特点【记忆】2.2 List集合的特有方法【应用】3. 数据结构3.1 数据结构之栈和队列【记忆】3.2 数据结构之数组和链表【记忆】4. List集合的实现类4.1 List集合子类的特点【记忆】4.2 LinkedList集合的特有功
2021-10-25 09:46:36
54
原创 Day15 Java学习笔记之《时间日期类&异常&Optional》
文章目录1. 时间日期类1.1 Date类（应用）1.2 Date类常用方法（应用）1.3 SimpleDateFormat类（应用）1.4 时间日期类练习 (应用)2. JDK8时间日期类2.1 JDK8新增日期类 (理解)2.2 LocalDateTime创建方法 (应用)2.3 LocalDateTime获取方法 (应用)2.4 LocalDateTime转换方法 (应用)2.5 LocalDateTime格式化和解析 (应用)2.6 LocalDateTime增加或者减少时间的方法 (应用)2.7
2021-10-25 09:42:11
102
原创 Day14 Java学习笔记之《常用API&包装类&数组的高级操作》
文章目录1. API1.1 API概述【理解】1.2 如何使用API帮助文档【应用】2. 常用API2.1 Math（应用）2.2 System（应用）2.3 Object类的toString方法（应用）2.4 Object类的equals方法（应用）2.5 Objects (应用)2.6 BigDecimal (应用)3. 包装类3.1 基本类型包装类（记忆）3.2 Integer类（应用）3.3 自动拆箱和自动装箱（理解）3.4 int和String类型的相互转换（记忆）3.5 字符串数据排序案例（应用
2021-10-25 09:37:58
73
原创 Day13 Java学习笔记之《学生管理系统3.0》
文章目录1. 接口1.1 黑马信息管理系统集合改进 (应用)1.2 黑马信息管理系统抽取Dao (应用)1.3 接口的概述（理解）1.4 接口的特点（记忆）1.5 接口的成员特点（记忆）1.6 类和接口的关系（记忆）1.7 黑马信息管理系统使用接口改进 (应用)1.8 黑马信息管理系统解耦合改进 (应用)2. 接口组成更新2.1 接口组成更新概述【理解】2.2 接口中默认方法【应用】2.3 接口中静态方法【应用】2.4 接口中私有方法【应用】3. 多态3.1 多态的概述（记忆）3.2 多态中的成员访问特点（
2021-10-24 16:19:10
111
原创 Day12 Java学习笔记之《学生管理系统2.0》
文章目录1. 继承1.1 继承的实现（掌握）1.2 继承的好处和弊端（理解）1.3. Java中继承的特点（掌握）2. 继承中的成员访问特点2.1 继承中变量的访问特点（掌握）2.2 super（掌握）2.3 继承中构造方法的访问特点（理解）2.4 继承中成员方法的访问特点（掌握）2.5 super内存图（理解）2.6 方法重写（掌握）2.7 方法重写的注意事项（掌握）2.8 权限修饰符 (理解)2.9 黑马信息管理系统使用继承改进 (掌握)3. 抽象类3.1 抽象类的概述（理解）3.2 抽象类的特点（记忆
2021-10-24 16:15:06
77
原创 Day11 Java学习笔记之《学生管理系统1.0》
文章目录1. 案例驱动模式1.1 案例驱动模式概述 (理解)1.2 案例驱动模式的好处 (理解)2. 分类思想2.1 分类思想概述 (理解)2.2 黑马信息管理系统 (理解)3. 分包思想3.1 分包思想概述 (理解)3.2 包的概述 (记忆)3.3 包的注意事项 (理解)3.4 类与类之间的访问 (理解)4. 黑马信息管理系统4.1 系统介绍 (理解)4.2 学生管理系统 (应用)4.2.1 需求说明4.2.2 实现步骤4.2.3 代码实现4.3 老师管理系统 (应用)4.3.1 需求说明4.3.2 实现
2021-10-24 16:10:17
114
原创 Day10 Java学习笔记之《Git基本操作》
文章目录1. Git介绍1.1 版本控制(理解)1.2 开发中存在的问题(理解)1.3 SVN版本控制(理解)1.4 Git版本控制(理解)2. Git下载和安装2.1 Git的下载(应用)2.2 Git的安装(应用)2.3 TortoiseGit的安装(应用)3. Git操作入门3.1 Git基本工作流程(理解)3.2 Git命令行操作(应用)3.3 Git图形化工具操作(理解)4. Git版本管理4.1 历史版本切换(理解)4.2 分支管理介绍(理解)4.3 分支管理操作(应用)5. 远程仓库5.1 远
2021-10-24 16:00:12
88
原创 Day09 Java学习笔记之《ArrayList集合》
文章目录1. ArrayList1.1 ArrayList的构造方法和添加方法1.2 ArrayList类常用方法【应用】1.3 ArrayList存储字符串并遍历1.4 ArrayList存储学生对象并遍历1.5 键盘录入学生信息到集合2. 学生管理系统2.1 学生管理系统实现步骤2.2 学生类的定义2.3 测试类的定义1. ArrayList集合和数组的区别 : 共同点：都是存储数据的容器 不同点：数组的容量是固定的，集合的容量是可变的1.1 ArrayList的构造方法和添加方法
2021-10-24 15:41:40
58
原创 Day08 Java学习笔记之《String类》
文章目录1. API1.1 API概述-帮助文档的使用1.2 键盘录入字符串2. String类2.1 String概述2.2 String类的构造方法2.3 创建字符串对象的区别对比2.4 字符串的比较2.5 用户登录案例【应用】2.6 遍历字符串案例【应用】2.7 统计字符次数案例【应用】2.8 手机号屏蔽-字符串截取2.9 敏感词替换-字符串替换2.10 切割字符串2.11 String方法小结3. StringBuilder类3.1 StringBuilder类概述3.2 StringBuilder
2021-10-24 15:38:24
66
原创 Day07 Java学习笔记之《面向对象基础》
文章目录1. 类和对象1.1 类和对象的关系1.2 类的定义【应用】1.3 对象的创建和使用1.4 案例-手机类的创建和使用2. 对象内存图2.1 单个对象内存图【理解】2.2 多个对象内存图【理解】2.3 多个对象指向相同内存图【理解】3. 成员变量和局部变量3.1 成员变量和局部变量的区别4. 封装4.1 private关键字4.2 private关键字的使用4.3 this关键字【应用】4.4 this内存原理【理解】4.5 封装思想5. 构造方法5.1 构造方法的格式和执行时机5.2 构造方法的作用
2021-10-24 15:32:03
38
原创 Day06 Java学习笔记之《Debug&进制&二维数组》
文章目录1. Debug模式1.1 什么是Debug模式1.2 Debug介绍与操作流程2. 进制的介绍与书写格式2.1 进制的介绍与书写格式2.2 任意进制到十进制的转换2.3 进制转换-十进制到任意进制转换2.4 快速进制转换法2.5 原码反码补码2.6 位运算-基本位运算符2.7 位运算-位移运算符3. 基础练习3.1 数据交换3.2 数组反转【应用】3.3 二维数组概述3.4 二维数组动态初始化3.5 二维数组访问元素的细节问题3.6 二维数组静态初始化3.7 二维数组遍历3.8 二维数组求和
2021-10-24 15:23:53
67
原创 Day05 Java学习笔记之《方法》
文章目录1. 方法概述1.1 方法的概念2. 方法的定义和调用2.1 无参数方法定义和调用2.2 方法的调用过程2.3 方法练习-奇偶数判断3. 带参数方法的定义和调用3.1 带参数方法定义和调用3.2 形参和实参3.3 带参数方法的练习-打印n-m之间所有的奇数4. 带返回值方法的定义和调用4.1 带返回值方法定义和调用（掌握）4.2 带返回值方法的练习-求两个数的最大值(应用)5. 方法的注意事项5.1 方法的通用格式（掌握）5.2 方法的注意事项6. 方法重载6.1 方法重载6.2 方法重载练习7.
2021-10-23 23:24:41
63
原创 Day04 Java学习笔记之《数组》
① 数据类型[ ] 数组名② 数据类型 数组名[ ]Java中通常使用第一种定义格式，第二种是C语言定义数组的格式。
2021-07-09 19:20:09
101
原创 Day03 Java学习笔记之《流程控制》
文章目录3. 流程控制3.1 分类3.1.1顺序结构3. 流程控制在程序执行的过程中，每条语句的执行顺序对程序的结果有具直接影响。所以，我们必须清楚每条语句的执行流程。并且，通过流程控制语句来实现我们想要的功能。3.1 分类顺序结构分支结构(if, switch)循环结构(for, while, do…while)3.1.1顺序结构顺序结构是程序中最简单最基本的流程控制，没有特定的语法结构，按照代码的先后顺序，依次执行，程序中大多数的代码都是这样执行的。...
2021-07-03 13:10:14
96
原创 Day02 Java学习笔记之《运算符》
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2021-07-01 18:41:27
180
原创 Day01 Java学习笔记之《开章》
1. Java概述1.1. 什么是计算机语言语言： 人与人之间交流的工具或表达方式计算机语言： 人与计算机之间进行信息交流沟通的一个工具或表达方式1.2. Java的三个版本JavaSE: Java 语言的（标准版），用于桌面应用的开发，是其他两个版本的基础JavaME: Java 语言的（小型版），用于嵌入式消费类电子设备JavaEE: Java 语言的（企业版），用于 Web 方向的网站开发1.3.Java跨平台原理Java程序并非是直接运行的，Java编译器将Java源程序
2021-06-27 18:20:59
141
原创 datetime模块
datetime模块前言：datetime模块一般用来对时间进行计算，比如现在的两小时后是什么时间，几年几月，2050年的3月1日的前一天是几月几日等等。在正题开始之前我先让大家明白闰年和平年是怎么计算的。闰年：将年份除以4没有余数则为闰年，闰年的二月有29天平年：将年份除以4有余数则为平年，平年的二月有28天搞清楚datetime模块需要清楚就需要知道datetime中的四大类time：时间类date：日期类datetime：日期时间类timedelta：时间变化类1. time类
2020-07-26 13:25:11
306
原创 time模块
time模块前言：搞懂time模块首先要清楚三个概念：时间戳，时间对象，字符串时间时间戳：从时间元年（1970 1 1 00:00:00）到现在经过的秒数时间对象：包含年，月，日，时，分，秒，一年中第几周，一年中第几天等字符串时间：我们人们能够理解的时间，比如：2020-7-25 14:121. 时间戳# 获取时间戳time_stamp = time.time() # 获取当前时间戳print(time_stamp)结果：1595657605.1809392# 将时间对象转为
2020-07-25 14:53:13
160
原创 hashlib模块
hashlib模块前言：本篇主要讲hashlib模块中的md5加密算法。要注意一点：加密目的是用于判断和验证。而非是解密why？为什么说而非解密，因为md5加密算法具有单向性，只能加密，具有不可逆性。（但是已经被我国的王小云教授破解了），为什么被破解了还有这么多人用它呢。我认为主要是以下几点破解耗时，一台非常好的计算机去破解也需要很久一个公司注册账号和密码时在本地保存的就是md5加密后的字符总而言之就是知道破解方法但是却没有能力去破解加密的三部曲获取一个加密对象使用该对象的updat
2020-07-25 14:02:44
203
原创 深浅copy详解
深浅copy前言：深浅copy会在很多面试题中都会问到，所以搞懂它们之间的区别是很有必要性的本篇中的所有图解只是帮助大家进行理解1. 可变与不可变数据类型可变数据类型：列表，字典，集合不可变数据类型：字符串，元组，数字2. 浅拷贝先拿图说话：图中的123123等数值假设为内存地址在图中我们可以明显的看到浅拷贝过后，两个列表l1和l2的引用还是指的是同一个值，所以当我们更改这两个列表的任何可变数据类型时，另一个列表的值一定会跟着变化。注意：这里我强调了更改的值必须是可变数据类型时，另一
2020-07-04 12:03:29
585
原创 python集合数据类型详解
集合前言：首先我问大家几个问题，什么是集合？集合的作用是什么？集合是可变的数据类型吗？下面我们就按照这些问题进行展开。什么是集合？由不同元素组成的集合，集合是一组无序排列 可hash值，可作为字典的key。集合的目的是将不同的值存放在一起，不同的集合间用来做关系运算。集合的作用我认为集合有两个作用，一个是集合本身的性质 ‘’去重‘’，另一个集合可以用来做关系测试，比如交集，并集，差集，反交集（个人叫法）集合是可变数据类型吗？set1 = {1, 2, 3}print(id
2020-07-03 18:28:23
396
原创 fake-usergent报错一劳永逸解决办法
处理fake-useragent报错1. 报错如下：fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached原因：fake-useragent能够给我们这么多用户代理，其实质上是它访问了一个网站，如果访问网站失败达到最大重试次数，那么就会报这样的错误。我们只需要访问该网站并将网站中的数据保存到本地即可。网站为：https://fake-useragent.herokuapp.com/browsers/0.
2020-05-28 10:01:10
4611
4
原创 多线程爬取小米商城应用信息
多线程爬取小米商城前言：想必大家对python的多线程还不是很了解吧，今天我们的学习任务就是怎么使用多线程去爬取小米商城的App应用1. 分析目标站点目标URL ： http://app.mi.com/category/15#page=0 小米商城点击 “游戏-全部应用” 下方的下一页后发现整个页面只刷新了部分内容，这就说明整个网页都是动态加载来的，以下总结了怎么去判断整个网页是不是动态加...
2020-05-06 20:52:06
845
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人