- 博客(144)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 对ArrayList 使用 HashSet 进行封装
文章目录前言目标实现使用DEBUG 代码遍历前言ArrayList 底层是数组.所以遍历比较快.但是有个缺点是扩容的时候,需要将 已有的 copy 到 新的 数组中.这会造成 内存和时间上面的浪费.目标我们封装一个链表类. 内部包含一个ArrayList的类. 如果ArrayList 需要扩容的时候,直接在创建一个 ArrayList 既可以了. 这么一来,就剩下了 扩容的时间和内存实现public class ArrayLists<T> implements Lists&l
2021-07-27 12:02:21
118
原创 测试之路_001
文章目录技能列表LinuxShell脚本互联网程序员原理MySql抓包工具接口测试Web自动化测试接口与手机自动化Jenkins & Sonar性能 & 安全测试技能列表Linux简介与准备 Linux系统目录结构文件属性与管理 Linux文件,目录基本属性 文件操作,管理 目录操作,管理用户与组管理 CRUD用户与组 赋予权限文件编辑器 vi,vim 命令模式 输入模式系统常用设置 网络设置,环境变量 磁盘管理,时间设置,系统资源,防火墙安装软件 y
2021-10-18 09:05:56
186
原创 不等式与不等关系
文章目录题目解作差法不等式性质知识点题目解x^2 + 3 和 3x的大小解作差法由 x^2 + 3 和 3x得 x^2 + 3 - 3x扩展可得x^2 - 3x + (-/3/2)^2 - 9/4 + 3可推(x-3/2)^2 + 3/4可推x -3/2 的结果是负数的话,那么,值是整数. >0不等式性质1. 对称性2. 传递性3. 可加性4. 可乘性5. 叠加性6. 叠成性7. 乘方性8. 开方性9. 倒数性质知识点完全平方差公式
2021-10-02 22:32:55
153
原创 全称量词和存在量词
文章目录非全称量词存在量词全称命题特称命题量词否定量词命题的否定全称命题的否定是特称命题特称命题的否定是全称命题命题的否定和否命题命题的否定否命题非全称量词所有任何一切存在量词有有的有写全称命题含有全称量词的就是全称命题.记作:∀x∈M,p(x)M集合中的任意x,都使p(x)成立特称命题存在集合M中的一个x使得 p(x)成立即可记作∃x∈M,p(x)量词否定量词命题的否定全称命题的否定是特称命题特称命题的否定是全称命题命题的否定和否命题命题的否定只否定结
2021-10-02 20:25:19
981
原创 充分条件与必要条件
文章目录符号充分条件例如必要条件例如充要条件充分不必要条件必要不充分条件不冲要条件符号=>如果 若p则q为真,则记作 p=>q如果 若p则q 为假,则记作 p q充分条件意思是: 有这个条件就能推论出来,叫做充分条件例如ab=0,要使这个结论成立,只要a=0即可.所以,a=0是ab=0的充分条件必要条件要使结论成立,必须要有的条件.例如… …充要条件如果 p <=> q, 那么,p是q 的充分且必要条件.简称 充要条件充分不必要条件必要不充分
2021-10-02 18:19:38
1795
原创 集合的基本运算
文章目录概念并集交集全集补集概念集合的交集与并集.交集与并集的展示方法并集由属于集合A或集合B中元素所组成的集合,叫做 并集记作A∪B交集即在A中又在B中的元素所组成的集合叫做交集记作A∩B全集包含各个几个中所有元素的集合.记作U补集有一个集合A,然后全集U中不属于A的元素组成的集合B.那么集合B就是集合A的补集.记作CuA...
2021-10-02 16:32:15
482
原创 集合间的基本关系
文章目录包含[于]判断题一相等真子集包含[于]两个集合,集合A中的元素都是集合B的元素,这两个集合是包含关系.A 包含于 BB 包含 AA ⊆ BB ⊇ A判断题一判断集合A是否为集合B的子集.若是,则打 √,否则打 x1. A = {1,3,5},B = {1,2,3,4,5,6} ( )2. A = {1,3,5},B = {1,3,6,9} ( )3. A = {0},B = {X | X^2 + 2 = 0 } ( )4. A = {a,b,c,d},B =
2021-10-01 21:36:00
418
原创 集合与元素的关系
文章目录数的分类元素例如集合书写注意特性分类关系元素集合关系属于不属于表示方法列举法描述法举例题目数的分类狭义数 实数 有理数 正有理数 正整数 负整数 0 负有理数 负整数 负分数 无理数: 无限不循环小数 正无理数 负有理数广义数 向量 矩阵 其他 张量 群 环 域 ... ...元素研究的对象 统称为 元素例如我们研究 < 5的自然数那么,0,1,2,3,4 这几个都是元素集合
2021-09-30 13:55:45
1998
原创 Hive-内部表005
文章目录元数据存放位置创建数据库指定位置修改数据库数据库详细信息表语法说明内部表外部表分区表分桶表表结构修改数据加载基本查询语法分组多表链接排序内置函数自定义函数元数据存放位置表的存放位置在 hive-site.xml 中指定指定的就是 hive 中元数据的存放位置<name>hive.metastore.warehouse.dir</name><value>/ser/hive/warehouse</value>创建数据库# 上一篇 003 写
2021-09-12 13:51:11
141
原创 Hive-交互方式004
文章目录交互方式bin/hive操作表和映射bin/hive -e "create table database if not exists mytest"交互方式bin/hiveshell 交互操作# 查看数据库show databases;# 创建数据库create database if not exists myhive;# 使用数据库use myhive;# 创建表create table t_test(id int,name string);# show tables
2021-09-08 23:19:12
98
原创 Hive-003安装配置
文章目录Hive的安装安装 MySQL配置 Hivehive-env.shhive-site.xml将 MySQL 驱动包放置在 hive/lib目录下配置hive环境变量Hive的安装1. 安装 Hive2. 安装 MySql 1. 启动 MySql 服务 2. 通过 MySql 自带的脚本设置3. 进入MySql Client,授权安装 MySQL# 解压hive 3.1.1tar -zxvf xxx# 在线安装 mysqlyum install mysql mysql-se
2021-09-08 22:41:08
100
原创 Hive-002
文章目录概述Hive本质结构化例如映射的表元数据查询数据概述上一篇讲了一些概念性的东西.本章也会是概念性的东西.HiveHive是 Hadoop数据仓库的工具. 可以将结构化的数据,映射为一张数据表.并提供 SQL查询功能本质是将 SQL 转为 MapReduce 任务的工具.是一个 MR Client结构化Hive可以将结构化的数据映射为一张和数据库表.并提供SQL 操作 MR例如// access.txt1.jack,12:302.tom,13:201.jack,15:
2021-09-08 21:47:53
90
原创 Hive-001
文章目录概述特征概述… …诸君自己百度特征主要面向 主题,集成,非易失,和时变的数据集合主题 代表着各行各业中,代表着不同部分的数据. 比如: 零售商,可以有产品,有库存,有客户的主题和以前在MySQL中的数据表是一个概念集成性 对于集成性来说,这个数据经过清晰,归纳之后,某一主题的数据以及衍生的主题数据,归纳到了一起 比如: 保险,下面还有医疗保险,车保险...
2021-09-08 20:51:35
99
原创 MR高级-规约002
文章目录概述思路代码概述Combiner 是在map端,对map端的输出做一次合并.减少map和reduce 节点之间的数据传输量.是 Reduce 的子组件是在每个 MapTask之后,将map 方法要输出的数据进行合并.将相同 key 的数据合并思路写两个 reduce. 都继承 reduce只不过在 job中将其中一个 reduce 设置为 Combiner代码public class MyCombiner extends Reducer<Text, LongWritab
2021-09-04 22:05:48
120
原创 MR高级-计数器001
文章目录分类内置自定义计数器方式一方式二分类分为 内置计数器 和 自定义计数器两种内置任务计数器文件系统计数器FileInputFormat计数器FileOutputFormat计数器作业计数器自定义计数器方式一通过 context 上下文对象,在 map 端使用计数器.// 两个参数 第一个参数是计数器的分类,分类名// 第二个参数 是统计数的名字.要统计字段的名字Counter count = context.getCounter("MR_COUNT","MapRed
2021-09-04 19:46:32
213
原创 MapReduce-SortShuffle004
文章目录概述序列化排序WritableComparable思路源文件mapShuffle-SortReduce阶段代码部分JobMianMapperReduceShuffleSortShuffle概述主要是 Shuffle 阶段的排序功能序列化Hadoop 自定义序列化格式Writable排序排序是 Shuffle 阶段的功能之一.Hadoop 将序列化和排序结合在一起.WritableComparable有其他子接口,来实现其他的功能例如 WritableComparable 可以实
2021-09-04 17:52:04
152
原创 MapReduce-ParatitionerOwnerShuffle003
文章目录分区MapTaskPartitioner 分区类重写 getPartitioner 方法分区通过分区,将不同的数据交给不同的 Reduce,产生不同的结果.MapTask我们把写好的代码打包成Jar运行在集群上.那么,其中的map方法在每个节点都有一个.这个方法这时可以看做是MapTaskPartitioner 分区类而 getPartition 方法 返回的是 Reduce 的编号第几个 Reduce重写 getPartitioner 方法整个步骤和上篇没有分区的文章差不多
2021-09-04 13:00:13
109
原创 MapReduce002
文章目录案例Map阶段代码ShuffleReduce案例Map阶段MapReduce 会自动获得每一行单词的索引.我们需要的是在 Map 中对每行单词进行单词出现次数的统计.暂时不需要对相同的KEY进行合并. 除非是一个单词在同一行出现了多次代码/** * WordCountMapper * * @author xxx * @date 2021/9/3 */public class WordCountMapper extends Mapper<LongWritable,T
2021-09-04 00:34:35
75
原创 Hdfs-高可用高扩展Hdfs007
文章目录概述高可用Federation机制高扩展概述NameNode 也提供多个,DataNode也提供多个即可如图,大概就是下面的样子高可用Federation机制联邦机制用于解决单节点NameNode内存不够的情况途中的两个 NameNode 向JN 集群注册.激活的 Active 的NameNode 的任何操作都发送到 JN中.另一个备用的将NameNode 将JN中读取 激活的NameNode发送的数据如果 Active 坏了,则 Standby 激活顶上高扩展通过
2021-09-01 23:06:38
166
原创 Hdfs-安全模式005
文章目录概述查看安全模式离开安全模式概述在刚启动集群时, HDFS 进去安全模式.无法上传,删除查看安全模式hdfs dfsadmin -safemode get离开安全模式hdfs dfsadmin -safemode leave
2021-09-01 22:40:23
92
原创 Hdfs-回收站004
文章目录概述开启回收站总结概述删除文件之后,文件会在一个地方存储一段时间.在这段时间是可以回收掉的.开启回收站// core-site.xml 中设置<property> <name>fs.trash.interval</name> <value>1440</value></property>删除文件就是将文件移动到 trash目录中.就是删除文件总结HDFS为每个用户创建一个回收站目录.在 /user/用户
2021-09-01 22:35:51
86
原创 Hdfs-总结004
文章目录SecondaryNameNode概述DataNode 概述总结SecondaryNameNode概述主要负责 将 edits 中文件内容合并到 fsimage 中合并过程称为 checkpointDataNode 概述主要关注 Block存储 以及 Replication机制总结NameNode维护了两份关系...
2021-09-01 21:55:12
78
原创 Hdfs-namenode003
文章目录概述NameNode组成fsimage文件fsimage_XMLedits文件SEED_TXIDVERSION概述HDFS主节点为 NameNode SecondaryNameNode从节点为 DataNodeNameNode存储文件的目录,文件的信息;文件Block列表信息.接收用户操作请求组成fsimage 文件目录等信息的镜像edits 最近文件目录操作的记录.持久化的一种方式.是一个文件seed_txidVERSIONfsimage文件// 生成一个叫做
2021-09-01 21:42:13
76
原创 Hdfs-Java002
文章目录配置HadoopmavenJava接口ConfigurationFileSystemHDFS操作遍历所有HDFS文件API遍历HDFS创建文件夹文件下载文件上传小文件合并上传配置Hadoop1. 在 Windows 安装Hadoop.2. 设置 ``HADOOP_HOME``3. 将hadoop的bin目录下的hadoop.dll 放置到 C:/Windows/System32 目录下maven<dependency> <groupId>org.apache.
2021-09-01 20:24:25
79
原创 Hdfs001
文章目录Hadoop架构HDFSHdfsShell格式常见操作作业Hadoop架构HDFSMapReduce Map ReduceYarnOthersHDFS可以通过 Shell 上传,下载文件创建删除目录删除文件HdfsShell格式bin/hdfs dfs -XXX(这个是命令) scheme://authority / path// 查看根目录的信息:列出文件和文件夹hdfs dfs -ls hdfs://node01:9000/常见操作// 上传一个文件到
2021-09-01 20:02:23
89
原创 Hadoop-002
文章目录搭建Hadoop虚拟机网络配置桥接NAT模式仅主机HDFSLinux 用户权限Linux Shell 脚本执行搭建Hadoop需要 JDK 以及 ZK 基础支持软件的安装虚拟机网络配置桥接NAT模式仅主机不能连接外网.HDFS需要安装 MapRecude NameNodeResourceManager完整的软件如下Linux 用户权限Linux Shell 脚本#! /bin/bashecho "Hello World!"执行sh hello.shch
2021-08-17 18:41:12
89
原创 数学路线二第一册001
文章目录分数,整数,有理数自然数整数整数分类有理数数轴乘方底数指数同底乘方的加减乘除负指数代数代数式多元式和一元式有理式整式分式项系数次数最高次项同类项齐次多项式等式和方程分数,整数,有理数自然数非负整数叫做自然数. 从0 开始的数叫做自然数整数自然数和负数叫做整数整数分类负整数,自然数(正整数),0有理数分数和负数叫做有理数数轴原点,单位长度,正方向乘方同一个数,连乘几次,叫做乘方.连乘的结果叫做 几次方 或者 几次幂底数指数7的5次方,记作7^5.7是 底数,5是 指数
2021-08-07 18:47:23
109
原创 二郎学习之旅之shell 使用
文章目录多进程容错热更新shell语法常用的命令CTRL + G多进程erlang是多进程的. 每个进程有个 PID. 进程之间进行通信.容错每个进程都有一个监督者. 监督者进程可以监控多个进程.worker 进程崩溃之后,自动进行重启.热更新支持热更新. 代码有第二个版本,可以直接将第二版代码更新上去并立即执行.shell在shell 中执行 erlang 代码语法以 . 点结尾 说明此条语句结束.以 ; 分号,分割例如,输入 help(). 即可查看可以再shell 中使用的
2021-08-06 00:09:12
153
3
原创 Es001-原生操作
文章目录索引创建索引获得索引删除索引文档操作添加数据返回自定义ID获得文档获得所有修改数据完全覆盖修改局部修改条件查询索引使用 put 请求. 在 9200 后面直接跟着的就是索引名称创建索引我们使用 PUT 操作. 在ES中创建索引获得索引_cat_indices?v删除索引文档操作添加数据shopping/_doc给 shopping中添加文档数据返回会返回一个ID. 表明这条数据唯一标识. es随机生成自定义ID在 _doc/customer ID在_doc/
2021-08-04 21:12:38
202
原创 对 ArrayList 进行封装-使用链表进行封装
文章目录前言目标实现使用DEBUG 代码前言ArrayList 底层是数组.所以遍历比较快.但是有个缺点是扩容的时候,需要将 已有的 copy 到 新的 数组中.这会造成 内存和时间上面的浪费.目标我们封装一个链表类. 内部包含一个ArrayList的类. 如果ArrayList 需要扩容的时候,直接在创建一个 ArrayList 既可以了. 这么一来,就省下了 扩容的时间和内存实现 private int cap; private ArrayList<T> lis
2021-07-28 10:47:38
268
原创 线程相关知识点
文章目录run startrunstartsleep waitsleepsleep(0)waitwait(1000)notify notifyallnotifynotifyallrun startrun直接调用 run 方法. 是在 main 主线程中执行.start开辟线程,进入 CPU 等待队列sleep waitsleep 是线程控制自身流程的 方法. 不会释放锁sleepThread 类 静态 方法. 不释放锁sleep(0)使 线程进行重分配. 所有线程重新竞争 CPUwa
2021-07-28 09:46:16
66
原创 SpringCloud-Zuul
文章目录使用zuul 整合 eureka简化配置其他配置鉴权zuulFilter使用zuul 整合 eureka修改配置.添加注释.将具体的服务端的地址,改为 eureka 中的服务端 服务名称简化配置zuul的配置可以全部都不用写.其他配置前缀鉴权zuulFilter实现 IZuulFilter 接口. 实现其中的方法接口....
2021-07-11 20:28:50
67
原创 SpringCloud-openFegin
文章目录使用编写接口负载均衡和熔断局部和全局配置熔断使用编写接口负载均衡和熔断fegin 集成了 ribbon.可以自动负载均衡.也可以直接在 yml对 服务进行配置局部和全局配置熔断fegin 自带熔断配置 feginConfig. 在 feginConfig 中重写异常返回的处理然后fegin抛出异常的时候,就调用该方法.然后,在cleint 重写方法实现 fegin 接口...
2021-07-11 19:20:57
78
原创 SpringCloud-Hystrix
文章目录使用重试和熔断使用熔断方法当出现错误的时候,调用的方法重试和熔断ribbon 和 熔断需要重试的时间小于 熔断的时间.否则重试机制将会失效
2021-07-11 17:30:50
58
原创 SpringCloud-Eureka
文章目录Eureka在服务端添加依赖配置文件服务端配置注解在client添加依赖添加注解配置文件调用总结Eureka在服务端添加依赖在服务端添加的是client依赖spring-cloud-starter-netflix-eureka-server配置文件在这个eureka 服务端配置配置文件当然,这里还有一些其他的配置主要分为 instanse,client,server,dashboard 的配置服务端配置注解@EnableEurekaServer在client添加依赖在
2021-07-11 13:51:23
67
空空如也
保护模式-系统加载-段寄存器
2024-04-26
读取文件的每一行 java
2022-08-25
大专 数学水平:初中;请问该如何学习数学
2021-12-20
Hadoop在云服务器搭建集群失败
2021-08-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人