- 博客(115)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Linux根目录扩容
总结而言，mke2fs是专门用于创建Ext文件系统的命令，而mkfs是通用的命令，可以创建多种类型的文件系统，包括Ext文件系统。将/home文件夹备份，删除/home文件系统所在的逻辑卷，增大/文件系统所在的逻辑卷，增大/文件系统大小，最后新建/home目录，并恢复/home文件夹下的内容。以上命令与mke2fs的作用相同，将在/dev/sdb1设备上创建一个ext4文件系统。以上命令将在/dev/sdb1设备上创建一个ext4文件系统。（6） 重建/home文件系统所需要的逻辑卷。
2023-09-01 13:18:36
582
转载 集群下EurekaClient连接EurekaServer节点的策略
2.当获取不到是，从candidateHosts获取第endpointIdx个注册中心的地址（初始化默认是0号索引）6.如果再第4步的时候报错了,就会把delegate保存的数据置空,继续进行重试。继续走一下1,2,3,4,5。eureka server集群部署的情况下，eureka-client通信的时候是如何选择的？4.请求成功会将此次通信的注册中心的地址保存到delegate里边，方便下次直接使用。1.从delegate里边获取上次保存的注册中心的地址。7.达到重试上限就会抛出异常。
2023-07-19 13:10:39
146
原创 Redis网络模型
当我们的客户端想要去连接我们服务器，会去先到IO多路复用模型去进行排队，会有一个连接应答处理器，他会去接受读请求，然后又把读请求注册到具体模型中去，此时这些建立起来的连接，如果是客户端请求处理器去进行执行命令时，他会去把数据读取出来，然后把数据放入到client中， clinet去解析当前的命令转化为redis认识的命令，接下来就开始处理这些命令，从redis中的command中找到这些命令，然后就真正的去操作对应的数据了，当数据操作完成后，会去找到命令回复处理器，再由他将数据写出。
2023-06-30 16:20:40
486
原创 Java应用在线debug--bistoury介绍
Bistoury是去哪儿网开源的一个对应用透明，无侵入的java应用诊断工具，用于提升开发人员的诊断效率和能力，可以让开发人员无需登录机器或修改系统，就可以从日志、内存、线程、类信息、调试、机器和系统属性等各个方面对应用进行诊断，提升开发人员诊断问题的效率和能力。Bistoury集成了Alibaba开源的arthas和唯品会开源的vjtools，因此arthas和vjtools相关功能都可以在Bistoury中使用。
2023-06-26 17:37:31
1028
原创 分布式消息队列Kafka（四）- 消费者
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前， 考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是 Kafka 从 0.11.x 版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分区不变化。
2023-04-25 15:02:41
1147
1
原创 分布式消息队列Kafka（三）- 服务节点Broker
当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点KafkaController才可以成为leader，其余的都是follower。 Topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数 据。参数设定，默认 30s。
2023-04-25 14:54:06
680
原创 分布式消息队列Kafka（二）- 生产者
At Least Once可以保证数据不丢失，但是不能保证数据不重复；At Most Once可以保证数据不重复，但是不能保证数据不丢失。• 精确一次（Exactly Once）：对于一些非常重要的信息，比如和钱相关的数据，要求数据既不能重复也不丢失。Kafka 0.11版本以后，引入了一项重大特性：幂等性和事务。
2023-04-25 14:48:10
451
原创 分布式消息队列Kafka（一）
（9）Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和 Leader 数据的同步。（4）Broker：一台 Kafka 服务器就是一个 broker。（8）Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数 据的对象都是 Leader。（6）Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，（5）Topic：可以理解为一个队列，**生产者和消费者面向的都是一个 **topic。
2023-04-25 14:38:19
393
原创 Spark核心编程RDD
一.RDD概述1.1.什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。➢ 弹性 ⚫ 存储的弹性：内存与磁盘的自动切换； ⚫ 容错的弹性：数据丢失可以自动恢复； ⚫ 计算的弹性：计算出错重试机制； ⚫ 分片的弹性：可根据需要重新分片。➢ 分布式：数据存储在大数据集群不同节点上➢ 数据集：RDD 封装了计算逻辑，并不
2022-04-02 20:21:20
1957
1
原创 Spark 核心概念介绍与安装
1 Spark概述1）spark是什么？1. 速度基于流式计算速度要比hadoop快100倍左右，离线计算比mr快速10倍左右2. 易用spark提供了超过80个高阶算子供给我们使用，并支持非常多的编程语言：Java\Scala\R\Python...3. 通用性提供了几乎大数据分析中的所有的技术栈：离线：spark core，sql：spark sql、图计算、机器学习等等4. 随处运行支持yarn、standalone、mesos、kebernates....5. 说人话
2022-03-26 16:55:55
2436
原创 Flume监听数据到Hive案例
1. 案例描述及准备Exec Source:监听一个指定的命令，获取一条命令的结果作为它的数据源#常用的是tail -F file指令，即只要应用程序向日志（文件）里面写数据，source组件就可以获取到日志（文件）中最新的内容memory:传输数据的Channel为Memoryhdfs 是输出目标为Hdfs创建相应的hive表create table sql_log (source_ip string,dest_ip string,db_name string,db_type strin
2022-03-13 08:22:21
258
原创 Flume简介及安装配置
一 Flume的简介1.1 大数据处理流程在企业中，大数据的处理流程一般是：1.数据采集2.数据存储3.数据清洗4.数据分析5.数据展示参考下图：在数据采集和搜集的工具中，Flume框架占有一定的市场份量。1.2 Flume的简介Flume是一种分布式的，可靠的、高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应
2022-03-12 14:29:49
233
原创 Hive分区介绍
1.1 分区简介1.1.1 为什么分区Hive的Select查询时，一般会扫描整个表内容。随着系统运行的时间越来越长，表的数据量越来越大，而hive查询做全表扫描，会消耗很多时间，降低效率。而有时候，我们需求的数据只需要扫描表中的一部分数据即可。这样，hive在建表时引入了partition概念。即在建表时，将整个表存储在不同的子目录中，每一个子目录对应一个分区。在查询时，我们就可以指定分区查询，避免了hive做全表扫描，从而提高查询效率。1.1.2 如何分区根据业务需求而定，不过通常以年、月、日
2022-03-12 09:48:37
5139
原创 Hive的简介及安装
一 Hive简介1.1. Hive的简介1.1.1 什么是hivehive是一个构建在Hadoop上的数据仓库工具(框架)，可以将结构化的数据文件映射成一张数据表，并可以使用类sql的方式来对这样的数据文件进行读，写以及管理（包括元数据）。这套HIVE SQL 简称HQL。hive的执行引擎可以是MR、spark、tez。如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的计算。 用户可以使用命令行工具或JDBC驱动程序来连接到hive。1.1.2 为什么使用hive因为
2022-03-12 09:24:38
425
原创 分布式资源管理器YARN
一 YARN的概述为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的，针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARN.Apache YARN（Yet another Resource Negotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序。yarn被引入Hadoop2,
2022-03-12 06:39:39
1200
原创 分布式文件系统HDFS
一 HDFS的块的概念1.1 传统型分布式文件系统的缺点现在想象一下这种情况：有四个文件 0.5TB的file1，1.2TB的file2，50GB的file3，100GB的file4；有7个服务器，每个服务器上有10个1TB的硬盘。在存储方式上，我们可以将这四个文件存储在同一个服务器上（当然大于1TB的文件需要切分）。那么缺点也就暴露了出来：第一、负载不均衡。因为文件大小不一致，势必会导致有的节点磁盘的利用率高，有的节点磁盘利用率低。第二、网络瓶颈问题。一个过大的文件存储在一个节点磁盘上，
2022-03-12 05:48:20
815
原创 Hadoop概述与Hadoop集群搭建
1. Hadoop概述1.1. Hadoop的组成部分hadoop2.0以后的四个模块： - Hadoop Common:Hadoop模块的通用组件 - Hadoop Distributed File System：分布式文件系统 - Hadoop YARN：作业调度和资源管理框架 - Hadoop MapReduce：基于YARN的大型数据集并行计算处理框架hadoop3.0新扩展的两个模块： - Hadoop Ozone:Hadoop的对象存储机制
2022-03-05 12:51:08
1760
原创 VMware15安装centos7，并配置静态ip
VMware15安装centos7，并配置静态ip1.创建虚拟机如果是win10操作系统建议移除打印机，声卡，usb接口，否则可能会引起电脑蓝屏选择iso镜像文件位置2.安装linux系统配置网络，先选择自动配置网络，之后再配置静态ip配置用户3.配置网络及静态ip编辑虚拟网络在 Windows 中 “网络与Internet” -> “以太网” -> “更改适配器选项” 中配置 虚拟机网络最后，还有一步非常关键，就是将当前 Wind
2022-03-05 09:54:11
736
转载 sqlserver2008 建立安全连接的错误
环境系统：centos7.6JDK：openjdk 1.8连接库：com.microsoft.sqlserver，mssql-jdbc，6.1.0.jre8数据库：SQL server 2008症状在执行到如下代码时会遇到The server selected protocol version TLS10 is not accepted by client preferences [TLS12]及安全套接字层(SSL)加密与 SQL Server 建立安全连接的错误提示。public Whit
2022-02-28 15:08:48
1586
转载 bashrc与profile的区别
bashrc与profile的区别要搞清bashrc与profile的区别，首先要弄明白什么是交互式shell和非交互式shell，什么是login shell 和non-login shell。交互式模式就是shell等待你的输入，并且执行你提交的命令。这种模式被称作交互式是因为shell与用户进行交互。这种模式也是大多数用户非常熟悉的：登录、执行一些命令、签退。当你签退后，shell也终止了。 shell也可以运行在另外一种模式：非交互式模式。在这种模式下，shell不与你进行交互，而是读取存放在文
2022-01-03 21:44:28
368
转载 Linux生成ssh key
如何生成SSH keySSH key提供了一种与GitHub通信的方式，通过这种方式，能够在不输入密码的情况下，将GitHub作为自己的remote端服务器，进行版本控制步骤检查SSH keys是否存在生成新的ssh key将ssh key添加到GitHub中gevin-essay-how-to-generate-SSH-key.png如何生成SSH KEY检查SSH keys是否存在输入下面的命令，如果有文件id_rsa.pub 或 id_dsa.pub，则直接进入步骤3将SSH k
2022-01-03 21:42:25
3121
原创 记一次由oracle jdk 切换为open jdk引起的图形验证码报错
记一次由oracle jdk 切换为open jdk引起的图形验证码报错一.背景及报错原因分析因为oracle jdk1.8之后要开始收费了，公司不得已转入使用openJDK。环境的主要区别是生产使用的是OpenJDK，而之前应用都是基于OracleJDK 1.8来做的，图片验证码使用awt来画的，使用OracleJDK 1.8显示正常。但是更换成OpenJDK1.8后，验证码无法显示，后台代码抛出异常：java.lang.NullPointerException at sun.awt.FontCo
2021-09-27 05:50:12
1777
原创 记一次线上Java项目CPU突然飙升100%的排查
1使用top命令发现进程pid为2862的java进程cpu占用率很高PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 2862 ro
2021-09-26 07:46:18
155
原创 Java命名规范
Service/Dao命名规范（来源于阿里巴巴规约）1.Service/Dao层方法命名规约1）获取单个对象的方法用get做前缀2）获取多个对象的方法用list做前缀，复数结尾，如listObjects3）获取统计值的方法用count做前缀4）插入的方法用save/insert做前缀5）删除的方法用remove/delete做前缀6）修改的方法用update做前缀2.数据领域模型规约1）数据对象：xxxDO,xxx即为表名2）数据传输对象：xxxDTO，xxx为业务领域相关的名称3）展
2021-09-26 06:08:28
185
原创 策略模式（二）----支付场景中的应用
一.策略模式概述1.概念在策略模式（Strategy Pattern）中，一个类的行为或其算法可以在运行时更改。这种类型的设计模式属于行为型模式。2.使用场景1、系统有很多类，而他们的区别仅仅在于他们的行为不同2、一个系统需要动态地在几种算法中选择一种3.优缺点优点： 1、算法可以自由切换。 2、避免使用多重条件判断。 3、扩展性良好。缺点： 1、策略类会增多。 2、所有策略类都需要对外暴露。二.策略模式模拟支付场景场景：需要根据用户选择不同的支付类型进行支付（微信，支付宝，银联等）1
2021-08-04 08:45:20
323
原创 谈谈Integer包装类
一.先从一组面试题聊聊IntegerInteger num3 = new Integer(10);Integer num4 = new Integer(10);System.out.println(num3.equals(num4)); // trueSystem.out.println(num3 == num4); // falseSystem.out.println("===============================================");// 自动装箱Inte
2021-06-29 08:03:25
98
1
原创 分布式事务的解决方案
一.分布式事务概述分布式情况下，可能出现一些服务事务不一致的情况远程服务假失败远程服务执行完成后，下面其他方法出现异常二.分布式事务的解决方案1.2PC模式数据库支持的2PC【二阶提交法】，又叫做XA Transactions。Mysql5.5开始支持，SQL Server 2005开始支持，Oracle7开始支持，XA是一个两阶段提交协议，该协议分为一下两阶段第一阶段：事务协调器要求每个涉及到事务的数据库与提交此操作，并反应是否可以提交。第二阶段：事务协调器要求每个数据库提交数据如
2021-06-15 22:57:32
628
1
转载 GitHub代理设置
一、代理设置1、全局代理设置git config --global http.proxy http://127.0.0.1:1080git config --global https.proxy https://127.0.0.1:10801 2这里可以打开SS查看代理设置，查看自己的端口是否为1080，不是的改为对应的端口。2、只对GitHub进行代理如果挂了全局代理，克隆coding之类的国内仓库会变慢，所以我建议使用如下命令，只对GitHub进行代理，对国内的仓库不影响。
2021-06-15 21:49:26
8101
1
转载 servlet三大作用域：request，session，application
javaweb开发中Servlet三大域对象的应用（request、session、application（ServletContext））。1. requestrequest是表示一个请求，只要发出一个请求就会创建一个request，它的作用域：仅在当前请求中有效。用处：常用于服务器间同一请求不同页面之间的参数传递，常应用于表单的控件值传递。方法：request.setAttribute(); request.getAttribute(); request.removeAttribute(...
2021-06-05 15:27:32
439
转载 ELASTICSEARCH
ELASTICSEARCH1.elastic search基础概念2.安装elastic searchdokcer中安装elastic search（1）下载ealastic search和kibanadocker pull elasticsearch:7.6.2docker pull kibana:7.6.2（2）配置mkdir -p /mydata/elasticsearch/configmkdir -p /mydata/elasticsearch/dataecho "http.
2021-06-02 05:55:35
437
原创 在线json转java实体类的POJO网站
https://www.bejson.com/json2javapojo/new/http://www.jsons.cn/json2java/http://tool.chinaz.com/Tools/json2entity.aspx
2021-05-29 06:41:42
399
原创 JS组成及Web API介绍
一.JS组成及Web API介绍1.JS组成(JS语法,DOM,BOM)2.Web API介绍Web API是浏览器提供的一套操作浏览器功能和页面元素的API(BOM和DOM)二. 文档对象模型DOMDOM是W3C定义的一系列改变网页内容，结构和样式的编程接口1.DOM树文档：一个页面就是一个文档，DOM中使用document表示元素：页面中所有标签都是元素，DOM中使用element表示元素节点：网页中的所有内容都是节点（标签，属性，文本，注释等），DOM中使用node表示2.
2021-05-28 07:19:27
288
转载 Java 实体映射工具 MapStruct
Java 实体映射工具 MapStruct声明：1、DO（业务实体对象），DTO（数据传输对象）。2、我的代码中用到了 Lombok ，不了解的可以自行了解一下，了解的忽略这条就好。在一个成熟的工程中，尤其是现在的分布式系统中，应用与应用之间，还有单独的应用细分模块之后，DO 一般不会让外部依赖，这时候需要在提供对外接口的模块里放 DTO 用于对象传输，也即是 DO 对象对内，DTO对象对外，DTO 可以根据业务需要变更，并不需要映射 DO 的全部属性。这种 对象与对象之间的互相转换，就需要有一
2021-05-28 06:59:53
152
原创 JSR303介绍和使用
JSR303介绍和使用1.关于JSRJSR是Java Specification Requests的缩写，意思是Java 规范提案。是指向JCP(Java Community Process)提出新增一个标准化技术规范的正式请求。任何人都可以提交JSR，以向Java平台增添新的API和服务。JSR已成为Java界的一个重要标准。以下是JSR的各个标准Web Service技术Java Date与Time API ( JSR 310)Java API for RESTful Web Service
2021-05-27 07:04:40
254
转载 SpringCloud Hoxton(一)
SpringCloud Hoxton(一)1.springcloud官网springboot源码地址：https:github.com/spring-projects/spring-boot/releases/springboot2.2.2官网：https://docs.spring.io/spring-boot/docs/2.2.2.RELEASE/reference/htmlsingle/springcloud源码地址：https:github.com/spring-projects/spr
2021-05-21 09:04:38
78
原创 mysql性能优化（三）
1.查询优化1.1永远小表驱动大表优化原则：小表驱动大表，即小的数据集驱动大的数据集in和exist的选择问题当B表数据集小于A表数据集时in优于existsselect * from A where id in (select id from B)-----等价于for select id from B ----B应当为小表，驱动大表Afor select * from A where A.id = B.id当B表数据集大于A表数据集时exists优于inselect * from
2021-05-20 16:06:20
371
转载 idea操作git远程回滚到某个提交节点或某个版本
idea操作git远程回滚到某个提交节点或某个版本场景：从远程分支 online 切到 online_xxx 分支，然后在xxx分支做了修改，然后直接push到了oneline分支项目右键后，然后在“Show History”中找到当前版本（暂时取名newVersion）和想要回退到的版本（暂时取名oldVersion）2. 选择oldVersion版本右键点击“Copy Revision Number”复制oldVersion版本的版本号：3. 然后右击项目依次选中：Git->R.
2021-05-17 11:05:33
539
apache-dolphinscheduler-2.0.8-bin.tar.gz
2023-07-18
java面试最全八股文
2023-06-21
大数据相关安装包（hadoop，hive，flume，mysql，kafka，spark，sqoop，azkaban等安装包）
2022-03-26
idea的mybatis插件支持从dao到maper
2019-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人