- 博客(171)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 kafka的分区策略
一、生产端的消费策略二、消费端的生成策略1、range （默认分配策略）对应的实现类是 org.apache.kafka.clients.consumer.RangeAssignor将分区按数字顺序排行序，消费者按名称的字典序排序 用分区总数除以消费者总数。如果能够除尽，平均分配；若除不尽，则位于排序前面的消费者将多负责一个分区2、RoundRobin基于轮询算法对应的实现类是 org.apache.kafka.clients.consumer.RoundRobinAssig
2021-09-06 13:31:34
427
原创 大数据面试题
1、Yarn的调度原理2、hadoop1.0到hadoop2.0调度方面有什么变化，解决了什么问3、Namenode HA原理4、ResourceManager的调度原理5、悲观锁、乐观锁的区别6、flink的调度流程7、spark的调度流程8、选一个你最熟悉的框架说一下，有什么优劣，有什么地方可以改进9、flink如何实现exectly-once10、线程池的拒绝策略有哪几种11、mapreduce shuflle过程，sp.
2021-08-31 14:05:10
130
原创 什么是数据中台？
怎么又提到数据中台了，现在不是都在拆中台了吗？这是一个疑惑，我一直也疑惑，也没有认真想过，以前也是道中途说。没有想到面试的时候，面试官又问道这个问题了。我一开始的理解是：数据中台整合了数据仓库、数据平台等，直到网上查阅了一些资料才知道，原来中台和平台、数仓是平行的，并没有什么直接的关系，看图参考：https://blog.csdn.net/cqcre/article/details/96935800...
2021-08-24 10:41:18
4267
原创 LeetCode234:回文链表
题目链接：https://leetcode-cn.com/problems/palindrome-linked-list/解法1：快慢指针+反转链表解法2：借助栈/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode() {} * ListNode(int val) { this.
2021-08-14 11:06:15
97
原创 redis系列——主从复制
1、redis主从复制是什么?主机数据更新后根据配置和策略， 自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主2、能干嘛?读写分离，性能扩展； 容灾快速恢复3、怎么玩：主从复制？拷贝多个redis.conf文件include(写绝对路径)开启daemonize yesPid文件名字pidfile指定端口portLog文件名字dump.rdb名字dbfilenameAppendonly 关掉或者换名字3....
2021-08-12 16:35:40
164
原创 分布式理论（一）
1 关于分布式事务1.1 本地事务1.1.1 事务的概念 事务指逻辑上的一组操作，组成这组操作的各个单元，要么全部成功，要么全部不成功。从而确保了数据的准确与安全。 1.1.2 事务的四大特性1）原子性（Atomicity）原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。2）一致性（Consistency） 事务必须使数据库从一个一致性状态变换到另外一个一致性状态。 例如转账前A有1000，B有1000。转账后A+B也得是2000。 ..
2021-08-11 16:57:39
112
原创 分布式理论（二）
一.分布式理论1.分布式架构概述分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。所谓分布式系统，就是一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分 布式系统，同一个分布式系统中的服务器节点在空间部署上是可以随意分布的，这些服务器可能放在不同的机柜 中，也可能在不同的机房中，甚至分布在不同的城市。一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分布式系统. 同一个分布式系统中的服务器节点在空间部署
2021-08-11 15:06:50
207
原创 kafka系列（八）—— 数据复制&failover
Replica（副本）1 什么是Replica1）当某个Topic的replication-factor为N且N大于1时，每个Partition都会有N个副本（Replica )2）Replica的个数小于等于Broker数，即对每个Partition而言每个Broker上只会有一个Replica ,因此可用Broker ID表示Replica为何这么设置？下图中，假如Partiton0的两个副本都在Broker 1上，那么如果Broker 1挂掉就达不到提高数据可用性。3）所有Par
2021-08-11 14:21:33
455
原创 kafka系列（七）—— kafka常见面试题
1.Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么?AR = ISR+OSRISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本ISR是由leader维护，follower从leader同步数据有一些延迟（包括延迟时间replica.lag.time.max.ms和延迟条数replica.lag.max.messages两个维度, 当前最新的版本0.10.x中只支持rep
2021-08-10 18:09:26
602
原创 kafka系列（六）—— Consumer API
Consumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。由于 consumer 在消费过程中可能会出现断电宕机等故障， consumer 恢复后，需要从故障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset，以便故障恢复后继续消费。所以 offset 的维护是 Consumer 消费数据是必须考虑的问题。0.9.0.0版本之前是Scala语言写的，之后是java语写的 新版本使用的是org.apach
2021-08-10 17:52:31
1644
原创 kafka系列（五）—— broker存储结构
每一个 partition(文件夹)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件里。但每一个段segment file消息数量不一定相等，这样的特性方便old segment file高速被删除。（默认情况下每一个文件大小为1G）每一个 partiton仅仅须要支持顺序读写即可了。segment文件生命周期由服务端配置參数决定。partiton中segment文件存储结构：segment file组成：由2大部分组成，此2个文件一一相应，成对出现。索引文件index
2021-08-10 17:09:19
294
原创 kafka系列（四）—— Producer API
4.1 消息发送流程生产者要发送消息的属性封装到Properties中，将Properties传到KafkaProducer构造器里，创建一个生产者发送的消息封装成ProducerRecord对象，包含topic、分区、key、value。分区和key可不指定，由kafka自行确定目标分区KafkaProducer调用KafkaProducer的send()方法发送到zookeeper，消费者将要订阅的主题封装在Properties对象中，传入KafkaConsumer构造器中，创建一个消费
2021-08-10 17:03:23
540
原创 kafka系列（三）—— Kafka工作流程分析
3.1 kafka工作流程及文件存储机制Kafka 中消息是以 topic 进行分类的， 生产者生产消息，消费者消费消息，都是面向 topic的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。 Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset。 消费者组中的每个消费者， 都会实时记录自己消费到了哪个 offset，以
2021-08-10 16:32:40
497
原创 kafka系列（二）——kafka集群部署
这个参考：https://blog.csdn.net/hancoder/article/details/107446151或者网上其他的文章，照着文章能很快搭建一套kafka集群，如果有mac电脑，建议直接上docker部署。后面有什么好的想法再来补充这篇吧！！！...
2021-08-10 15:46:33
120
原创 kafka系列（一）——kafka概述
第1章 Kafka概述1.1 定义Kafka 是一个分布式的基于【发布/订阅模式】的消息队列（Message Queue），主要应用于大数据实时处理领域。1.2 消息队列消息队列又称消息引擎，消息中间件1.2.1 传统消息队列的应用场景使用消息队列的好处1）解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"
2021-08-10 15:43:36
198
原创 LeetCode：21. 合并两个有序链表
题目：https://leetcode-cn.com/problems/merge-two-sorted-lists/解法附注释/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode() {} * ListNode(int val) { this.val = val; } * ListN
2021-08-03 16:02:14
83
原创 LeetCode:2. 两数相加
题目:图解：https://leetcode-cn.com/problems/add-two-numbers/solution/hua-jie-suan-fa-2-liang-shu-xiang-jia-by-guanpengc/解法附注释：https://leetcode-cn.com/problems/add-two-numbers//** * Definition for singly-linked list. * public class ListNode { * int
2021-08-03 14:54:06
70
原创 LeetCode:142. 环形链表 II
题目：https://leetcode-cn.com/problems/linked-list-cycle-ii/图解参考:https://leetcode-cn.com/problems/linked-list-cycle-ii/solution/linked-list-cycle-ii-kuai-man-zhi-zhen-shuang-zhi-/解答附注释/** * Definition for singly-linked list. * class ListNode { *
2021-08-03 11:00:23
80
原创 LeetCode:189. 旋转数组
题目：https://leetcode-cn.com/problems/rotate-array/图解分析：https://leetcode-cn.com/problems/rotate-array/solution/shu-zu-fan-zhuan-xuan-zhuan-shu-zu-by-de-5937/求解：class Solution { public void rotate(int[] nums, int k) { //规范k...
2021-08-02 11:09:24
74
原创 LeetCode:LCP 18. 早餐组合
题目：https://leetcode-cn.com/problems/2vYnGI/解法：class Solution { //时间复杂度O（m+n），空间复杂度O(1) public int breakfastNumber(int[] staple, int[] drinks, int x) { //定义结果集数量 int count = 0; //对数组排好序，能利用已排序数组的一些特性 Arrays.sort(
2021-08-01 11:08:40
97
原创 leetcode:18. 四数之和
题目：https://leetcode-cn.com/problems/4sum/解题class Solution { public List<List<Integer>> fourSum(int[] nums, int target) { List<List<Integer>> resList=new ArrayList<>(); int numsLen = nums.length;
2021-08-01 10:17:06
65
原创 LeetCode：15. 三数之和
题目：https://leetcode-cn.com/problems/3sum/给你一个包含 n 个整数的数组nums，判断nums中是否存在三个元素 a，b，c ，使得a + b + c = 0 ？请你找出所有和为 0 且不重复的三元组。注意：答案中不可以包含重复的三元组。示例 1：输入：nums = [-1,0,1,2,-1,-4]输出：[[-1,-1,2],[-1,0,1]]示例 2：输入：nums = []输出：[]示例 3：输入：nums = [0...
2021-07-31 21:09:28
48
原创 LeetCode:1. 两数之和
题目：https://leetcode-cn.com/problems/two-sum/给定一个整数数组 nums和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1]...
2021-07-31 17:34:34
44
原创 LeetCode:66. 加一
题目地址：https://leetcode-cn.com/problems/plus-one/给定一个由 整数 组成的 非空 数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。你可以假设除了整数 0 之外，这个整数不会以零开头。示例 1：输入：digits = [1,2,3]输出：[1,2,4]解释：输入数组表示数字 123。示例 2：输入：digits = [4,3,2,1]输出：[4,3,2,2]解释：输入数组表示
2021-07-31 11:56:32
76
原创 LeetCode：11. 盛最多水的容器
题目链接：https://leetcode-cn.com/problems/container-with-most-water/给你 n 个非负整数 a1，a2，...，an，每个数代表坐标中的一个点(i,ai) 。在坐标内画 n 条垂直线，垂直线 i的两个端点分别为(i,ai) 和 (i, 0) 。找出其中的两条线，使得它们与x轴共同构成的容器可以容纳最多的水。说明：你不能倾斜容器。输入：[1,8,6,2,5,4,8,3,7]输出：49 解释：图中垂直线代表输入数组 ...
2021-07-31 10:36:32
63
原创 CDH6.3.2集群部署
CDH 6.3.2 组件版本Component Component Version Apache Avro 1.8.2 Apache Flume 1.9.0 Apache Hadoop 3.0.0 Apache HBase 2.1.4 HBase Indexer 1.5 Apache Hive 2.1.1 Hue 4.3.0 Apache Impala 3.2.0 Apache Kafka 2.2.1 K
2021-07-29 22:57:19
938
2
原创 JVM学习
来源B站：https://www.bilibili.com/video/BV1yE411Z7AP?p=4（黑马满一航老师讲的，很赞）比较参考：https://blog.csdn.net/weixin_50280576/article/details/113742011
2021-07-27 15:48:52
54
原创 简易hadoop rpc功能实现
一、需求完成一个类似的RPC函数：// 要求：输入你的真实学号，返回你的真实姓名// 输入学号20210000000000，返回null// 输入学号20210123456789，返回心心// 作业上缴：截图server端和client端的执行结果 String findName(int studentId);二、分析其实就是模拟 RPC 的客户端、服务端、通信协议三者如何工作的来自网络截图，右图的服务端代理调用改为：findName方法，原理是一模一样的。三、代码.
2021-07-25 22:41:46
129
原创 mac docker 安装kafka的坑
方法一docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=docker.for.mac.host.internal:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://docker.for.mac.host.internal:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wu
2021-07-25 10:24:09
249
1
原创 flinksql自定义sink (写入odps)
备用吧，还没写参考：https://cloud.tencent.com/developer/article/1730162https://github.com/DTStack/flinkx/blob/master/flinkx-odps/flinkx-odps-writer/src/main/java/com/dtstack/flinkx/odps/writer/OdpsWriter.java
2021-07-20 11:46:30
1098
1
原创 图解排序算法--计数排序
前言参考：https://www.cnblogs.com/xiaochuan94/p/11198610.html防止丢了直接拷贝过来备忘，如有侵权，请联系删除01 计数排序算法概念计数排序不是一个比较排序算法，该算法于1954年由 Harold H. Seward提出，通过计数将时间复杂度降到了O(N)。02 基础版算法步骤第一步：找出原数组中元素值最大的，记为max。第二步：创建一个新数组count，其长度是max加1，其元素默认值都为0。第三步：遍历原数组中的.
2021-07-19 22:54:39
442
原创 阿里P7面试题--归并思想（大数据方向）
题目10GB，100GB，1TB文件，文件格式都是每一行一个字符串；一个字符串在三个文件中都出现，才计数（最小为3，在3个文件中分别出现一次），否则不计数；我的解答package com.bigdata.splitfile;import com.bigdata.utils.FileUtil;import com.bigdata.utils.HashCodeUtil;import org.apache.commons.io.FileUtils;import java.io.*;i
2021-07-18 11:22:50
168
原创 图解排序算法-堆排序
参考：https://www.cnblogs.com/chengxiao/p/6129630.html预备知识堆排序 堆排序是利用堆这种数据结构而设计的一种排序算法，堆排序是一种选择排序，它的最坏，最好，平均时间复杂度均为O(nlogn)，它也是不稳定排序。首先简单了解下堆结构。堆 堆是具有以下性质的完全二叉树：每个结点的值都大于或等于其左右孩子结点的值，称为大顶堆；或者每个结点的值都小于或等于其左右孩子结点的值，称为小顶堆。如下图：同时，我们对堆中的结点按层进行编号..
2021-07-18 11:13:59
129
原创 小技巧：Mac电脑下 Idea 修改内存参数不起作用的解决方法
点击 Help - Edit Custom VM Options , 在打开的文件中修改即可，修改完要重启idea如图：参考：https://blog.csdn.net/rchm8519/article/details/106437789
2021-07-13 15:48:39
509
原创 Secondary NameNode工作原理
一、NameNode和 Secondary NameNode工作机制工作流程图1）第一阶段：NameNode 启动 （1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode 记录操作日志，更新滚动日志。（4）NameNode 在内存中对元数据进行增删改。2）第二阶段：Secondary NameNode 工作 ...
2021-07-05 15:49:55
948
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人