流华追梦-CSDN博客

原创喜提500万，一款双色球分析工具 —— 拉特力，可以帮你大幅提升中奖概率

双色球是中国福利彩票的一种玩法。中国福利彩票“双色球”是一种由中国福利彩票发行管理中心统一组织发行，在全国销售联合发行的“乐透型”福利彩票。2003年2月16日起在全国联网销售。采用计算机网络系统发行销售，定期电视开奖。参与“双色球”销售的省级福利彩票发行中心在中福彩中心的直接领导下，负责对本地区的“双色球”销售活动实施具体的组织和管理。

2024-03-02 07:30:00 1898 3

原创 24大设计模式总结

设计模式（Design Pattern）代表了最佳的实践，通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。在软件开发中，前人对软件系统的设计和开发总结了一些原则和模式，不管用什么语言做开发，都将对我们系统设计和开发提供指导意义。本文主要将对24种设计模式进行总结和阐述具体意义。创建型（6种）、行为型（11种）、结构型（7种）。

2023-07-07 17:08:45 652 4

原创 Kafka 监控之分层存储监控和 KRaft 监控指标

和任何一个分布式系统一样，Kafka 的存储和网络使用情况也是我们需要关注和监控的指标，只有对存储和网络状态进行充分的监控才能及时发现问题并规避风险。

2024-04-19 07:30:00 680

原创 Kafka 监控及使用 JMX 进行远程监控的安全注意事项

众所周知，Kafka 的集中式设计具有很强的耐用性和容错性。此外，由于 Kafka 是一个分布式系统，因此 Topic 在多个节点之间进行分区和复制。此外，Kafka 可以成为数据集成的极具吸引力的选择，具有有意义的性能监控和对问题的及时警报。基本上，当对 Kafka 问题进行故障排除时，应用程序管理器会向需要采取纠正措施的人收集所有性能指标和警报。

2024-04-18 07:30:00 666

原创 Kafka 操作系统之文件系统选择

磁盘容量是一个值得讨论的话题，需要多大的磁盘容量取决于需要保留的消息数量。如果服务器每天会收到 1TB 消息，并且保留7天，那么就需要 7TB 的存储空间，而且还要为其他文件提供至少10%的额外空间。除此之外，还需要提供缓冲区，用于应付消息流量的增长和波动。在决定扩展 Kafka 集群规模时，存储容量是一个需要考虑的因素。通过让 Topic 拥有多个分区，集群的总流量可以被均衡到整个集群，而且如果单个 Broker 无法支撑全部容量，可以让其他Broker 提供可用的容量。

2024-04-17 07:30:00 792

原创 Kafka 应用程序 vs OS 刷新管理和 Linux 刷新行为

生产者客户端的性能直接受到服务端磁盘吞吐量的影响。生产者生成的消息必须被提交到服务器保存，大多数客户端在发送消息之后会一直等待，直到至少有一个服务器确认消息已经成功提交为止。也就是说，磁盘写入速度越快，生成消息的延迟就越低。在考虑硬盘类型对磁盘吞吐量的影响时，是选择传统的机械硬盘（HDD）还是固态硬盘（SSD），我们可以很容易地做出决定。固态硬盘的查找和访问速度都很快，提供了最好的性能。机械硬盘便宜，单块硬盘容量也更大。

2024-04-16 07:30:00 647

原创 Kafka 硬件和操作系统

Kafka 是 I/O 密集型而非计算密集型的框架，所以对 CPU 的需求是各个指标里最宽松的，消耗CPU 的点主要在于消息的压缩和解压缩。一个 Kafka Broker 节点往往要承载许多个 Topic Partition 并与许多个 Producer/Consumer 交互，所以并行度（核心/线程数）要比单核性能（频率）更重要。一般来讲单节点 8C/16T，主频 2GHz 以上（按 Broadwell 架构计）就可以满足小型生产环境，负载比较重的集群可以配到 12C/24T 甚至 16C/32T。

2024-04-15 07:30:00 881

原创（一）Kafka 地理复制之配置地理复制

许多体系结构具有跨多个数据中心部署的事件流，这些数据中心跨越事件流平台、数据中心或地理区域的边界。在这些情况下，一个事件流平台中的客户端应用程序访问另一个平台中生成的事件可能很有用。不应强制所有客户端从源事件流平台读取，这可能会导致高延迟和数据出口成本。相反，使用一次读取多次的方法，可以将数据复制到本地数据中心，在那里客户端可以快速而廉价地完成所有处理。

2024-04-12 07:30:00 1325

原创 Kafka 推荐配置及 Java 版本

Kafka 推荐配置即是指 Kafka 生产者、消费者以及 Broker 三者的重要配置，只要这些重要配置设置正确了，那么使用起来便不会有大的问题。比如，生产者的重要配置有 acks、compression、batch.size 等，消费者的重要配置有 fetch.size 等。

2024-04-11 07:30:00 823

原创（二）Kafka 多租户架构

接上一篇《（一）Kafka 多租户架构》，本篇第二节从 2.4 小节开始。

2024-04-10 07:30:00 826

原创（一）Kafka 多租户架构

Kafka 租户模式是一种多租户架构模式，用于在单个 Kafka 集群中支持多个不同的租户。这种模式可以提供更好的资源隔离和租户管理，同时减少硬件成本和管理复杂性。

2024-04-09 07:30:00 1079

原创 Kafka 地理复制之启停和监控地理复制

许多组织使用 Apache Kafka 构建跨越多个地理分布的数据中心的数据管道，用于从高可用性和灾难恢复到数据聚合和法规遵从性的各种用例。从单集群部署到多集群部署的过程可能会令人望而生畏，因为您需要处理网络配置、安全模型和操作挑战。对 Kafka 的地理复制支持已经取得了长足的进步，开源和商业解决方案都支持各种复制拓扑和灾难恢复策略。

2024-04-08 07:30:00 791

原创（二）Kafka 地理复制之配置地理复制

接一篇《（一）Kafka 地理复制之配置地理复制》，第二节从 2.4 小节开始。目标群集中复制的 Topic（有时称为远程 Topic）将根据复制策略进行重命名。MirrorMaker 使用此策略来确保来自不同集群的事件（也称为记录、消息）不会写入同一 Topic 分区。bar-topic。

2024-04-05 07:30:00 936

原创 Kafka 地理复制之概览，复制流

使用 MirrorMaker，Kafka 管理员可以将 Topic、Topic 配置、消费者组及其偏移量和 ACL 从一个或多个源 Kafka 集群复制到一个或更多个目标 Kafka 群集，即跨集群环境。简而言之，MirrorMaker 使用连接器从源集群消费并生产到目标集群。这些从源集群到目标集群的定向流称为复制流。它们是用格式定义的 {source_cluster}->｛target_cluster｝，如后所述。管理员可以基于这些流创建复杂的复制拓扑。主动/主动高可用性部署：A->B，B->A。

2024-04-04 07:30:00 1224

原创 Kafka 基本操作之设置配额，操作之数据中心

可以设置 Kafka 配额以限制网络带宽使用，Kafka 度量此吞吐量 (以字节/秒为单位)。如果发现超过 30 秒窗口的吞吐量超过已设置的配额，那么 Kafka 会计算足够的延迟，以使吞吐量在配额限制内。然后，Kafka Broker 将延迟信息作为标准 Kafka 协议响应的一部分发送给客户机。遵循协议合同的合作客户机在发出新请求之前等待此延迟；不合作客户机可能不遵守调速请求，但在这种情况下，Broker 在调速延迟过去之前不会读取该客户机的请求（这可能导致不合作客户机超时）。

2024-04-03 07:30:00 997

原创 Kafka 基本操作之节点退役，增加副本，数据迁移期间限制带宽使用

Kafka 节点退役是指将一个节点永久地从集群中移除的过程。节点退役通常发生在节点故障、硬件损坏或集群扩容等情况下。节点退役的原理同样基于 Kafka 的分布式设计和复制机制。当一个节点需要退役时，需要将该节点上的所有分区的 Leader 副本迁移到其他节点上，并将该节点上的所有副本从集群中移除。

2024-04-02 07:30:00 709

原创 Gradle 使用详解

Gradle 是一个基于 Apache Ant 和 Apache Maven 概念的项目自动化构建开源工具。它使用一种基于 Groovy 的特定领域语言（DSL）来声明项目设置，也增加了基于 Kotlin 语言的 kotlin-based DSL，抛弃了基于 XML 的各种繁琐配置，面向 Java 应用为主。当前其支持的语言 C++、Java、Groovy、Kotlin、Scala 和 Swift，计划未来将支持更多的语言。

2024-04-01 07:30:00 947

原创 Kafka 基本操作之集群扩容

Kafka 集群的服务发现是由 ZooKeeper 实现的，因此 Kafka 集群想添加新的 Broker 就非常容易。我们只需要为新的 Broker 设置一个唯一的 broker.id，然后启动新增的 Kafka 就行。Kafka 集群会自动发现新增的 Broker 并同步原数据，包括当前集群有哪些 topics 以及 topics 的分区信息等。分区重新分配工具还可以用于选择性地将分区的副本移动到特定的 Broker 集。

2024-03-29 07:30:00 646

原创（十三）Java 之日期与时间

在 JDK1.0 中，Date 类是唯一的一个代表时间的类，但是由于 Date 类不便于实现国际化，所以从 JDK1.1 版本开始，推荐使用 Calendar 类进行时间和日期处理。从 JDK 1.1 开始， Calendar类应该用于在日期和时间字段之间进行转换，并且 DateFormat 类应用于格式化和解析日期字符串。在相应的方法 Date 被弃用。

2024-03-28 07:30:00 609

原创 Spring 事务详解，看这篇就够了！

Spring 事务是指在 Spring 框架中对于数据库操作的一种支持，它通过对一组数据库操作进行整体控制来保证数据的一致性和完整性。Spring 事务可以保证在一组数据库操作执行时，要么所有操作都执行成功，要么所有操作都回滚到之前的状态，从而避免了数据不一致的情况。

2024-03-27 07:30:00 855

原创 Kafka 基本操作之平衡 Leader、群集之间的数据镜像、检查消费者的位置、管理消费者组

Leader 负载均衡是指在分布式系统中，将负载均衡地分配给不同的 Leader 节点，以实现系统的高可用性和性能优化。在 Kafka 中，Leader 负载均衡是通过动态选举和重新分配分区的方式来实现的。Kafka 的分区是分布在多个 Broker（即 Kafka 节点）上的，每个分区都有一个 Leader 和若干个Follower。Leader 负责处理分区的读写请求，而 Follower 则复制 Leader 的数据以提供备份和故障恢复。

2024-03-26 07:30:00 938

原创 Kafka 基本操作之添加、修改、删除 Topic 及优雅关闭 Kafka

本节将回顾您在 Kafka 集群上执行的常见 Topic 的操作。本节中介绍的所有工具都可以在 Kafka 发行版的 bin/ 目录下使用，如果在没有参数的情况下运行，每个工具都会打印所有可能的命令行选项的详细信息。

2024-03-25 07:30:00 956

原创只要5分钟，从根上搞懂 Java 之 StringBuffer 和 StringBuilder

在 Java 中，我们除了可以通过 String 类创建和处理字符串之外，还可以使用 StringBuffer 和StringBuilder 类来处理字符串。其中，String 类定义的字符串内容不可变，所以，String 属于不可变字符串。而 StringBuffer 和 StringBuilder 定义的字符串内容可变，这两者属于可变字符串，并且StringBuffer 和 StringBuilder，对字符串的处理效率比 String 类更高。

2024-03-22 07:30:00 862

原创 Kafka 实现之消息及消息格式

Kafka 的消息格式是由消息的键和值组成的。每条消息都有一个可选的键和一个必选的值，它们都是字节数组。键和值可以是任意类型的数据，但在发送和接收消息时，它们需要被序列化为字节数组。在 Kafka 中，消息是以字节数组的形式进行传输和存储的。这种灵活的格式使得 Kafka 非常适合处理各种类型的数据，包括结构化数据、文本数据、二进制数据等。Kafka 的消息格式并不限制消息的内容，开发人员可以自由定义消息的格式和结构。这种灵活性使得 Kafka 可以适应各种不同的应用场景和数据类型。

2024-03-21 07:30:00 942

原创 Markdown 最全语法指南 —— 看这一篇就够了

Markdown 是一种轻量级的标记语言，它允许人们使用易读易写的纯文本格式编写文档，借助可实现快速排版且转换成格式丰富的 HTML 页面。目前被越来越多的写作爱好者及工作者使用。其语法十分简单，常用标记符号少，学习时间少，一旦掌握这种标记语言，将极大提高效率。但是若需要复杂排版如左右对齐缩进等，还是选择 Word 等专业软件。Markdown 用简洁的语法代替排版，而不像常用文字处理软件 Word 或 Pages 等进行排版、字体、插入等设置。

2024-03-20 09:05:07 1431

原创（十二）Java 之数组

数组对于每一门编程语言来说都是重要的数据结构之一，当然不同语言对数组的实现及处理也不尽相同。Java 语言中提供的数组是用来存储固定大小的同类型元素。本文将为大家介绍 Java 数组的声明、创建和初始化，并给出其对应的代码。例如，你可以声明一个数组变量，如 numbers[100] 来代替直接声明 100 个独立变量 number0，number1，....，number99。

2024-03-19 07:30:00 1626

原创 Kafka 实现之分配（Distribution）

Kafka 提供了消费者客户端参数 partition.assignment.strategy 来设置消费者与订阅主题之间的分区分配策略。默认情况下，此参数的值为 org.apache.kafka.clients.consumer.RangeAssignor，即采用 RangeAssignor 分配策略。除此之外，Kafka 还提供了另外两种分配策略：RoundRobinAssignor 和 StickyAssignor。

2024-03-18 07:30:00 1049

原创 Kafka 实现之网络层和日志

Kafka 客户端一般不会碰到大量连接请求，但是 Broker 会遇到，因为它不止收到提供者/消费者的连接请求，还需要收到集群中其他 Broker 的请求，所以对于服务端来说，面临的是高并发场景，客户端使用 NetworkClient 来管理连接就足够了，Server 是不行的，它采用 Reactor 模式实现网络层。

2024-03-15 07:30:00 1625

原创 Spring 事务七大传播机制 —— REQUIRED、SUPPORTS、MANDATORY、REQUIRES_NEW、NOT_SUPPORTED、NEVER、NESTED

首先简单了解一下 Spring 中事务传播行为是什么？听起来很高端，但是真正用起来的时候，稍有不慎，就会让自己陷入困境之中，所以在使用之前，我们必须要十分耐心认真的学习它。从名字理解起来，事务传播行为，既然为传播就肯定发生在两个实体之间，否则单个实体又如何发生行为呢。通俗点讲就是“一个巴掌拍不响”。下面是定义。事务传播行为主要用来描述由某一个事务传播行为修饰的方法被嵌套进另一个方法的事务中，该事务如何传播。这个概述可能不好理解，换句话就是当一个事务方法被另一个事务方法调用时，这个事务方法应该如何进行。

2024-03-14 07:30:00 1691

原创 Kafka 实现之接口设计 —— 生产者 API、消费者 API

Kafka 强大的应用程序层的基础是用于访问存储的两个基本 API，即用于写入事件的生产者 API和用于读取事件的消费者 API。在这两个 API 之上构建了用于集成和处理的 API。

2024-03-13 07:30:00 843

原创 Kafka 设计之配额（Quatos）

Kafka 配额对生产和使用请求实施限制，以控制客户机所使用的代理资源。Kafka 配额使管理员能够对单个生产者和使用者应用程序可使用的网络吞吐量实施限制。

2024-03-12 09:05:50 699

原创 Kafka 设计之日志压缩

Kafka 日志压缩类似于 Redis 持久化的 RDB 模式，假设 Kafka 崩溃，通过日志文件恢复最终状态时，Kafka 只需要关心最新状态，并不关心每一时刻的状态。Kafka 日志压缩主要是针对两种数据：1. Key 值相同的数据，压缩后只记录同 Key 值最新的一条数据；2. Key 不为空，Value 为空的消息，这种消息在日志压缩过程中会被设置为墓碑消息。

2024-03-11 07:30:00 871

原创 Kafka 设计之副本和 Leader 选举

在 Kafka 中，副本分成两类：领导者副本（Leader Replica）和追随者副本（Follower Replica）。每个分区在创建时都要选举一个副本，称为领导者副本，其余的副本自动称为追随者副本。Kafka 的副本机制比其他分布式系统要更严格一些。在 Kafka 中，追随者副本是不对外提供服务的。这就是说，任何一个追随者副本都不能响应消费者和生产者的读写请求。所有的请求都必须由领导者副本来处理，或者说，所有的读写请求都必须发往领导者副本所在的 Broker，由该 Broker 负责处理。

2024-03-10 07:30:00 1248

原创 WordPress 主题知更鸟（Begin）各版本使用指南及下载 —— 1.8、1.9、2.0、4.4、4.6、5.2、LTS

如果大家实力允许，还是建议去官网购买最新 LTS 版本，毕竟是正版，而且 Bug 修复和更新都比较及时，有问题也能得到及时支持。HTML5+CSS3响应式设计兼容IE8+、Firefox、Chrome等现代浏览器。杂志布局、图片布局和博客布局后台切换。首页幻灯，并可自定义链接。文章列表ajax滚动加载评论ajax提交。评论ajax分页图片及留言头像延迟加载选择Gravatar头像获取方式。评论回复邮件通知功能强大的主题选项面板关注我们小工具。

2024-03-09 07:30:00 928

原创 Kafka 设计之消息传递保障

消息传递保障对于分布式系统的可靠性至关重要。在分布式系统中消息传递保障是确保系统可靠性的核心问题之一。系统需要确保消息能够按照预期的方式进行传递，以满足业务需求。Kafka 是一种分布式的消息队列系统，作为消息中间件常用于实现基于发布/订阅模型的消息传递服务。因此在 Kafka 中需要提供消息传递保障。

2024-03-08 07:30:00 822

原创 Kafka 设计之生产者与消费者

接上一篇。本文将介绍 Kafka 设计中的生产者与消费者，通过对官方文档的阅读，来加深对 Kafka 生产者和消费者设计的理解。

2024-03-07 07:30:00 944

原创 Kafka 之 AdminClient 配置

一般情况下，我们都习惯使用 kafka-topics.sh 脚本来管理主题，但有些时候我们希望将主题管理类的功能集成到公司内部的系统中，打造集管理、监控、运维、告警为一体的生态平台，那么就需要以程序调用 API 的方式去实现。Kafka 社区于 0.11 版本正式推出了 Java 客户端版的 AdminClient，并不断地在后续的版本中对它进行完善。本文主要介绍 KafkaAdminClient 的配置项，以及各配置项的具体含义。

2024-03-06 07:30:00 1163

原创 Kafka 之 Connect 配置和 Stream 配置

Kafka Connect 是一款可扩展并且可靠地在 Apache Kafka 和其他系统之间进行数据传输的工具。可以很简单的定义 connectors（连接器）将大量数据迁入、迁出Kafka。Kafka Stream 是 Apache Kafka 从 0.10 版本引入的一个新 Feature，它提供了对存储于 Kafka内的数据进行流式处理和分析的功能。

2024-03-05 07:30:00 973

原创 Kafka 设计之效率

接上一篇《Kafka 设计之动机与持久性》。本文将介绍 Kafka 设计中的效率以及端到端的批量压缩，通过对官方文档的阅读，来加深对 Kafka 效率设计的理解。

2024-03-04 07:30:00 765

原创 Kafka 设计之动机与持久性

Kafka 设计初衷是使 Kafka 能够成为统一、实时处理大规模数据的平台，为了达到这个目标，支持以下几个应用场景：高吞吐来支持诸如实时的日志集这样的大规模事件流；很好的处理大量积压的数据，以便能够周期性加载离线数据进行处理；能够低延迟处理传统消息应用场景；支持分区，分布式，实时处理消息，同时具有容错保障机制。

2024-03-03 07:30:00 1680