Goson_zhang-CSDN博客

原创【Apache TubeMQ】Apache TubeMQ，大数据场景下的新选择

前言本文内容是一篇PPT，TubeMQ对外部宣讲时使用，比较系统的的介绍了大数据场景下MQ遇到的技术难点，TubeMQ相比其他MQ，TubeMQ的特点，使用它的优势，实现原理，以及后续社区的发展考虑。从内外交流的情况来看，在已有一个被大家广泛认知的产品存在的前提下，一个新产品做得再好也是很难快速地被外部所接纳，除非外部遇到了特别大的压力、深入灵魂的问题困扰时，才会在从上到下的压力传导下寻求改变，比如机器成本突增、技术人员储备不足难以应付突发问题等，才会不得不开始寻找新方案寻求对问题的解决。这篇文章就如

2021-03-15 13:47:47 105

原创【Apache TubeMQ】Apache TubeMQ性能影响因子分析

1. 前言：我们在应用Apache TubeMQ时，该如何配置它的参数才能使系统的性能达到最优？有哪些坑会影响到系统的性能我们要提前关注？生产和消费份数对整体的入出流量影响情况是怎样？本篇文档引用的是2018年测试数据，但不影响大家对些问题的理解和掌握。通过调整各个参数值来获取其对TubeMQ系统性能的影响情况后，大家基本上就清楚了各个因子对系统性能的影响，方便大家基于此展开相关的线上操作。大家也看得到各个因子的组合非常多，应用前也可以按照我们方案进行复核和改进，如果有获取到更好的参数配比，欢迎给贡献社

2021-01-25 10:15:32 145

原创【Apache TubeMQ】Apache TubeMQ的Benchmark测试解读

1. 前言 Apache TubeMQ的Benchmark测试项为什么要这么设计？每一个场景反馈了哪些内容，是否是为了放大TubeMQ的优点而做的针对性场景定义？和其他MQ的Benchmark测试用例相比异同点在哪里？这篇我们一起来做TubMQ的Benchmark测试项及测试结果的解读。 2. 说在前面 TubMQ的Benchmark测试项及测试结果报告tubemq_perf_test_vs_Kafka包含在项目的website里没有直接显现在页面上展示，主要是开源时团队内部做过讨论，无意去做PK赛，所以需

2021-01-21 11:25:30 130

原创【Apache TubeMQ】Apache TubeMQ数据可靠性介绍

1. 前言我们在Apache TubeMQ的适用场景有介绍，TubeMQ适用于极端情况下容忍少量数据丢失的业务场景，那么TubeMQ到底在什么情况下可能会出现数据丢失？为什么要这么设计？同类MQ在这方面是怎么做的？这篇文档计划解答这几个问题。 2. 结论 Apache TubeMQ系统数据存储采用的是单节点多磁盘RAID10的副本方案进行存储，数据只在如下场景存在可能丢失情况：机器断电，已回复成功但还没有被消费且处在内存中的数据会丢；机器上线后，已存储在磁盘上的数据不受影响； RAID10 hold不

2021-01-18 14:48:11 274

原创【Apache TubeMQ】Apache TubeMQ使用时要注意什么？

1. 前言 Apache TubeMQ使用时要注意哪些点？为什么要这么设计？我把初次接触本系统的同学提到最多的几个问题在这里汇总解答下，便于大家了解。 2. 问题 2.1 为什么Broker要先配置再使用？这个应是Apache TubeMQ在使用体验上与其他MQ的最大不同，如下图所示，集群要先部署Master；Master部署好Broker上线前，要先在Master配置好Broker相关配置，并调整其状态为上线状态后，Broker才能加入集群对外服务。TubeMQ为什么要这样设计，为什么不能如其他MQ，比

2021-01-15 19:10:37 194

原创【Apache TubeMQ】什么场景下适合用Apache TubeMQ？

1. 前言： Apache TubeMQ是腾讯于2019年对外开源后捐献给Apache的新一代MQ，其源于腾讯公司的实际生产环境，专注服务海量数据的高性能存储和传输，在MQ已是红海的今天（仅Apache就已经有5个MQ），较之于众多的开源MQ组件，Apache TubeMQ到底有些什么特点，我们在什么场景下适用，应用这个产品能给我们带来什么好处？本文想从这点进行介绍。 2. 什么场景下适用 Apache TubeMQ？总结起来，主要是如下场景：数据上报量太大，普通MQ支撑不住；普通MQ能抗住，但消耗

2021-01-13 19:27:25 156 2

原创【Apache TubeMQ】说开始

一直想找一个地方，专门介绍下TubeMQ，包括现在的方案考虑，使用注意事项，后续的一些技术演进思路构想，实现情况的交流等，行文可以不那么正式的那种 TubeMQ新推出时，CSDN很快就捕捉到了，并且CSDN的专家还专门写了一篇文章做了介绍，来而不往非礼也，而且也觉得CSDN更适合做技术的交流，类似我们内网的KM，就先放在这里。头篇介绍，这就开始了。 ...

2020-05-13 10:07:23 189 1

qq_21218827的博客