敏捷大数据-CSDN博客

原创如何设计RTDP（上篇）

作者：卢山巍导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场...

2018-07-03 17:43:26 1846

原创基于Flink计算引擎的流式处理平台Wormhole—关注低延迟和CEP

导读：继Wormhole的设计思想介绍和功能介绍之后，相信大家对Wormhole已经有了初步的了解。2018年7月31日，我们发布了Wormhole_0.5新版本，与以往基于Spark计算引擎的版本相比，该版本新增了基于Flink计算引擎的流式处理功能，主要关注低延迟和CEP。基于Flink计算引擎版本具体内容是什么呢？还请各位看官移步正文~一、Wormhole Flink版介绍延...

2018-08-06 13:06:51 2767

原创如何设计实时数据平台（下篇）

作者：卢山巍敏捷之歌我抽数故我存在 | DBus 人人玩转流处理 | Wormhole 就当吾是数据库 | Moonbox 颜值最后十公里 | Davinci导读：实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架...

2018-07-23 11:16:47 5849 1

原创实时流式处理平台功能介绍

作者：赵平导读：在上一篇Wormhole系列文章中，我们介绍了Wormhole的设计思想，并给出了Stream、UMS、Flow、Namespace等相关概念的具体定义，从文章中我们得知，Wormhole作为实时流式处理平台，其设计思想最终是为流上处理数据而服务的。在本文中，我们主要从Wormhole的功能设计入手，重点介绍Wormhole所支持的几个基本功能。Wormhole支持...

2018-07-16 11:38:33 7358

原创 #Moonbox# （开源）计算服务平台简介

作者：王浩导读：业务系统或者日志系统产生了大量的原始数据，我们根据业务场景需求将数据保存到不同的存储中。然而，数据只有通过整合、加工、计算，才能提取出其潜在的信息，让数据变为资产，从而实现数据的价值。Moonbox就是这样一款计算服务平台，在敏捷大数据（Agile BigData）理论的指导下，围绕“计算服务化”和“数据虚拟化”两个核心概念进行设计，支持多种数据源混合计算。Moonbo...

2018-07-13 15:05:20 4039 2

原创 #Wormhole# （开源）流式处理平台设计思想

作者：赵平导读：互联网的迅猛发展使得数据不再昂贵，而如何从数据中更快速获取价值变得日益重要，因此，数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析，以极低的延迟来分析实时数据并给出分析结果，从而提高业务效率，带来更高价值。流式处理作为实时处理的一种重要手段，正在因数据实时化的发展而蓬勃发展。本文是敏捷大数据（Agile BigData）背景下的实时流式处理平台Wormhole的开...

2018-07-10 18:05:37 6518

原创 #DBus# 关系型数据库全表扫描分片详解

作者：尹红春导读：数据总线（DBus）专注于数据的实时采集与实时分发，可以对IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费，充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。在本文中，我们从数据分片的角度出发，具体介绍DBus在数据采集的过程中，运用了什么样的分片策略和分片原理，以及过程中遇到的问题及解决...

2018-07-06 16:09:29 803

原创 #Davinci# （开源）可视应用平台介绍与展望

作者：徐翔导读：通过图形化手段清晰地传达数据，促进信息的传递与沟通，是数据可视化的基础要素，也是设计美学和功能相结合的具体表现形式。Davinci便是这样一款可视应用平台。在敏捷大数据（Agile BigData）理论的背景下，围绕“数据视图”和“可视组件”两个核心概念设计，支持多种可视化功能。Davinci具体的设计理念和功能特点都有什么呢？它又将怎么成长呢？让我们一起来阅读本文吧~一...

2018-07-05 16:14:57 23910 6

原创敏捷大数据，了解一下？

作者：卢山巍（Wil）敏捷大数据，即在敏捷理念原则指导下，构建出一系列通用平台工具，和一整套大数据应用全生命周期方法学，以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。一、敏捷大数据的理念原则组件化／平台化／产品化／本地化组件化／平台化：通过对大数据处理链路进行模块化抽象，形成多个功能高度內聚的组件化平台；组件化平台既可独立与已有平...

2018-07-03 15:47:49 2249

敏捷大数据的CSDN博客