- 博客(122)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Doris 数仓使用规范（经验版）
【建议】一次insert into select 数据超过1亿条后，建议拆分为多个insert into select语句执行，分成多个批次来执行。【建议】前缀索引的第一个字段一定是最长查询的字段，并且需要是高基字段。【建议】大量数据排序（5亿以上）后返回部分数据，建议先减少数据范围在执行排序，否则大量排序会影响性能。【强制】如果分桶字段存在30%以上的数据倾斜，则禁止使用Hash分桶策略，改使用random分桶策略。【强制】亿级别大表禁止使用select * 查询，查询时需要明确要查询的字段。
2024-01-02 23:03:37
1377
3
原创 Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连接一个外部数据目录时，我们只能在Database 或 Table 层级进行对接。比如通过create external table的方式创建一个外部数据目录中的表的映射，或通过create external database的方式映射一个外部数据目录中的 Database。
2023-11-30 11:01:08
740
原创 Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门
是不是使用非常简单，快快体验Doris 湖仓一体，联邦查询的能力，来加速你的数据分析性能。
2023-11-27 15:49:15
651
原创 Apache Doris 数据建模之 Aggregate Key 模型
但是因为 Doris 它最早是给凤巢的一个广告报表做的，广告报表有一个很大的特点，就是它只关心统计分析的结果，而不太关心明细的数据，所以 Doris 最早一代的数据模型，是一个聚合的模型。通过上面的图我们可以看到，这是一个典型的用户信息和访问行为的事实表。也就是说，任何还未聚合的数据（比如说两个不同导入批次的数据），必须通过某种方式，以保证对外展示的一致性，特别是在聚合模型上做count计算，可能会导致结果不准确，针对这种情况我们怎么去解决。还有在这个三种数据模型之上的数据分区分桶的策略。
2023-10-10 15:28:54
339
原创 怎么使用 Go 语言操作 Apache Doris
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。使用 Doris 的用户都知道 Doris 是完全兼容 MySQL 协议的，我们可以使用任意 MySQL 客户端或者 Connector 去连接 Doris，用 SQL 操作 Doris，这样你可以使用任意语言来操作 Doris。这里我们简单做一个查询表里的所有数据。
2023-09-28 17:24:12
2066
原创 怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据
Bitmap是一种经典的数据结构，用于高效地对大量的二进制数据进行压缩存储和快速查询。Doris支持bitmap数据类型，在Flink计算场景中，可以结合Flink doris Connector对bitmap数据做计算。社区里很多小伙伴在是Doris Flink Connector的时候，不知道怎么写Bitmap类型的数据，本文将介绍如何使用 Flink Doris Connector 如何将 bitmap 数据写入 Doris 中。前置准备Doris2.0.1的环境。
2023-09-27 12:42:35
1199
原创 Apache Doris 行列转换可以这样玩
行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。行列转换就是如下图所示两种展示形式的互相转换。
2023-09-26 13:14:01
1065
1
原创 Apache Doris 2.0 版本 FQDN 使用介绍
在介绍这个之前，我们知道Doris 之前是不支持主机名称方式，只能使用 IP 地址，在实际使用中，有的用户因为网络重构或者设备迁移产生了IP地址变更，这个就会引发Doris集群数据不可用。如果我们能通过主机名称，那么就可以避免因为IP地址变更引发的集群不可用数据丢失的问题。Doris 从 2.0 版本引入的 FQDN的能力，来解决之前的 IP地址不能变更的问题。本文介绍如何启用基于 FQDN（Fully Qualified Domain Name，完全限定域名 ）使用 Apache Doris。
2023-09-13 08:59:48
210
原创 [2.0快速体验]Apache Doris 2.0 弹性计算节点快速体验
这样这种节点其实就变成了一个无状态的 BE 节点，我们可以非常容易的进行弹性伸缩，不需要想之前混合节点那样，在扩展集群的时候，需要等待 tablet 副本均衡完成，这个节点才能进行有效的负载。然后我们将节点加入到集群之后，并启动节点，查看 BE 的信息，可以看到，NodeRole 这个字段，如果是 mix 表示为混合节点，如果是computation表示为计算节点。查看我们刚才执行的 SQL Profile 可以看到，这个Catalog外表的计算是在计算节点上进行的，并不是在混合节点上。
2023-06-05 09:35:13
700
原创 [2.0快速体验]Apache Doris 2.0 日志分析快速体验
我们知道 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。在Apache Doris 2.0 给大家带来了全新的倒排索引，利用Doris的MPP执行框架、向量化计算引擎、列式存储、标准SQL、CBO的查询优化器等特性为用户提供高性能，低成本的日志分析服务。解决上面的问题，需要集中化的日志管理，所有服务器上的日志收集汇总。
2023-06-04 14:51:09
1320
原创 Apache Doris 2.0 冷热分离快速体验
用户在满足了自身对于数据使用要求的情况下，自然会开始考虑数据存储成本等方面的问题，对于那些很少访问甚至基本不访问的数据，使用成本更低的存储方式将是一种更好的选择。未来一个很大的使用场景是类似于es日志存储，日志场景下数据会按照日期来切割数据，很多数据是冷数据，查询很少，需要降低这类数据的存储成本。对于热数据，其访问的频率很高，且往往是用户非常关心的数据，其实时性要求一般都很高，并且读写的频率也会更高，这正是DORIS本地存储重点解决的问题。从这个图上我们也可以看到，已经将部分数据迁移到对象存储上了。
2023-05-11 18:56:10
1453
1
原创 从 Elasticsearch 到 Apache Doris，10 倍性价比的新一代日志存储分析平台｜新版本揭秘
日志数据的处理与分析是最典型的大数据分析场景之一，过去业内以 Elasticsearch 和 Grafana Loki 为代表的两类架构难以同时兼顾高吞吐实时写入、低成本海量存储、实时文本检索的需求。Apache Doris 借鉴了信息检索的核心技术，在存储引擎上实现了面向 AP 场景优化的高性能倒排索引，对于字符串类型的全文检索和普通数值、日期等类型的等值、范围检索具有更高效的支持，相较于 Elasticsearch 实现性价比 10 余倍的提升，以此为日志存储与分析场景提供了更优的选择。
2023-05-09 12:30:13
997
原创 [实战系列]SelectDB Cloud Flink Connector 最佳实践
随着云基础设施的不断完善，云原生已经成为各行业数字化转型的必选项，越来越多的应用开始进行云原生化架构升级和应用迁移。而云原生实时数仓的出现，让传统的数据仓库无论是成本、灵活性还是开放性等方面都显露出不足。拥有高性能、高可用性、可伸缩性、高安全性等特征的云原生数据库，正在成为企业的首选。SelectDB Cloud作为一款运行于多云之上的云原生实时数据仓库，可以为客户提供极简运维和极致性价比的数仓服务，为用户提供开箱即用的能力。
2023-03-14 14:26:44
358
原创 [实战系列]SelectDB Cloud Datax 数据写入最佳实践
企业正在经历其数据资产的爆炸式增长，这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据，随着海量数据批量导入的场景的增多，企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
2023-03-14 14:21:33
821
原创 [实战系列]SelectDB Cloud Kafka Connect 最佳实践张家锋
企业正在经历其数据资产的爆炸式增长，这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据，随着海量数据批量导入的场景的增多，企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
2023-03-14 14:09:41
400
原创 [实战系列]SelectDB Cloud Spark Connector 最佳实践
企业正在经历其数据资产的爆炸式增长，这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据，随着海量数据批量导入的场景的增多，企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库，致力于通过开箱即用的能力为客户带来简单快速的数仓体验。
2023-03-14 14:05:23
1970
原创 打破数据孤岛，Apache Doris 助力纵腾集团快速构建流批一体数仓架构｜最佳实践
随着纵腾集团业务的快速发展，各产品线提出的数据需求越发严格，而早期基于多套 CDH 大数据架构的技术栈和组件繁杂，开发和运维难度高、效率低，数据质量和时效难以保障，已无法满足当下数据分析需求，严重影响相关工作的开展。因此，纵腾集团在 2022 年正式引入 Apache Doris，基于 Apache Doris 构建了新的流批一体数据架构，同时建立了以 Apache Doris 为核心的数据中台。构建过程中对读写时效性、服务的稳定性及高并发读写等多方面进行了优化，在这一过程中我们也积累了诸多实践经验，在此总
2023-02-22 11:40:22
976
原创 一文教你玩转 Apache Doris 分区分桶新功能｜新版本揭秘
数据分片（Sharding）是分布式数据库分而治之 (Divide And Conquer) 这一设计思想的体现。过去的单机数据库在大数据量下往往面临存储和 IO 的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和 IO 的瓶颈、使库表数据量可以无限拓展
2023-02-22 11:30:59
638
原创 从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践
导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ，经历了分析引擎从 ClickHouse 到的替换、经历了数据架构语义层的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考，希望所有读者从文章中有所启发。作者：腾讯音乐内容库数据平台 张俊、代凯。
2023-02-22 11:17:48
651
原创 年度总结 | Apache Doris 2022 年全面突破，2023 年继续加速前行！
Apache Doris 2022 年全面突破，2023 年继续加速前行！
2023-01-18 10:27:41
200
原创 商业与数据生态议题解读，Doris Summit 2022 分论坛议程介绍｜即刻报名
近年来，企业数据呈爆发式增长，数据湖对存储的系统的要求也越来越高，目前阿里云 OSS 数据湖已经实现以对象存储为中心，构建企业级数据，全兼容，多协议，统一元数据。只需几分钟，便可完成数据仓库的搭建，简单轻松地实现对海量数据的实时查询分析。EMR Doris 是开箱即用的云端 Doris 服务，支持海量数据高效导入、实时更新，支持对 10PB 级别的海量数据进行高并发查询，同时满足企业对报表与 OLAP 分析两类不同需求，帮助企业快速且低成本地构建极速易用的云上数据分析平台。扫 / 码 / 进 / 群。
2023-01-03 18:27:24
588
原创 [1.2.0新功能系列：三]Apache doris 1.2.0 Java UDF 函数开发及使用
我们在使用各个SQL引擎时，会有纷繁复杂的查询需求。一部分可以通过引擎自带的内置函数去解决，但内置函数不可能解决所有人的问题，所以一般SQL引擎会提供UDF功能，方便用户通过自己写逻辑来满足特定的需求，Doris也不例外。在java UDF之前，Doris提供了两种用户可以自己实现UDF的方式：远程UDF，其优缺点如下：支持通过 RPC 的方式访问用户提供的 UDF Service，以实现用户自定义函数的执行只要支持Protobuf的各类语言都能使用，有足够的安全和灵活性。
2022-12-12 12:19:38
3669
3
原创 [1.2.0新功能系列:二] Apache Doris 1.2.0 JDBC外表 及 Mutil Catalog
这里以 JDBC Mutil Catalog方式演示了Mutil Catalog方式的使用，其他Hive、Hudi、Iceberg及ES使用方法一样，具体可以参照官方文档：https://doris.apache.org/zh-CN/docs/dev/ecosystem/external-table/multi-catalog。多源数据目录（Multi-Catalog）是 Doris 1.2.0 版本中推出的功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
2022-12-12 12:14:33
2727
原创 [1.2.0新功能系列:一] Apache Doris 1.2.0 版本 Light Schema Change
在 1.2.0 新版本中，对数据表的加减列操作，不再需要同步更改数据文件，仅需在 FE 中更新元数据即可，从而实现毫秒级的 Schema Change 操作，且存在导入任务时效率的提升更为显著。与此同时，使得 Apache Doris 在面对上游数据表维度变化时，可以更加快速稳定实现表结构同步，保证系统的高效且平稳运转。如用户可以通过 Flink CDC，可实现上游数据库到 Doris 的 DML 和 DDL 同步，进一步提升了实时数仓数据处理和分析链路的时效性与便捷性。
2022-12-12 12:09:15
1726
原创 3分钟带你重温 SelectDB 产品发布会亮点！
在存储层，行为数据抽取出标签数据分层存储；虽然仅成立一年，但 SelectDB 在迅速发展之下，已经得到领域内各行各业优秀伙伴的认可，并且与他们开启了战略合作，目前，SelectDB 已陆续开始与合作伙伴们共建数据中台、BI应用等平台级解决方案，并开展了互联网、金融、政府、制造等行业级的解决方案构建。在成功牵手阿里云、华为云、腾讯云和 AWS 后，SelectDB 仍在积极的扩大自己的合作生态，不久的将来，用户也将能够通过 Google 和微软的云端享受到 SelectDB 的极致数据分析服务。
2022-12-08 18:22:57
674
原创 Apache doris 1.2.0 release
亲爱的社区小伙伴们，再一次经历数月的等候后，我们很高兴地宣布，Apache Doris 于 2022 年 12 月 7 日迎来 1.2.0 Release 版本的正式发布！有近 118 位 Contributor 为 Apache Doris 提交了超 2400 项优化和修复，感谢每一位让 Apache Doris 更好的你！自从社区正式确立 LTS 版本管理机制后，在 1.1.x 系列版本中不再合入大的功能，仅提供问题修复和稳定性改进，力求满足更多社区用户在稳定性方面的高要求。而在综合考虑版本迭代节奏和用
2022-12-08 13:44:26
1343
原创 Doris 运维篇：Apache Doris 如何定位处理问题的Tablet
这样我们就可以在下面这个列表里找到我们这个tablet 的 partition VisibleVersion。好，到这里我们看到这出问题这个tablet 所有的副本，在上面这个查询返回结果里我们关注几个字段。的时候返回的信息里最后一列，我们通过这一列可以知道我们要找的tablet 对应的。这个时候我们通过上面1-8条说明里讲解的内容就可以定位错误的 tablet 副本。这个时候我们都知道通过下面的命令来去查看这个tablet 情况。这个时候我们可以看到这个tablet 所有的副本。
2022-10-13 18:34:20
1413
原创 Doris 运维篇：Apache Doris tablet错误问题实操案例（一）
我们找到 permits 较大的一个任务对应的 tablet id，如下图permit 为 4096 的任务的 tablet id 为 5103093，然后继续分析这个 tablet 的 compaction 情况。今天一个用户出现BE（用户使用的是0.14.13.1这个版本） 启动之后，过一会就会挂掉，be.out也没有错误信息，不知道什么问题造成的。确认是OOM问题，这个时候我们要知道是什么引发的OOM，我打开了 top -H 命令，TableName 是空，其他的信息也是不对的，这样反而是好处理的。
2022-10-13 18:33:28
843
原创 全球第一！新一代云原生实时数仓 SelectDB 登顶 ClickBench 榜单！
登顶榜单只是 SelectDB 前进道路上的小目标之一，作为基于 Apache Doris 打造的运行于多云之上的新一代云原生数仓，SelectDB 具备了极速、易用、实时、统一的核心特性，并提供了多云一致体验和多数据类型支持，未来还将有更多重要能力呈现给大家，欢迎大家申请体验测试。从查询耗时的角度来看，SelectDB 相较于排行前列的其他产品，总体查询耗时分别降低了 63%、75%、78%、99% 以及 459%，性能大幅领先于同类产品。，在实现极致查询性能的同时也保证了高效的写入效率。
2022-10-10 13:50:25
252
原创 Apache Doris tablet 副本修复的原理、流程及问题定位
这种情况下，我们就要通过 BE 日志来分析具体的原因，是因为操作不当还是程序存在 Bug，如果是操作不当，可以先从操作上规避，然后将这个问题提交给社区，有社区开发人员定位分析，然后修复。每个副本的状态有以下几种。显示这个目标 BE 在去源 BE 请求创建 tablet 副本快照的时候失败了，这个时候我怀疑可能是其他的副本也是有问题的，正常情况下这个地方不应该失败，我通过。因为有三副本，之前只损坏一个副本，是不是另外一个副本也是这种情况呢，我又去看了另外一个be上的副本状态，最后发现也是同样的问题。
2022-09-12 15:34:41
1478
原创 Apache Doris 系列： 入门篇-数据导入及查询
Doris 为了满足不同业务场景的数据接入需求，提供不丰富的数据导入方式，去支持不同的数据源：外部存储（HDFS，对象存储）、本地文件、消息队列（Kafka）及其他外部业务系统数据库（MySQL、Oracle、SQLServer、PostgreSQL等），支持同步和异步的方式将数据接入到 Doris 中。是一种同步的数据导入方式。因为Doris 表里的数据是有序的，导入方式需要占用 Doris BE 资源进行对数据进行排序，在大数据量的数据导入的时候尽可能避开业务使用高峰，在资源相对空闲的时候进行导入。
2022-09-07 09:23:42
3986
原创 Apache Doris 系列： 入门篇-创建数据表
我们在成功部署完成 Doris 之后，我们可以通过任意 MySQL 客户端来连接 Doris ，下面我们的示例是通过 MySQL 客户端命令行工具来进行操作。命令来修改表的 Schema ，包括增加列，修改列类型、删除列、改变列的顺序。如果作业长时间没有完成，或者影响到了其他操作，你可以通过下面的命令来取消作业。我们执行完建表语句，表创建成功之后，我们可以通过下面的命令来查看表的相关信息。命令来查看创建好的数据库，这个命令会显示所有已经创建的数据库。，来满足不同用户场景的使用，下面我们以。
2022-09-06 15:41:35
3440
原创 Apache Doris 系列： 入门篇-安装部署
这里我们介绍如何通过二进制安装包方式，手动的一步步安装Apache Doris。如果你需要从编译安装部署，参考。下面我们以部署一台 FE 节点和一台 BE节点为例来演示部署，正常情况 Doris 集群下我们建议至少要部署一个 FE 节点及三个 BE 节点。...
2022-08-31 10:04:12
2446
原创 Apache Doris 1.1 特性揭秘：Flink 实时写入如何兼顾高吞吐和低延时
随着数据实时化需求的日益增多，数据的时效性对企业的精细化运营越来越重要，在海量数据中，如何能实时有效的挖掘出有价值的信息，快速的获取数据反馈，协助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。在这种形势下，Apache Doris 作为一款实时 MPP 分析型数据库脱颖而出，同时具备高性能、简单易用等特性，具有丰富的数据接入方式，结合 Flink 流式计算，可以让用户快速将 Kafka 中的非结构化数据以及 MySQL 等上游业务库中的变更数据，快速同步到 Doris 实
2022-08-02 09:30:25
856
2
原创 应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设
作者｜同程数科大数据高级工程师 王星同程数科是同程集团旗下的旅游产业金融服务平台，前身是同程金服，正式成立于 2015 年。同程数科以“数字科技引领旅游产业”为愿景，坚持以科技的力量，赋能我国旅游产业。目前，同程数科的业务涵盖产业金融服务、消费金融服务、金融科技及数字科技等板块，累计服务覆盖超过千万用户和 76 座城市。图1.1 业务场景-业务介绍主要包含四大类：图1.2 业务场景-业务需求综合以上业务需求，我们进行了系统架构建设。图2.1 架构演变-架构1.0架构1.0 是前几年非常流行的以 SteamS
2022-07-08 10:10:13
1550
原创 应用实践 | 10 亿数据秒级关联，货拉拉基于 Apache Doris 的 OLAP 体系演进
分享人｜货拉拉大数据引擎负责人 杨秋吉，张斌业务背景货拉拉成立于 2013 年，成长于粤港澳大湾区，是一家从事同城、跨城货运、企业版物流服务、搬家、汽车销售及车后市场服务的互联网物流公司。截至 2022 年 4 月，货拉拉的业务范围已经覆盖了国内 352 座城市，月活司机达到 58 万，月活用户达到 760 万，包含 8 条以上的业务线。货拉拉大数据体系为支撑公司业务，现在已经成立三个 IDC 集群、拥有上千台规模的机器数量，存储量达到了 20PB、日均任务数达到了 20k 以上，并且还处在快速增长的过程中
2022-06-30 09:17:12
1221
原创 Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
这篇教程将展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，同时本教程整个环境是都基于伪分布式环境搭建，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。本教程的演示环境如下：1.2 系统架构我们整理架构图如下Doris湖仓一体的联邦查询架构如下：配置系统环境变量2.2 配置hdfs2.2.1 core-site.xmlvi
2022-06-25 12:59:02
3082
5
转载 应用实践 | 海量数据，秒级分析！Flink+Doris 构建实时数仓方案
Advance Intelligence Group（领创集团）成立于 2016 年，是一家以 AI 技术驱动的科技集团，致力于通过科技创新的本地化应用，改造和重塑金融和零售行业，以多元化的业务布局打造一个服务于消费者、企业和商户的生态圈。集团旗下包含企业业务和消费者业务两大板块，企业业务包含 ADVANCE.AI 和 Ginee，分别为银行、金融、金融科技、零售和电商行业客户提供基于 AI 技术的数字身份验证、风险管理产品和全渠道电商服务解决方案；消费者业务 Atome Financial 包括亚洲领先的
2022-06-24 17:55:26
2195
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人