- 博客(18)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 基于哈希索引:开始写KV数据库
回想一下我们经常使用HashMap数据结构，哈希索引就是基于内存的HashMap来实现的，不同的是我们在内存里面使用HashMap的时候value都是直接存储原始数据的，对于数据库来说，如果你把所有的原始数据都直接存储到内存的话，这是不现实的。仔细思考一下，这个数据库逻辑是正确的，而且还是持久化的。，这里的实现为了简单起见没有按照书里面使用异步线程去做，是在set的时候判断未压缩的大小是否超过阈值进行同步压缩的，即会阻塞写入操作，这是一个可优化点，在后续的更新中会优化掉，但是日志压缩思路是一致的。
2024-03-05 16:31:40
632
原创 doris常用的操作命令：
查询表结构:DESC table ALL;desc table;查询版本号：select version();查询分区信息：SHOW TEMPORARY PARTITIONS FROM table_name; //临时分区SHOW PARTITIONS FROM table_name; 查看某一个数据库下面表的信息：SHOW DYNAMIC PARTITION TABLES FROM database;注：表的数据量可以通过 show data 命令查看，结果除以副本数，即表的数
2021-09-22 11:49:57
5162
1
原创 doris分区基本操作
创建分区：分为两种：1、Range 分区分区列通常为时间列，以方便的管理新旧数据。Partition 支持通过 VALUES LESS THAN (...) 仅指定上界，系统会将前一个分区的上界作为该分区的下界，生成一个左闭右开的区间。通过，也支持通过 VALUES [...) 指定同时指定上下界，生成一个左闭右开的区间。通过 VALUES [...) 同时指定上下界比较容易理解。这里举例说明，当使用 VALUES LESS THAN (...) 语句进行分区的增删操作时，分区范围的变化情分
2021-09-22 11:48:26
6383
1
原创 doris的三种数据模型
doris的三种数据模型：一、Doris三种数据模型Doris 的数据模型主要分为3类:- Aggregate- Uniq- DuplicateAggregate 模型 聚合模型：聚合模型需要用户在建表时显式的将列分为 Key 列和 Value 列。该模型会自动的对 Key 相同的行，在 Value 列上进行聚合操作。当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 AggregationType 目前有以下
2021-09-22 11:41:26
2323
1
原创 hive的常用命令
hive的常用命令：一、hive 管理表(内部表)与外部表的互相转换1．修改外部表emp为内部表(emp为表名)alter table emp set tblproperties ('EXTERNAL'='FALSE');2．修改内部表emp为外部表alter table emp set tblproperties ('EXTERNAL'='TRUE');注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！二、hive的分区操作1
2021-08-26 20:30:04
199
原创 hive 的like与rlike,not like,linke not,coalesce函数使用
1.关于like与rlike,not like,like not的使用对比总结rlike功能和like功能大致一样，like是后面只支持简单表达式匹配（_%）,而rlike则支持标准正则表达式语法。所以如果正则表达式使用熟练的话，建议使用rlike，功能更加强大。所有的like匹配都可以被替换成rlike。反之，则不行。但是注意：like是从头逐一字符匹配的，是全部匹配，但是rlike则不是,可以从任意部位匹配，而且不是全部匹配。hive (default)> select 'boobar' li
2021-08-16 19:49:28
2374
原创 hive hql去除数据中的空格内容
一、去除空格和tab的方法：1、去除空格用trim(只能将标准的英文空格删掉)2、去除tab用如下方法select regexp_replace(secdomainname,’\s+’,’’) from dwb_cndns_node_secdomain_d where …3、有中文的的空格去除regexp_replace(NVL(column,’’),’[\s]+|[\u3000]+|...
2020-02-14 16:12:13
11256
原创 hive shell查询时永久显示字段名和显示当前数据库
一、查询时显示字段名1、进入hive cli后：set hive.cli.print.header=true;2、此时显示的字段名带表名，可读性很差，继续在hive cli中：set hive.resultset.use.unique.column.names=false;3、可以设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=t...
2020-01-12 17:27:42
570
原创 hive的性能调优
hive的性能调优一.严格模式通过设置以下参数开启严格模式： >set hive.mapred.mode=strict;【默认为nonstrict非严格模式】 查询限制： 1.对于分区表，必须添加where查询条件来对分区字段进行条件过滤。 2.order by语句必须包含limit输出限制。 3.限制执行笛卡尔积的查询。二、Hive开启本地模式执行0...
2020-01-01 17:27:35
120
转载 Kafka+Spark Streaming如何保证exactly once语义
在Kafka、Storm、Flink、Spark Streaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队列”），存在三种消息传递语义（message delivery semantics），分别是：at leastonce：每条消息会被收到1次或多次。例如发送方S在超时时间内没有收到接收方R的通知（如ack），或者收到了R的报错，就会不断重发消息直至R...
2019-12-10 19:55:07
265
原创 Hive创建表时添加中文注释后乱码问题
Hive创建表时添加COMMENT时的中文注释就会出现乱码，如下：创建表：CREATE TABLE dws_vip_efective_total_year (row_key string,vip_market_id int COMMENT '开通付费会员的商场ID', vip_market_name string COMMENT '开通付费会员的商场名称',vip_efective_to...
2019-12-06 16:19:44
500
原创 hive命令行显示当前数据库
在 hive命令行显示当前数据库两种方式。1、可以在hive命令行执行以下语句显示当前数据库：hive> select current_database();2、可以设置hive属性在命令行显示当前数据库：set hive.cli.print.current.db=true;注: 这是当前的session窗口有效；3、永久修改，向hive-site.xml文件添加一下配置：...
2019-12-06 11:34:21
873
原创 Hive自定义UDF、UDAF、UDTF函数实例与区别
Hive中有三种自定义函数分类1、用户定义函数(user-defined function)UDF;2、用户定义聚集函数（user-defined aggregate function，UDAF）;3、用户定义表生成函数（user-defined table-generating function，UDTF)。介绍UDF操作作用于单个数据行，并且产生一个数据行作为输出。大多数函数都属于...
2019-12-05 20:32:17
1183
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人