- 博客(8)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 搭建Hadoop与Hive环境
下载CentOS 7 ISO镜像文件，并通过虚拟机或物理机安装CentOS 7操作系统。- 在Hive控制台中，您可以执行Hive查询语句，如创建数据库、表、加载数据、查询等操作。- 在MySQL中创建Hive数据库，并授予Hive用户适当的权限。- 在安装过程中，为系统分配必要的网络、用户和权限。- 保存并退出 `.bashrc` 文件。- 保存并退出 `.bashrc` 文件。- 保存并退出 `.bashrc` 文件。- 下载适合您的系统的Java JDK版本。
2023-06-21 02:22:35
203
原创 Hive DDL语法的一些常见示例
当谈到Hive的DDL语法时，DDL（Data Definition Language）用于定义和管理数据库对象（表、视图、分区等）。age INT COMMENT '年龄'
2023-06-21 02:19:14
174
原创 hive 函数使用
示例：SELECT MAP_VALUES(map('key1', 'value1', 'key2', 'value2'));示例：SELECT MAP_KEYS(map('key1', 'value1', 'key2', 'value2'));示例：SELECT DATE_FORMAT('2022-01-01', 'yyyy-MM-dd');示例：SELECT CONCAT_WS('-', '2022', '01', '01');示例：SELECT YEAR('2022-01-01');
2023-06-21 02:13:50
72
原创 Hive分区表与分桶表如何使用
上述示例展示了如何创建分区表并加载数据，以及如何创建分桶表并查询数据。根据实际需求和数据特点，您可以选择使用分区表或分桶表来优化查询性能和数据管理。1. 分桶表将数据分成多个桶（Bucket），每个桶中的数据存储在单独的文件中。1. 分区表是按照一个或多个列的值进行分区的表，每个分区都存储在独立的目录中。Hive 中的分区表和分桶表是用于提高查询性能和管理数据的技术。2. 分区表可以根据查询条件仅加载必要的分区，提高查询性能。2. 分桶表可以针对特定列进行数据均匀分布，提高查询性能。
2023-06-21 02:09:58
155
原创 hive 拉链表如何设计与实现
在维度表和历史表中添加拉链字段，用于标识每条记录的起始日期（start_date）和结束日期（end_date）。- 历史表中的记录对应于维度表中的被更新或删除的记录，并设置正确的起始日期和结束日期。- 初始时，维度表中的所有记录的结束日期可以设置为一个未来日期，表示当前有效。- 当维度表中的记录发生变化时，首先将当前有效记录的结束日期更新为当前日期。- 在维度表中插入新的记录，并设置正确的起始日期和结束日期。- 维度表：定义维度的基本信息和当前有效的记录。- 历史表：用于存储维度变化的历史记录。
2023-06-21 02:09:11
241
原创 hive视图与物化视图使用详解
Hive 视图和物化视图都是在 Hive 数据仓库中处理数据的一种技术。Hive 视图是通过引用查询结果创建的逻辑表，而物化视图是预计算和预存储的查询结果。视图可以简化查询逻辑并重用查询，而物化视图可以提高查询性能。如果需要在 Hive 中使用物化视图，可以考虑使用辅助工具或扩展来实现该功能，例如使用 Apache Hudi 或自定义脚本进行物化视图的维护和更新。由于 Hive 视图是基于查询结果定义的，因此无法直接使用 `UPDATE`、`INSERT` 或 `DELETE` 来更新视图数据。
2023-06-21 02:06:47
457
原创 Spring Boot 使用 Redis
Redis 优势性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。原子 – Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。丰富的特性 – Redis还支持 publish/subsc
2020-12-15 07:18:14
108
原创 sql server 操作
#region 存储过程操作 /// /// 执行存储过程，返回SqlDataReader ( 注意：调用该方法后，一定要对SqlDataReader进行Close ) /// /// 存储过程名 /// 存储过程参数 /// SqlDataReader pub
2015-04-01 06:19:59
282
PhysicsEditor 物理编辑器
2013-03-09
Windows Phone 8 Networking Socket 通信 源代码
2012-12-04
android java 连接 sqlserver 要用到的 sqljdbc4.jar
2012-12-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人