- 博客(56)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 从 Hadoop 到云原生，大数据平台如何做存算分离
Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来， 存算分离的架构受到青睐，企业开开始对 Hadoop 的架构进行改造。
2023-03-18 18:06:17
1118
原创 Flink 任务到底需要多少个 Slot
flink 是如何计算一个任务的 task slots 消耗，涉及概念：数据流图、算子链、slot共享
2022-05-03 20:04:27
4396
原创 Kafka 安全认证及权限控制
作者：wjun平台：MacOS版本：Kafka 2.4.1 、Zookeeper 3.6.2一、Zookeeper 配置 SASL若只关注 kafka 的安全认证，不需要配置 Zookeeper 的 SASL，但 kafka 会在 zk 中存储一些必要的信息，因此 zk 的安全认证也会影响到 kafka ????????????1.1 新建 zoo_jaas.conf 文件zoo_jaas.conf文件名、文件所在路径没有特殊要求，一般放置在${ZOOKEEPER_HOME}/conf目录下
2021-07-20 18:12:20
9601
2
原创 hive打开计算引擎session卡死
平台：H3C DataEngine表现形式：启动hive shell第一次执行走计算流程的sql时，打开计算引擎的session时卡死，可视化查看任务正常提交，就是无法执行。原因解释：无论什么yarn调度器默认都是单队列，H3C使用的是公平调度器，但队列中存在其他正在执行的任务导致队列资源占用达到10%，导致后面的任务需要等待前面的任务走完，卡死的根本原因是安装了spark，导致后台会启动spark session且一直运行，导致之后的任务无法提交。解决方案：配置yarn多队列<?xml .
2020-12-06 23:13:26
1084
11
原创 Hive加载数据报相关权限问题
1.上传文件到linux文件系统[root@node1 mydata]# lltotal 129648-rw-r--r--. 1 root root 120734753 Dec 6 12:53 bigtable.bigtable-rw-r--r--. 1 root root 12018355 Dec 6 12:51 smalltable.smalltable2.加载数据到hive创建表create table bigtable( id int, time string, sess
2020-12-06 22:55:23
2768
大数据安装包最新版下[2020/6/25].zip
2020-06-25
大数据最新安装包上[2020/6/25].zip
2020-06-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人