- 博客(5)
- 收藏
- 关注
RSS订阅原创 结合业务场景的HBase预分区及热点处理
一、 业务背景业务优化需要将海量的回调数据处理后存入hbase表，供后续查询，分析，导出等处理，hbase在存储大量数据时，首先要考虑的是热点与预分区的问题，本文主要探讨热点产生的原因、如何结合实际业务进行合理的预分区。二、 热点产生原因想知道hbase数据热点产生的原因，需要先了解hbase的存储结构，入下图所示HBase中的每张表都通过行键按照一定的范围被分割成多个子表（HRegion），默认一个HRegion超过256M就要被分割成两个，由HRegionServer管理，管
2022-03-11 09:41:25
1906
原创 基于 YARN 模式部署 Flink 服务
Flink-Session 方式下面将对图1-1 所示内容进行阐述。 准备资源 发现配置 想要让 Flink 服务运行与 YARN 之上，首先需要让 Flink 能够发现 YARN 和 HDFS 的相关配置，因此，需要通过 YARN_CONF_DIR、HADOOP_CONF_DIR、HADOOP_CONF_PATH 属性来指定 Hadoop 配置文件所在目录。 提示：上述 3 个属性，指定其中之一即可，如果全部指定，将按照指定顺序加载。习惯上，常用 HADOOP_CONF_D
2022-01-28 15:12:59
2243
原创 yarn学习之基础库
与MRv1的JobTracker相比，yarn的实现要复杂很多，在借鉴MRv1的一些底层基础库(RPC框架)的基础上，引入了很多新内容，基础库更多YARN 基础库是其他一切模块的基础， 它的设计直接决定了 YARN 的稳定性和扩展性，概括起来， YARN 的基础库主要有以下几个。❑ Protocol Buffers ： Protocol Buffers 是 Google 开源的序列化库
2017-08-25 09:25:20
222
原创 python学习第一课 requests
使用requests 进行网络请求很简单，第一步，导入requestsimport requestsr=requests.get('https://github.com/timeline.json')
2017-04-12 14:38:04
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人