- 博客(5)
- 收藏
- 关注
RSS订阅原创 Phoenix映射已存在的Hbase表
目录1、映射HBase表只需要下面三个信息，Phoenix建表的时候rowkey可以随意字符2、Phoenix创建视图表3、Phoenix验证4、HBase验证1、映射HBase表只需要下面三个信息，rowkey可以随意字符表名：T_GW列簇名：attribute，behavior字段名：create_time 等等。。。咋获取以上信息呢？descri...
2019-07-16 10:17:43
778
原创 Hive使用不同格式压缩后对比
目录1、设置压缩和自动分区2、创建带压缩的parquet table3、如果原来创建表的时候没有指定压缩，后续可以通过修改表属性的方式添加压缩4、数据压缩对比5、查询除了其中某个字段剩余所有字段6、SQL查询时间1、设置压缩和自动分区set parquet.compression=snappy;set hive.exec.dynamic.partition...
2019-06-14 11:24:59
1022
原创 SparkStreaming、Kafka实战
主要内容SparkStreaming与SparkSQL结合使用 用FastJsonUtil工具类解析Json环境Spark2.1.0Scala2.11.8Kafka 0.10.0MavenDependencys<repositories> <repository> <id>cloud...
2019-06-06 21:02:20
158
原创 Cloudera Manager CDH Sentry 授权
一、Sentry CDH配置1、使用Cloudera Manzger 安装 Sentry很简单，只需要添加服务并且在/opt/cloudera/parcels/CDH/jars 目录·下添加mysql的驱动2、需要在mysql执行以下命令：create database sentry DEFAULT CHARSET utf8 COLLATE utf8_general_ci;二、...
2018-12-27 11:16:44
308
原创 Sentry权限管理
1、Sentry的管理对象有三个，数据库，角色，组。数据库是在hive里面创建的，角色可以在hive或者impala里面创建，组是操作系统的组2、Sentry的权限管理通过hive和impala语句完成，为了便于管理，Sentry中的对象进行如下规范：1、Sentry中的角色和数据库命名一致，一个角色对应一个数据库。2、Sentry中的角色与组是多对一的关系，即一个组可以拥...
2018-12-27 11:15:15
4057
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人