- 博客(5)
- 收藏
- 关注
原创 Phoenix映射已存在的Hbase表
目录1、映射HBase表只需要下面三个信息,Phoenix建表的时候rowkey可以随意字符2、Phoenix创建视图表3、Phoenix验证4、HBase验证1、映射HBase表只需要下面三个信息,rowkey可以随意字符表名:T_GW列簇名:attribute,behavior字段名:create_time 等等。。。咋获取以上信息呢?descri...
2019-07-16 10:17:43 768
原创 Hive使用不同格式压缩后对比
目录1、设置压缩和自动分区2、创建带压缩的parquet table3、如果原来创建表的时候没有指定压缩,后续可以通过修改表属性的方式添加压缩4、数据压缩对比5、查询除了其中某个字段剩余所有字段6、SQL查询时间1、设置压缩和自动分区set parquet.compression=snappy;set hive.exec.dynamic.partition...
2019-06-14 11:24:59 1013
原创 SparkStreaming、Kafka实战
主要内容SparkStreaming与SparkSQL结合使用 用FastJsonUtil工具类解析Json环境Spark2.1.0Scala2.11.8Kafka 0.10.0MavenDependencys<repositories> <repository> <id>cloud...
2019-06-06 21:02:20 151
原创 Cloudera Manager CDH Sentry 授权
一、Sentry CDH配置1、使用Cloudera Manzger 安装 Sentry很简单,只需要添加服务并且在/opt/cloudera/parcels/CDH/jars 目录·下添加mysql的驱动2、需要在mysql执行以下命令:create database sentry DEFAULT CHARSET utf8 COLLATE utf8_general_ci;二、...
2018-12-27 11:16:44 296
原创 Sentry权限管理
1、Sentry的管理对象有三个,数据库,角色,组。数据库是在hive里面创建的,角色可以在hive或者impala里面创建,组是操作系统的组2、Sentry的权限管理通过hive和impala语句完成,为了便于管理,Sentry中的对象进行如下规范:1、Sentry中的角色和数据库命名一致,一个角色对应一个数据库。2、Sentry中的角色与组是多对一的关系,即一个组可以拥...
2018-12-27 11:15:15 4043
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人