- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark2 Thrift Server 不支持用户模拟
hive.server2.enable.doAs = true 对与spark2 thrift Server 不起作用。thrift server并不能以提交查询的用户取代启动thriftserver的用户来执行查询语句。 我测试的版本是spark 2.3，该问题仍然存在。以下是我搜集的关于这个问题的相关讨论： https://community.hortonworks.com/que...
2018-09-04 10:54:07
1366
原创 spark 无法读取hive 3.x的表数据
HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据数据，准确来说是内表的数据。原因hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据. 请看：https://issues.apache.org/jira/browse/SPARK-15348...
2018-08-10 18:07:14
4773
4
原创 hive llap 启动配置踩坑
hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。yarn队列配置要为llap分配一条队列，这条队列有几个要注意的地方.最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.conta...
2018-08-09 11:11:57
2599
翻译 KAFKA console consumer和producer在开启kerberos的集群中使用
KAFKA console consumer和producer在开启kerberos的集群中使用本文介绍在开启kerberos的集群中使用kafka客户端进行生产和消费。JAAS配置文件配置环境变量客户端属性文件，用于指定要使用的身份验证机制和使用者组目录KAFKA console consumer和producer在开启kerberos的集群中使用目录J...
2018-08-09 10:12:57
2819
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人