- 博客(7)
- 资源 (2)
- 收藏
- 关注
原创 hive insert数据后,HDFS目录增加-ext-10000目录处理
hive insert数据后,hdfs目录增加了-ext-10000目录经排查发现执行用户非集群管理用户,使用集群管理用户可以正常。hdfs 查看目录权限为集群管理用户。怀疑权限问题,不想手动修改hdfs权限,开启ranger 权限管控hive,赋权后正常使用。...
2021-10-29 20:33:48 1977
原创 mysql主主同步失败,恢复主备
mysql重新HA1、两库 stop slave;2、主库锁表 flush tables with read lock; 锁定为只读状态3、主库备份:导出所有数据库mysqldump -uroot -p*** --all-databases>all100.sql导出db1、db2两个数据库的所有数据mysqldump -uroot -p*** --set-gtid-purged=OFF --databases ambari hive ranger --triggers --routine
2021-07-29 20:41:01 162
原创 ranger用户同步问题--rangerusersync
access_log.log报错:POST /service/xusers/users/userinfo HTTP/1.1" 401catalina.out报错:org.springframework.security.access.AccessDeniedException: Access is denied修改:ranger用户同步问题 是 rangerusersync 这个用户的角色问题select * from x_user_module_perm where user_id in (se
2021-07-29 20:38:01 1313
原创 mysql主备切换导致hive主键冲突问题
问题描述:问题解决:hive主键冲突,增加相关值的大小,跳过冲突解决:update SEQUENCE_TABLE set NEXT_VAL=‘71000000’ where SEQUENCE_NAME=‘org.apache.hadoop.hive.metastore.model.MPartitionColumnStatistics’;update SEQUENCE_TABLE set NEXT_VAL=‘43100825’ where SEQUENCE_NAME=‘org.apache.had
2021-07-29 15:23:25 234
原创 yarn日志聚合historyserver参数汇总
1)yarn.log-aggregation-enable:是否开启日志聚合。日志聚合会在应用程序完成后收集每个容器的日志,并将这些日志移动到文件系统中,例如 HDFS。 用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。 用户可以通过Application Timeline Server访问日志。 yarn.log-aggregation-en
2021-07-21 18:06:36 651
原创 HDFS 查询目录报错 OutOfMemoryError: GC overhead limit exceeded
1、现象HDFS查询yarn日志目录,报错:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded2、解决问题检测发现这个目录下有大量文件,hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件,这导致GC OOM错误。将hdfs客户端的heap大小调大,执行成功:HADOOP_CLIENT_OPTS="-Xmx10240m" hdfs dfs -ls /app-logs/ocdp
2021-07-21 17:20:14 787
Hadoop权威指南
2017-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人