- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CDH环境快速恢复不同步的JournalNode
背景：CDH集群中一个DataNode节点宕机后所有服务中断，其他节点正常运行并存储了大量新数据。在恢复宕机节点后，重启其DataNode与JournalNode，之后CM报出JournalNode不同步的错误，如下图。处理：1、停止bigdata168上不同步的JournalNode服务（在CM上操作角色）2、备份bigdata168服务器上JournalNode的数...
2020-03-30 11:22:27
3196
1
原创 Spark中便捷生成全局唯一自增ID
总体思路利用spark RDD API所提供的的zipWithIndex() 和 zipWithUniqueId()生成唯一ID，两者的区别如下。 zipWithIndex()首先基于分区索引排序，然后是每个分区中的项的排序。所以第一个分区中的第一项得到索引0，第二个分区的起始值是第一个分区的最大值。从0开始。分区内id连续。会触发spark job。zipWithUnique...
2020-03-11 19:42:49
3368
kafkatool2-64bit.zip kafka管理工具
度盘分流
链接：https://pan.baidu.com/s/1SQMKXdCFYaY1qqzcMR6Xrw
提取码：zd2f
2020-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人