- 博客(5)
- 收藏
- 关注
RSS订阅
3原创 scala使用spark操作mongodb常见no such cmd：aggregate错误
问题描述：小伙伴们将scala操作mongodb作业提交到spark上运行的时候， 可能会报如下错误：（1）no such cmd：aggregate exit code -1；（2）ERROR partitioner.DefaultMongoPartitioner:WARNING: MongoDB version < 3.2 detected.原因分析和解决方案：第一个是因为：使用spark.sql（sqlText=“XXX”），里面使用了类似于count的聚合函数，但是在mongodb
2021-11-24 12:29:25
1809
原创 共识算法PBFT和Raft
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档共识算法学习记录--保持更新前言一、为什么需要共识算法？二、经典的共识算法2.1.PoW2.2.PoS2.3.RPCA2.4.DPOS2.5.PBFT三、总结四、参考文献前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、为什么需要共识算法？背景：分布式系统集群设
2021-11-15 19:20:31
1948
原创 用scala实现spark读取并处理数据然后提交到mongodb案例，包含远程调试spark总结分享
spark远程调试总结分享scala实现读取数据然后提交spark案例linux和windows环境：hadoop-2.7.5、spark2.1.2、jdk1.8、scala2.11、mongodb2.0.3 （linux和windows版本要保持一致如果不不一致，会报ClassNotFound等异常）1.环境简述这里我在开了三台虚拟机，hadoop01、02、03。hadoop01为namenode，02和03为datanode。hadoop01为master和worker。02和03为wor
2021-11-13 16:49:59
3155
原创 Browse the filesystem错误打不开
hadoop集群时在web中Browse the filesystem500错误汇总欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 M
2021-10-30 15:08:49
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人