- 博客(3)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Spark 在Windows环境下编译
1.环境准备1.jdk1.82.maven 3.53.scala 2.11.8 - 编译时无需安装4.hadoop 2.7.6 - 编译时无需安装5.下载spark 2.2.3 源码 -- 是源码不是预编译后的可运行包2.开始编译2.1 进入 git bash如果是安装了 sourceTree 的同学, 打开SourceTree通过下图方式打开 git bash3.解压...
2019-02-27 11:32:43
697
翻译 执行stop-dfs.sh后无法停止namenodes、datanodes
1. 环境本文使用Hadoop 2.7.3版本2. 错误信息执行stop-dfs.sh后显示以下信息：Stopping namenodes on [master]master: no namenode to stopslave1: no datanode to stopslave2: no datanode to stopslave3: no datanode to stopSt...
2019-02-26 22:36:04
1050
原创 Spark提交任务时, 版本问题报错
问题一: 提交任务到集群时报错java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror此异常有可能是以下的情况造成的1.编译环境的 scala版本和集群上的scala版本不一致 -- 进入spark-shell可以查看控制台输出的scala版本 spark的版本和scala的版本查看下面 2....
2019-02-26 17:58:33
752
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人