tf_dev的博客

原创 本地Spark程序提交到hadoop集群运行流程

1.本地环境准备本文是将eclipse开发环境下的maven+Spark+scala程序移植到集群环境上执行过程，写的很粗糙，见谅。本地用eclipse编写Spark小程序，完成从txt文件读取数据操作。本地maven+Spark+scala环境就不多说了，如果配置出问题，就下载最新的eclipse然后从商店装插件吧。注意在maven的配置文件pom.xml中插入Spark引用：