- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 scala中spark错误 Error initializing SparkContext
在做日志分析的时候,spark出现一个很匪夷所思的问题,更新完代码,运行本地环境报错(错误见下),在集群yarn环境正常2017-08-29 09:46:30 [org.apache.hadoop.util.NativeCodeLoader]-[WARN] Unable to load native-hadoop library for your platform... using builtin-
2017-08-29 10:03:05 8608
原创 hadoop无法正常关闭,不用格式化正常恢复
由于需要更改hadoop平台配置,需要关闭平台,在关闭的时候发现关闭不了:no jobtracker to stop192.168.1.107: no tasktracker to stop192.168.1.106: no tasktracker to stop192.168.1.105: no tasktracker to stop192.168.1.107: no namenode t
2016-08-05 14:57:51 388
原创 nutch在hadoop1.2.1平台中错误总结
爬虫在运行时服务器报警,日志生成到/tmp目录下,服务器RedHad,hadoop错误码:Task process exit with nonzero status of 137.Task process exit with nonzero status of 1.
2016-07-05 14:23:15 443
转载 redhad安装nethogs
工作需要监控linux下的进程宽带占有量,从网上找了资料,很多不能成功,现在整理一下安装Debian/Ubuntu下安装很简单,执行:apt-get install nethogs 就可以安装。CentOS/RHEL下建议先安装EPEL,再执行:yum install libpcap nethogs 进行安装。具体使用参数说明:[root@vpser ~]# n
2016-03-30 10:44:48 557
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人