- 博客(3)
- 收藏
- 关注
RSS订阅
原创 Spark运行调试方法与学习资源汇总
最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下： 解决spark运行调试问题的四把“尖刀”： 1、Log 包括控制台日志、主从节点日志、HDFS日志等。许多错误可以通过日志，直接对错误类型、错误来源进行准确定位，因此，学会读取
2014-06-19 22:24:43
2408
原创 [Apache Spark源码阅读]天堂之门——SparkContext解析
稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。 SparkContex位于项目的源码路径\spark-master\core\src\main\scal
2014-06-19 22:18:56
2334
原创 GraphLab图数据文件格式
1.tsv edge list [src ID] [target ID] 1 2 1 5 7 5 2.snap 带有注释的tsv # example graph # vertices: 4 edges: 5 1 2 1 5 7 5 5 7 7 1 3.adj [vertex ID] [number of ta
2014-04-23 11:48:02
1785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人