RSS订阅原创 spark调优
Spark调优 一、 Spark监控 1、Spark Web UI Spark内置应用运行监控工具 2、Ganglia 分析集群的使用状况和资源瓶颈 3、Nmon 主机CPU、网络、磁盘、内存 4、Jmeter 系统实时性能监控工具 5、Jprofile Java程序性能监控工具 常用内...
2019-06-11 14:29:28
88
原创 spark内核学习笔记
一- 通讯架构 Spark1.3-Akka—>Spark1.6-Akka and Netty—>Spark2.0-Netty 换掉Akka的原因： 1.Akka版本不兼容 2.Spark对Akka的调优可能和用户自己代码的Akka配置冲突 3.无法自己维护Akka，受制于Akk...
2019-06-09 20:34:12
148