qq_36127954的博客

原创 spark优化指南

Spark 程序可能由集群中的任何资源（ CPU ，网络带宽或内存）导致瓶颈。首先我们先来介绍了一下spark内存管理的基本原理。后面介绍了内存调优的几种方法。 1. 内存管理概述 Spark中的内存使用大部分属于两类：执行和存储。 执行内存是指用于在混洗，连接，排序和聚合中进行计算的内存，而存储内存指的是用于跨群集缓存和传播内部数据的内存。 在Spark中，执行内存和存储内存共享统一区域...