- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark内存管理浅析
一、概述在执行Spark的应用程序时，Spark集群会启动Driver和Executor两种JVM进程，前者为主控进程，后者负责执行具体的计算任务。Driver和Eexcutor都是JVM进程，Spark内存管理会涉及这两种进程中内存的管理操作。二、内存区域划分三、执行内存管理四、缓存内存管理...
2022-03-31 23:25:16
2164
原创 Spark数据传输原理
一、Spark中数据传输的种类1、shuffle远程数据读取和结果数据输出2、driver、executor等组件进程间通信3、文件上传下载二、网络通信框架1、基于netty的网络编程框架把底层网络通信的代码独立出来放在network-common模块中，供上层rpc框架和内核模块调用。协议：Message根据请求响应可以划分为RequestMessage和ResponseMessage两种；对于Response，根据处理结果，可以划分为Failure和Success两种类型
2022-03-17 15:09:01
2488
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人