- 博客(5)
- 收藏
- 关注
RSS订阅原创 ES-Spark多个读和多个写的解决方法
Spark在读写ES时，需要在SparkConf里配置ES的用户名、密码、host、port，因此当涉及到多个读或写时，就需要配置多个SparkConf。但SparkConf在运行中是不允许被更改的，此时应该怎么办呢？ 1、读：利用options进行配置val sqlContext = new SQLContext(sc)val cfg = Map("es.index.aut...
2019-02-25 19:20:05
1274
原创 Spark之SchedulerBackend、DAGScheduler和TaskScheduler
在Spark应用启动时，会初始化SparkContext对象。在SparkContext中，会创建SchedulerBackend、DAGScheduler、TaskScheduler。
2017-08-29 16:45:17
407
原创 Java使用JVM堆外内存
本文实现了使用堆外内存存储数组的方法，具体用到的是sun.misc.Unsafe类中提供的allocateMemory和FreeMemory的方法。
2017-03-09 16:14:29
965
原创 sun.misc.Unsafe的使用---使用堆外内存空间存储整形数组
public class Main3 { public static void main(String[] args) throws Exception { Integer[] a = new Integer[]{1, 2, 3, 4, 5, 7, 9, 888, 8, 102};//给定一个整形数组 final int length = a.length
2017-03-09 16:05:33
341
原创 Spark核心原理1：相关术语介绍
在了解Spark基本流程前，我们先了解几个概念：Application(应用程序)：是指用户编写的Spark应用程序，包含驱动程序（Driver）和分布在集群中多个节点上运行的Executor代码，在执行过程中由1个或多个作业组成。Driver（驱动程序）：Spark中的Driver即运行上述Application的main函数并且创建的SparkConext，创建Spar
2017-02-22 20:03:06
516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人