- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 理解 Spark 的分区器
Spark一般是部署在分布式环境中的(有可能是在区域集中的集群上，也有可能跨城市)，而在分布式环境中，数据在各节点进行网络的传递代价是很大的。借用Spark源码里对groupByKey算子的描述（@note This operation may be very expensive 。。。 ），可见一斑。@note As currently implemented, groupByKey must be able to hold all the key-value pairs for any key in
2020-09-16 10:45:37
375
转载 CDH对应的各服务组件的版本号
CDH5.6.1版本汇总Cluster 1 — CDH 5主机master1; slave[1-2]组件 版本 发行版 CDH 版本Bigtop-Tomcat（仅限 CDH 5） 0.7.0+cdh5.6.1+0 1.cdh5.6.1.p0.6 CDH 5Crunch（仅限 CDH 5 ） 0.11.0+cdh5.6.1+78 1.cdh5.6.1.p0.6 CDH 5Flume NG 1.6.0+cdh5.6.1+38 ...
2020-09-15 19:23:59
1532
原创 shiro项目able to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean
在spring结合shiro的项目中出现以下的错误分析org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.context.ApplicationContextException: Unable to start ServletWebServerApplicationContext due to missin
2020-05-12 13:22:34
125
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人