wg_hadoop-CSDN博客

原创 spark问题优化

1、ERROR cluster.YarnScheduler: Lost executor 5 onhdp-14-9876: Container marked as failed: container_1560518528256_0014_01_000003 on host: hadoop-master. Exit status: 143. Diagnostics: Container killed on request. Exit code is 143 Container exited with a no

2021-08-18 11:42:54 333 1

转载 Spark Executor 内存管理

本文主要对 Executor 的内存管理进行分析，下文中的 Spark 内存均特指 Executor 的内存堆内内存和堆外内存作为一个 JVM 进程，Executor 的内存管理建立在 JVM 的内存管理之上，此外spark还引入了堆外内存（不在JVM中的内存），在spark中是指不属于该executor的内存。堆内内存：由 JVM 控制，由GC（垃圾回收）进行内存回收，堆内内存的大小，由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参

2021-07-22 17:29:10 848

原创软考高级（系统架构设计师）

软考系统架构师设计师

2020-11-18 15:24:36 943

原创 Spark内核原理

Applicationspark-submitDriverSparkContextMasterWorkerExecutorJobDAGSchedulerTaskSchedulerShuffleMap Task and Result Task

2020-11-18 15:12:27 113

原创 2020年9月大数据相关面试

腾讯面试一面：1、实现一个函数f(x)，输入x为正整数，当x=1或者2时f(x)=1，当x>2时，f(x)=f(x-1)+f(x-2)2、1T的文本中，每行就一个数字，让我怎么快速高效找出最大的那个数3、数据库表a记录了很多用户在很多城市的访问记录，字段a.user_id, a.city, a.time, a.other_info使用一条SQL查出每个user_id在每个city的最后一条访问记录4、reduceByKey和CombineByKey和aggregateByKey，gr

2020-11-18 14:51:50 806 1

原创基于腾讯TBDS平台（Ambari）的mongo数据目录迁移

mongo数据目录迁移1 现象描述与分析Mongodb默认的shard、config的数据目录配置是/data/mongodb。但是有时用户用了一段时间后，又想重新将数据迁移到其他目录，这就涉及到数据的迁移及mongodb的数据目录路径的配置重新配置。2 处理方法在Mongodb的mongodb-env文件中mongo.paths.prefix是mongodb数据存放路径的配置选项，con...

2019-02-21 16:05:43 1096

原创 Redis扩容及Slot Balance、Reshard

Redis扩容及slot balance新添加了两台机器10.255.1.4 tbds-10-255-1-410.255.1.12 tbds-10-255-1-121、查看原有redis集群登陆10.255.1.10原有redis的集群./redis-cli -c -h tbds-10-255-1-10 -p 6379 -a [email protected]、添加新的节点到集群中...

2018-09-19 15:57:37 4816

com+异常

2021-05-06

Spark源码深度解读

Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。

2018-11-29

机器学习实战（中文、英文版、源代码）

机器学习实战（中文+英文版+源代码）

2017-08-14

[大数据] Doing Data Science (英文版)

[奥莱理] Doing Data Science (英文版) [奥莱理] Doing Data Science Straight Talk from the Frontline (E-Book) ☆ 图书概要：☆ Now that people are aware that data can make the difference in an election or a business model, data science as an occupation is gaining ground. But how can you get started working in a wide-ranging, interdisciplinary field that’s so clouded in hype? This insightful book, based on Columbia University’s Introduction to Data Science class, tells you what you need to know. In many of these chapter-long lectures, data scientists from companies such as Google, Microsoft, and eBay share new algorithms, methods, and models by presenting case studies and the code they use. If you’re familiar with linear algebra, probability, and statistics, and have programming experience, this book is an ideal introduction to data science. ☆ 出版信息：☆ [作者信息] Rachel Schutt , Cathy O'Neil [出版机构] 奥莱理 [出版日期] 2013年10月31日 [图书页数] 406页 [图书语言] 英语 [图书格式] PDF 格式

2016-12-12

（机器学习实战）中文+英文+源代码。

机器学习实战+中文版+英文版+源代码。

2016-11-25

Hadoop 权威指南（第2版）

最新出的 Hadoop权威指南第2版，详细讲解了Hadoop生态圈中各种框架的使用方法及一些运行原理，还介绍了多个Hadoop海量数据处理的使用案例是讲解Hadoop大数据方面比较权威的一本书

2016-11-20

Spark大数据处理：技术、应用与性能优化

本书是国内首本系统讲解Spark编程实战的书籍，涵盖Spark技术的方方面面。。 Spark是基于内存，是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目，尤其出色的支持Interactive Query、流计算、图计算等。 Spark最大的优势在于速度，在迭代处理计算方面比Hadoop快100倍以上；Spark另外一个无可取代的优势是：“One Stack to rule them all”，Spark采用一个统一的技术堆栈解决了云计算大数据的所有核心问题，这直接奠定了其一统云计算大数据领域的霸主地位

2015-10-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

u011409486的博客