- 博客(2)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 hive大数据倾斜总结
hive大数据倾斜总结 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stag
2015-08-09 15:06:18
192
原创 今天起，用博客记录学习和总结，尝试写作，提高自己，加油！
今天，下雨转阴。 本来是周日，由于不是很熟悉Hive，所以来公司学习了，在网上看了一些hive sql各方面的文章。当然以前我是熟悉Oracle SQL的。 在看文章的过程中，看到一篇题为“作为码农，我们为什么要写作”的文章，觉得说的很有道理，写一些东西，一方面是多自己学习总结的提高， 也可以加强自己的语言文字表达能力；另一方面，我觉得也是和其他学习爱好者一个交流的机会。这是原文地址
2015-08-09 14:47:49
297
复杂网络和社会网络分析Statistical Analysis of Network Data
复杂网络和社会网络分析Statistical Analysis of Network Data，SpringGe出版社出版的专业书籍
2018-11-30
社会网络分析法在引文分析中的实证研究
本文以参考咨询领域内的32名高被引作者为研究对象, 运用社会网络分析法, 结合UCINET软件分析作者之间的引文关系, 通过网络密度分析个体之间互引的频度, 通过点度中心度分析核心研究者, 通过中间中心度分析知识传播过程中承上启下的人物, 通过凝聚子群分析找出关系紧密的研究小团体。
2018-11-30
数据挖掘-实用机器学习技术（中文第二版）
《数据挖掘实用机器学习技术(原书第2版)》介绍数据挖掘的基本理论与实践方法。主要内容包括：各种模型(决策树、关联规则、线性模型、聚类、贝叶斯网以及神经网络)以及在实践中的运用，所存在缺陷的分析。安全地清理数据集、建立以及评估模型的预测质量的方法，并且提供了一个公开的数据挖掘工作平台Weka。Weka系统拥有进行数据挖掘任务的图形用户界面，有助于理解模型，是一个实用并且深受欢迎的工具。
2013-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人