- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hive之ObjectInspector详解
(下面看接口源码的时候也可以看到这种类型和实例分离的结构，ObjectInspector只记录类型并且可以直接返回，另外提供了一个获取实例的方法，该方法的参数是一个Object对象，即本身不存储具体的数据，而是根据传入的对象，利用自己的类型来转换成具有类型的对象)而我们之前单独写MR的时候，需要写一个Map类和Reduce类，在写这些类的时候我们需要指定输入和输出参数的数据类型（记住不是Java的基本数据类型，还记得吗。所以这里的内容仅针对函数的时候写的。
2023-03-24 00:07:49
134
转载 Shuffle 过程介绍
Shuffle 的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce 中的 shuffle 更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么 MapReduce 计算模型需要 shuffle 过程？我们都知道 MapReduce 计算模型一般包括两个重要的阶段：map 是映射，负责数据的过滤分发；reduce 是规约，负责数据的计算归并。
2023-03-23 21:45:54
93
转载 浅谈MapReduce中的排序，以及实际问题中的巧用
且堆排序的空间复杂度为1，小于并归排序与快速排序的空间复杂度n，因此堆排序适用于数据量大的排序场景来节省排序所占空间，这可能也是为什么MapReduce最终阶段的排序选用堆排序的原因。并归排序采用了分治策略。时间复杂度相同的基础上，堆排序的空间复杂度为1，优于并归排序与快速排序的空间复杂度n，但相对并归排序与快速排序的稳定性稍逊。学过算法课的同学们应该记得，排序的种类多种多样，有插入排序，并归排序，堆排序，快速排序，基数排序，计数排序，桶排序等方法。（第二次排序：磁盘中，分区内部进行局部排序，并归排序）
2023-03-23 17:26:14
464
原创 安装ruby
安装ruby原文链接安装 ruby 目前对我来说是为了安装 jekyll ，用包管理工具安装起来是很简单，但是有着极客精神的我喜欢什么都尝试一下，对于稳定版本来说编译安装其实也挺方便的。编译安装依赖包yum groupinstall "Development tools"yum install gdbm-develyum install openssl-develyum insta...
2019-12-16 16:50:26
77
原创 spark-sql 集成 hive 问题汇总
目录spark-sql 集成 hive 问题汇总修改版本验证spark-sql 集成 hive 问题汇总修改版本验证 <property> <name>hive.metastore.schema.verification</name> <value>false</value> &...
2019-11-26 14:23:42
123
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用[StackEdit][6]修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用
2017-09-29 13:48:19
102
原创 hive语法
创建数据库CREATE DATABASE IF NOT EXISTS hive;SHOW DATABASES;SHOW CREATE DATABASE hive;DESCRIBE DATABASE hive;删除数据库DROP DATABASE IF EXISTS hive CASCADE;创建表创建普通表CREATE TABLE IF NOT EXISTS hive_table(
2016-10-20 12:43:03
724
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传重点内容LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键- 道东道东快捷键加粗 Ctrl + B 斜体 Ctrl + I 引
2016-10-19 18:06:10
142
转载 动态规划之01背包问题（最易理解的讲解）
01背包问题，是用来介绍动态规划算法最经典的例子，网上关于01背包问题的讲解也很多，我写这篇文章力争做到用最简单的方式，最少的公式把01背包问题讲解透彻。01背包的状态转换方程 f[i,j] = Max{ f[i-1,j-Wi]+Pi( j >= Wi ), f[i-1,j] }f[i,j]表示在前i件物品中选择若干件放在承重为 j 的背包中，可以取得的最大价值。Pi表示第i件物
2015-03-13 21:40:53
516
转载 通过金矿模型介绍动态规划
对于动态规划，每个刚接触的人都需要一段时间来理解，特别是第一次接触的时候总是想不通为什么这种方法可行，这篇文章就是为了帮助大家理解动态规划，并通过讲解基本的01背包问题来引导读者如何去思考动态规划。本文力求通俗易懂，无异性，不让读者感到迷惑，引导读者去思考，所以如果你在阅读中发现有不通顺的地方，让你产生错误理解的地方，让你难得读懂的地方，请跟贴指出，谢谢！第一节 ---- 初识动态规划
2015-03-13 20:44:40
395
转载 Java：String、StringBuffer和StringBuilder的区别
1 StringString：字符串常量，字符串长度不可变。Java中String是immutable（不可变）的。String类的包含如下定义：[java] view plaincopy/** The value is used for character storage. */ private final char
2015-02-04 19:55:05
247
转载 额
#include void Move(int n, char srcT, char dstT);void Hanno(int N, char A, char B, char C);int main(){ int n; char t_first,t_second,t_third; t_first = 'A'; t_second = 'B'; t_third = 'C'; pr
2014-09-19 14:08:03
308
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人