- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 zookeeper汇总
Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统每个节点叫做znode ，znode可以有子节点目录，并且每个 znode 可以存储数据，注意 EPHEMERAL 类型的目录节点不能有子节点目录znode 是有版本的，每个 znode 中存储的数据可以有多个版本，也就是一个访问路径中可以存储多份数据
2013-08-22 14:48:04
673
原创 hive join优化
整理两年前草稿MapJoin在使用合理的情况下性能优于普通Join，可以通过显式的优化器提示让执行计划采用mapjoin，这在大部分hive的优化文章中都有介绍，这里想说的是可以通过配置hive的参数，在join中存在小表时优化器自动采用mapjoin完成连接操作，设置参数如下：hive.auto.convert.join = truehive.smalltable.filesize
2013-08-07 14:51:53
1306
原创 hive索引浅析
整理两年前草稿hive索引通过减少过滤操作所需要的列数，增加查询效率。hive的索引其实是一张表，表的记录结构为：col1,col2...-key，其中key对应file-name+offset（row或block的firstrow），注意区别B树索引，hive的索引不需要排序，不支持rangeScan，支持索引键满足的聚集。索引条件：只支持单表索引，不支持多表链接索引
2013-08-07 14:50:03
1310
翻译 hive权限设置 部分翻译
整理2年前的草稿目前版本中的hive权限管理主要是防止用户的误操作，并不能防止用户的非法访问与恶意破坏。修改配置文件如下： hive.security.authorization.enabled true enable or disable the hive client authorization hive.security.authorizati
2013-08-07 14:47:27
1022
1
原创 搭建hive调试环境
整理两年前的草稿通过以下步骤在IDE上搭建Hive的编译、调试环境，从而深入学习hive： 这里使用NetBeans编译并调试Hive（0.7.1） 1. 新建Java应用程序项目 2. 导入需要调试的源包 3. 在库中添加hive目录lib下的所有jar、Hadoop项目依赖（无hadoop调试需求的也可以直接导入hadoop的core）、mysql库（如果跟我一样，
2013-08-07 14:41:41
980
转载 URLEncode、decode 神贴
网页中的表单使用POST方法提交时，数据内容的类型是 application/x-www-form-urlencoded，这种类型会： 1.字符"a"-"z"，"A"-"Z"，"0"-"9"，"."，"-"，"*"，和"_" 都不会被编码; 2.将空格转换为加号 (+) ; 3.将非文本内容转换成"%xy"的形式,xy是两位16进制的数值;
2012-07-12 10:01:17
1797
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人