- 博客(9)
- 收藏
- 关注
RSS订阅
原创 HDP 2.2 （ Hadoop 2.6 ） 集群的内存参数配置和参数调优 (Yarn/MapReduce2)
近期在根据集群上的各节点的物理机配置对集群的内存参数进行调整。 因此较系统的学习了一下hadoop里对资源调配的各组件的相关参数。 主要包含如何设置yarn中的参数， mapreduce2的参数， 在执行hive job时可以手工覆盖的参数。首先要理解， hadoop 中 yarn 作为资源管理器， 起到一个底层的控制调配运算资源的作用。 yarn中资源的最小单位是container。 一个container 可以认为是一个运行的jvm进程。一个yarn集群中，有一个ResourceM
2015-07-09 17:19:55
5789
原创 Hive做数据仓库，对Hadoop Hive 的多用户的资源分配和权限管理 （Hortonworks HDP2.2 hadoop 2.6）
我正在搭建一个基于Hadoop/hive的数据仓库方案。 使用的Hortonworks的HDP2.2 版本。 数据仓库主要的使用场景（use case） 是1. 从各数据源通过ETL 将数据汇集到hadoop 和hive中。 2. 在Hive中进行各种归集运算后，将数据结果导出到一个关系数据库中，并通过报表工具将数据展现给用户。 3. 支持数据分析师 直接登录到Hive客户端（Hu
2015-07-29 15:37:11
4572
原创 在Hortonworks HDP 2.2 上安装Hue 3.7.1
Hortonworks 的招牌一直是采用全部apache 开源方案搭建hadoop 大数据系统。 Hortonworks HDP 2.2 今年新鲜出炉， 里面集成了开源hadoop社区几乎所有最新的内容。 遗憾的是 Hue 这个目前在hadoop上最好用的查询界面 在HDP上一直不好用。 原因很简单，hue 是Cloudera 开发的， 默认集成在Cloudera的hadoop 发行版 CDH中。 因此Hue 中使用了一些CDH所特有的api。 这些api 导致hue 不能直接 和 Apache 标
2015-04-28 11:14:47
3284
原创 在HortonWorks HDP 2.1 和2.2 集群间进行数据迁移 包括（Hive数据表）
如何使用命令行在Hadoop 集群间 进行数据迁移，特别是hive表的数据迁移。
2015-02-25 14:42:32
1473
原创 Windows Console的字符集和编码问题
最近在玩Hadoop和Hive， 因为这类框架还处在必须使用命令行交互的阶段。 不得不使用Windows Command 来访问hive。 （要问我问什么要再windows上装hadoop， 因为我没有linux 虚拟机啊。。。）测试的WIndows是2008 R2 英文版， 其实这方面的问题从有Windows以来就一直存在。要正确的显示一个字符，需要有几个基本的概念。 首先要知道
2014-03-12 13:43:18
4135
原创 A Newbie's Guide on Revive AdServer （OpenX Source) 3.0.2 setup
Revive AdServer (previoulsy known as the OpenX Source is probably the only open source and free Ad Server software which are still under active development. However it's official documentation is s
2014-03-04 11:27:01
1248
原创 用CSS3实现类似苹果桌面的有趣抖动效果
代码逻辑非常简单，使用css3的tranform的rotate属性让制定元素向左右倾斜5度。并且按照100毫秒的间隔交替切换。 初步实现了抖动的效果。大家可以自己试试。
2011-09-11 22:14:45
4652
1
翻译 成长的烦恼--- HTML 5 标准之争
翻译：成长的烦恼 --- HTML5 标准之争Today 12:29 PM翻译自：Stephen Shankland 的文章， 原文连接 本翻译仅属个人兴趣，不代表赞同文章内观点。如果有任何版权异议，请联系我，立刻删除。Growing pains afflict HTML5 standardizationHTML5 标准之争当你阅读许多公司的广告词的时候，你可能会觉得HTML5，下一代的网页标准已经开发完备，进入实战了。但是近来标准制定者的之间的言辞让我们体会到，制定这个标准的过程本身，非常的艰难，充满
2010-07-05 12:41:00
702
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人