- 博客(5)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hama程序出现Messages must never be behind the vertex in ID问题解决
在运行hama程序时，在partition完成后，经常出现java.lang.IllegalArgumentException: Messages must never be behind the vertex in ID! Current Message ID: 100003 vs. 100004。异常 看了一下hama源码，如下： /** * Iterating utility
2013-11-05 11:05:15
969
原创 大数据图形处理工具HAMA的安装及测试
由于研究的需要，最近对HAMA做了简单的测试。和大家分享一下。 1.1什么是HAMA： HAMA是apache的一个开源项目，作云计算的人都知道mapreduce，但mapreduce编程模式处理的是特定模式的海量数据，但对于需要反复迭代以及图形算法实现则显得不那么灵光。说道HAMA就不得不提BSP模式，这里我就不多说BSP模式，大家自己wiki吧。BSP模式可以实现并行化，HAMA和mapr
2013-11-01 14:14:39
2425
原创 用cloudera manager安装impala全过程以impala、hive、Spark性能比较-（三）cloudera manager 安装impala成功并对impala、hive进行简单测试
Cloudera manager安装impala除了第一篇文章提到的条件：1.需要安装centos6.2系统。2.CDH4.1.0以上版本3.要在集群每个节点安装hive。4.hive的元数据库要使用mysql。5.每台主机hosts文件中都加入所有机器的IP地址和主机名的对应关系。还需要关闭ipv6.否则cloudera manager无法最终识别主机。 关闭ipv6后，登
2012-12-11 14:31:47
3616
1
原创 用cloudera manager安装impala全过程以impala、hive、Spark性能比较--------（二）手动安装CDH4，hive，impala。
由于用cloudera manager安装遇到了“无解”的难题，于是无奈的采用手动安装。按照官网一步步安装。首先下载CDH一键安装‘1-click-install’，然后安装cloudera-cdh-4-0.noarch.rpm，在然后sudo rpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-K
2012-12-10 20:24:11
3970
1
原创 用cloudera manager安装impala全过程以impala、hive、Spark性能比较--------（一）初次尝试用cloudera manager安装impala
最近实验室老师安排对现有的热门大数据仓库impala、hive、Spark的性能做一个横行比较,因为只是需要做横向比较，只是看看这几个热门技术到底哪个更快，所以决定在虚拟机上搭建环境。由于impala只能安装在cloudera公司的hadoop发行版上，所以我们用cloudera manager进行集群部署。 由于cloudera的hadoop与原生的hadoop有所区别，所以这次安装imp
2012-12-10 17:50:41
3653
SDN核心技术剖析和实战指南（1-6章）
2018-01-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人