- 博客(250)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Hadoop 2.0.0-cdh4.5.0安装
Hadoop2.0.0-cdh4.5.0部署文档1. 环境Hadoop 2.0.0-cdh4.5.0java version "1.7.0_45"Ubuntu 12.04.3 LTS (GNU/Linux3.8.0-29-generic x86_64) VMware虚拟机3台：192.168.0.8 master192
2014-07-24 11:48:23
906
转载 NN HA 对于 Client 透明的实验
之前转载过一篇【伊利丹】写的NN HA实验记录，该博客描述了主备NN透明切换的过程，也就是说，当主NN挂掉后，自动将备NN切换为主NN了，Hadoop集群正常运行。今天我继续做了一个实验，目的是实现NN的切换不会对Client端程序造成影响，即NN切换对Client透明。首先，很重要的一点：要保证core-site.xml中的
2014-07-24 11:43:39
756
转载 Hadoop2.4.1部署（完整版）
引言 转眼间，Hadoop的stable版本已经升级到2.4.1了，社区的力量真是强大！3.0啥时候release呢？ 今天做了个调研，尝鲜了一下2.4.1版本的分布式部署，包括NN HA（目前已经部署好了2.2.0的NN HA，ZK和ZKFC用现成的），顺便也结合官方文档 http://hadoop.apache.org/docs/r2.4.1/hadoop-proj
2014-07-24 11:43:22
902
转载 Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】
引言：前面转载过一篇团队兄弟【伊利丹】写的NN HA实验记录，我也基于他的环境实验了NN HA对于Client的透明性。本篇文章记录的是亲自配置NN HA的详细全过程，以及全面测试HA对客户端访问透明性的全过程，希望对大家有帮助。实验环境：Hadoop2.2.0的4节点集群，ZK节点3个（ZK节点数最好为奇数个），hosts文件和各节点角色分配如下：
2014-07-24 11:42:13
837
转载 Apache Hadoop 2.2.0 HDFS HA + YARN多机部署
部署逻辑架构：HDFS HA部署物理架构注意：JournalNode使用资源很少，即使在实际的生产环境中，也是把JournalNode和DataNode部署在同一台机器上；生产环境中，建议主备NameNode各单独一台机器。YARN部署架构：个人实
2014-07-24 10:09:38
785
转载 VMware虚拟机配置Ubuntu桥接方式（Bridged）使虚拟机和宿主机能互相ping通
1、设置Bridged上网方式Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D2、查看Bridged状态Vmware菜单栏Edit->Virtual Network Editor要设置成以上bridged模式，先关闭虚拟机，不关闭设置会提示只有虚拟机在power off状态才能设置，选择VMnet0，点击左下角的Restore
2014-07-23 09:15:31
1821
转载 ExtJs4 笔记 layout 布局
本篇讲解Ext另一个重要的概念：布局。一般的容器类控件都是通过配置项items添加子控件的，这些子控件相对于父控件怎么定位呢，这里就要用到布局。某些容器类控件，它本身默认就集成了一种布局方式，例如比较典型的是：Ext.container.Viewport 布局控件，它其实就是一个border布局的容器，还有Ext.form.Panel、Ext.tab.Panel等。本节我们系统的分析各种布局方式。
2014-05-15 22:03:55
870
转载 用Artifactory管理内部Maven仓库
1. 介绍 Maven是Java开发者中流行的构建工具，Maven的好处之一是可以帮助减少构建应用程序时所依赖的软件构件的副本，Maven建议的方法是将所有软件构件存储于一个叫做repository的远程仓库中。 Maven会从ibiblio.org中的公用仓库中同步构件，这个公用仓库下载缓慢、不稳定，并且不包含一些构件的最新版本，而且不能上传团队私有的构件。通过设置内
2014-05-09 16:19:23
2052
转载 Spring3+Hibernate4+SpringMVC整合Ext：JSON数据格式传输
前言前两篇文章介绍了Spring3、Hibernate4、SpringMVC的整合以及Ext界面MVC的实现，这次介绍的内容是处理Ext的分页和前后台的数据传输。目前Ext大部分组件使用的都是JSON数据格式（如果有不知道JSON数据格式的同学可以去网上找点资料看下，在这里就不赘述了）。包括表格控件、树控件、报表控件以及表单空间等等，所以说对于整合Ext来说如何向前台空
2014-04-11 18:02:37
674
转载 Spring Security 3.x 完整入门教程
本Blog所有内容不得随意转载，版权属于作者所有。如需转载请与作者联系（ [email protected] QQ：9184314）。未经许可的转载，本人保留一切法律权益。Spring Security 3.x 出来一段时间了，跟Acegi是大不同了，与2.x的版本也有一些小小的区别，网上有一些文档，也有人翻译Spring Security 3.x的guide，但通过阅读guid
2014-04-02 16:43:10
717
转载 Maven笔记（四）– eclipse+tomcat构建web工程
RockCMS内容管理系统是一个web应用，因此我们要利用Maven构建一个web应用，开发环境为eclipse+tomcat。构建过程如下：1、工具准备eclipse：版本为eclipse 4.2（Juno Service），maven插件的安装与配置参见“m2eclipse安装与配置”tomcat：版本为apache-tomcat-6.0.37（即tomcat6
2014-03-29 16:41:15
920
转载 Eclipse+Maven创建webapp项目<二>
1、开启eclipse，右键new——》other，如下图找到maven project 2、选择maven project，显示创建maven项目的窗口，此次不勾选Create a simple project，直接next，如图所示： 3、在Filter中搜索webapp，选择如图所示，并next：4、输入maven项目的基本信息
2014-03-29 12:15:44
827
转载 Eclipse+Maven命令创建webapp项目<三>
1、使用maven命令：mvn archetype:create -DgroupId=xxxxx -DartifactId=web-sample -DarchetypeArtifactId=maven-archetype-webapp然后执行mvn eclipse:eclipse 使项目兼容Eclipse
2014-03-29 12:14:32
748
转载 Eclipse+Maven创建webapp项目<一>
1、开启eclipse，右键new——》other，如下图找到maven project2、选择maven project，显示创建maven项目的窗口，勾选如图所示，Create a simple project3、输入maven项目的基本信息，如下图所示：4、完成maven项目的创建，生成相应的maven项目结果，如下所示，此处有部分结构是项目不
2014-03-29 12:13:34
668
转载 eclipse 配置maven web项目
maven是个项目管理工具，集各种功能于一身，下面介绍maven web项目在eclipse种的配置，并于tomcat集成。配置成功后，可以跟一般的web项目一样调试。 一、准备条件1、安装下载jdk 这里以jdk1.6为例 2、安装eclipse 到eclipse官网下载 Eclipse IDE for Java EE De
2014-03-16 13:33:52
646
转载 Hadoop-2.2.0集群安装配置实践
Hadoop 2.x和1.x已经大不相同了，应该说对于存储计算都更加通用了。Hadoop 2.x实现了用来管理集群资源的YARN框架，可以面向任何需要使用基于HDFS存储来计算的需要，当然MapReduce现在已经作为外围的插件式的计算框架，你可以根据需要开发或者选择合适的计算框架。目前，貌似对MapReduce支持还是比较好的，毕竟MapReduce框架已经还算成熟。其他一些基于YARN框架的接
2014-02-22 23:41:29
909
转载 EXTJS GRID分页时序号自增的实现
ExtJs Grid分页时，默认情况下每页的序号都是从1起始的，这往往不符合我们的习惯。这里实现了序号的自动增加。先看效果图：实现步骤如下：1、定义全局变量。 var record_start = 0;2、Grid的columns部分的定义。 columns : [new Ext.grid.RowNumberer({ header : "序号",
2013-11-25 10:32:50
1749
转载 hadoop MapReduce实例解析
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job
2013-11-21 23:02:40
790
转载 Hadoop数据传输工具sqoop
概述sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。sqoop架构：sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。sqoop的进一步发展可以参考：A New Ge
2013-11-15 11:47:20
1309
转载 hbase 与 hive 结合
前置条件hadoop hive hbase环境搭建完成。搭建版本hadoop-1.0.3hive-0.9.0hbase-0.94.2zookeeper-3.3.5步骤配置hive xml，配置hbase与hive结合包Xml代码 hive.aux.jars.path file:///usr/local/hive-0.9.0/lib/hive-hba
2013-11-15 11:04:37
994
转载 sqoop hbase导入并与hive结合
sqoop语句以tid为主键，info为列族Html代码 sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-fami
2013-11-15 10:27:44
1720
1
转载 Hive部署（包括集成Hbase和Sqoop）
1 安装环境1.1 系统环境 主要是选择软件版本。Hadoop 1.0.3Hbase 0.94.0Hive 0.8.1zookeeper-3.3.5Mysql 5.5.28JDK 1.6Sqoop-1.4.21.2 环境变量$HDOOP_HOME：/home/hadoop/hadoop$HBASE_HOME：/home/hadoop/hbase$HIVE_HOME
2013-11-15 10:12:14
927
转载 sqoop的安装、配置及使用简介
下载sqoop和hadoop：wget http://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gz wget http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz解压：tar zxvf sqoop
2013-11-07 22:55:38
1164
转载 MapReduce2.0（Yarn）
MapReduce2.0是在Hadoop0.23开始采用的，叫做MapReduce2.0或者MRv2或者Yarn。MRv2的主要思想是把jobtracker的任务分为两个基本的功能，一个是资源管理，一个是任务监控，这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器（ResourceManager）和每个应用程序的应用程序管理器（ApplicationMaster）。一
2013-11-05 19:59:06
1011
转载 Hadoop 新 MapReduce 框架 Yarn 详解
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 1.Hadoop 原 MapReduce 架构 从上图中可以清楚的看出原
2013-11-05 19:56:54
704
转载 使用hive读取hbase数据
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，
2013-11-01 17:20:58
1568
1
转载 hadoop，hbase，hive安装全记录
操作系统：CentOS 5.5Hadoop：hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master，namenode的IP:10.10.102.15datanode主机名:slave1，datanode的IP:10.10.106.8datanode主机名:slave2，datanode的IP:10.10.106.9一、hadoop 安装
2013-11-01 17:17:54
1031
转载 hive集成hbase笔记
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进
2013-11-01 17:16:16
950
转载 Hadoop之Hive本地与远程mysql数据库管理模式安装手册
一、环境描述Mysql版本：mysql-installer-community-5.5.27.1 32位Mysql for Windows 7 32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机 master slave的开销和使用空间还可以多利用一台机器的资源，如果你的虚拟机资源很紧张的话也可以这样部署。Linux ISO：CentOS
2013-11-01 10:48:33
1627
转载 Win7下安装苹果MAC OS X Mountain Lion 双系统详细图文教程
最近看到新闻说苹果发了个Mountain Lion版，也就是ML版，发了疯了想装装看，到底苹果咋牛X，苹果俺没有，黑苹果太危险，用虚拟机试试火力吧，用的是VMware虚拟机。虚拟机安装Mac OS X Mountain Lion所需文件：1、Vmware 8.04版下载：下载地址已过期，2013.2.22更新9.01版：http://diybbs.zol.com.cn/15/225_1
2013-10-28 13:13:11
1324
转载 Vmware10下安装Mac OS X Mountain Lion(10.8.5)
本主题由 青豆 于 2013-09-26 15:10:08 设为精华1，原因：内容丰富最后由 qinger 于 2013-09-26 14:16:40 修改最近，不断有人问起，如何在vmware下安装MAC系统。起因是以前曾发过一篇贴，在vmware8下安装MAC的方法。于是，重新下载了最新版苹果系统10.8.5，终于成功安装。现将注意事项及过程与各位朋友共享。一、
2013-10-27 15:18:26
1240
转载 Hadoop Hive与Hbase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.
2013-10-26 18:51:48
850
转载 使用mysql数据库作为Hive的元数据库
在hive/conf文件夹下找到hive-default.xml.template，复制该文件并改名为hive-site.xml。修改一下内容： hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://master:3306/metastore
2013-10-26 18:49:50
1561
转载 hadoop2.1.0在ubuntu下的安装配置
在Ubuntu下安装hadoop2.1.0之前，首先需要安装如下程序：|- JDK 1.6 or later|- SSH（安全协议外壳） 。要装这两个程序的原因：1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的
2013-10-22 14:47:00
681
转载 Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
1. 环境5个节点，配置如下：dual core x86_64, 4GB RAM, 10GB DiskCentos 6.4_x64OpenJDK 1.7.0_9hadoop-2.1.0-beta互相之间千兆网连接。每台机器上用于安装和启动hadoop的用户名都是xc节点的hostname、安装的服务和ip如下：
2013-10-22 14:43:05
732
转载 Hadoop 2.0：分布式环境搭建安装配置
集群环境：1 NameNode(真实主机):Linux yan-Server 3.4.36-gentoo #3 SMP Mon Apr 1 14:09:12 CST 2013 x86_64 AMD Athlon(tm) X4 750K Quad Core Processor AuthenticAMD GNU/Linux2 DataNode1(虚拟机):Linux n
2013-10-22 14:41:14
805
转载 MapReduce执行流程
MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出保存在本地5.master调度worker执行reduce任务，reduce worker读取map任务的输出文件
2013-10-21 10:25:15
639
转载 Hadoop集群_Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-i586.exe Win系统：Window
2013-10-16 15:22:44
800
转载 windows下Eclipse安装hadoop1.1.2插件连接hadoop集群
1、下载Eclipse解压。2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。 我的hadoop集群用的版本：hadoop1.1.2 hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用an
2013-10-16 15:21:35
880
转载 Zookeeper集群的安装部署
ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在
2013-10-14 17:58:58
1006
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人