快乐的编程-CSDN博客

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2016-10-08 15:10:00 278

Linux的可定制性比Windows强得多，你想要什么服务及功能就安装什么，不想要就不安装，可以实现系统的最大程度的精简化，这一点Windows是无法做到的。所以，实现同样的功能，Linux比Windows对硬件的要求更低，也正是由于这个原因，很多人陷入了一个误区：Linux内存开销比Windows要小的多。其实不然，Linux的内存开销比Windows要大的多，可以这么说：你有多少内存Linux就

2015-12-03 16:31:22 674

原创 hive入门

install(cdh 下 yum安装)yum install hive配制mysql metastorevim /etc/hive/conf/hive-site.xml<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabas

2015-11-26 14:37:25 1234

转载 redhat6.5 配置使用centos的yum源

新安装了redhat6.5.安装后，登录系统，使用yum update 更新系统。提示： This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register. 无法更新。 redhat 默认自带的 yum 源需要注册，才能更新。我们想不花钱也

2015-11-20 17:02:49 384

原创 sqoop问题总汇（updating）

Got exception running sqoop: Could not load db driver class:com.mysql.jdbc.Driver 把jdbc driver 放到sqoop lib 文件夹中。 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.21.tar.gz

2015-11-19 16:52:58 355

原创用yum安装cdh.x(updating)

环境三台云主机（cdh1, cdh2, cdh3） OS：CentOS 6.5 64位 JDK：Oracle JDK 1.7.0_45安装ZooKeeper（集群模式）Node Type: cdh1, cdh2, cdh31.所有节点安装zookeeper, zookeeper-serveryum install -y zookeeper zookeeper-server2.所有节点修改zo

2015-11-10 10:41:10 523

原创 hbase表操作

hbase shellhbase shell> disable ‘tableName’ hbase shell> snapshot ‘tableName’, ‘tableSnapshot’ hbase shell> clone_snapshot ‘tableSnapshot’, ‘newTableName’ hbase shell> delete_snapshot ‘tableSnapshot

2015-11-03 16:24:13 563

原创 filter

RowFilter rowFilter2 = new RowFilter( CompareFilter.CompareOp.EQUAL, new RegexStringComparator("10") );Like规则：要求以ABC开头：new RegexStringComparator(“^ABC”) 要求以

2015-11-03 10:34:58 333

转载 git

http://blog.jobbole.com/75348/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

2015-11-02 16:19:33 269

原创 hbase运行时问题总汇

shell创建表Table already exists 在用shell create 表时，一直提示存在此表，但用list查看时确无此表。这是由zookeeper的原因导致，进入HMaster节点，ls /hbase/table,查看是否有要新建的表面，如果有使用rmr命令删除，之后重启Hbase

2015-10-29 16:02:11 339

原创重识yum(updating)

定义Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。创建本地yum源检查本机是否有web服务器，如没有则安装（yum install httpd）

2015-10-29 15:07:07 452

原创第1讲 Hadoop生态系统以及版本演化

hadoop生态系统特点hadoop介绍（内核）hadoop生态系统hadoop系统版本衍化1. hadoop生态系统特点源代码开源（免费）社区活跃、参与者众多涉及分布式存储和计算的方方面面已得到企业界验证hadoop介绍（内核）hadoop1.0与2.0hadoop1 mapreduce hdfshadoop2 mapreduce +　other yarn hdfs分布

2015-10-29 10:08:29 653

原创 hadoop2整体架构

hadoop2整体架构hdfs2yarnApache Hadoop NextGen MapReduce (YARN) The ResourceManager has two main components: Scheduler and ApplicationsManager.

2015-10-29 10:07:48 363

原创 cdh hadoop2集群安装

cdh hadoop2集群安装tar安装hadoop2软硬件准备准备硬件（linux）准备软件安装包，并安装基础软件（主要jdk）将hadoop安装包分发到各个节点的同一个目录下，并解压修改配置文件启动服务验证是否启动成功http://archive.cloudera.com/cdh5/cdh/5/hdfs安装方式启动Namenode在各个JournalNode节点上，输入以下命令启

2015-10-29 10:06:44 460

原创 cdh hadoop2单机安装

cdh hadoop2单机安装tar安装hadoop2软硬件准备准备硬件（linux）准备软件安装包，并安装基础软件（主要jdk）将hadoop安装包分发到各个节点的同一个目录下，并解压修改配置文件启动服务验证是否启动成功http://archive.cloudera.com/cdh5/cdh/5/hdfs安装方式启动Namenode在各个JournalNode节点上，输入以下命令启

2015-10-29 10:06:06 1215

hadoop