jerry_jiang2017-CSDN博客

转载 Hadoop2.4的ResourceManager HA高可用配置

问题导读1.ResourceManager HA需要修改哪些配置？2.如何强制切换HA？Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就

2017-05-08 19:49:22 316

转载 HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

问题导读： 0、了解常规JDK安装以及Linux系统配置 1、了解集群规划以及集群场景 2、熟悉HBase的集群搭建 3、熟悉ZooKeeper集群搭建 4、熟悉Hadoop2.6.0版本HA集群搭建 5、验证HBase、ZooKeeper、Hadoop等集群运行情况参考：Ha

2017-05-08 19:47:51 319

转载 log4j.properties配置详解与实例

最近使用log4j写log时候发现网上的写的都是千篇一律，写的好的嘛不全，写的全一点的嘛没有一点格式，看着累。这里把网上收集到的整理了一下，并且全部都在机器上测试成功了。这么好的文档估计没有了吧? ################################################################################ #①配置根Logger，其语法为

2017-05-03 16:14:55 338

原创 Log01

#OFF,systemOut,logFile,logDailyFile,logRollingFile,logMail,logDB,ALL log4j.rootLogger=ALL,systemOut,logDailyFile#level是日志记录的优先级，分为OFF,TRACE,DEBUG,INFO,WARN,ERROR,FATAL,ALL #输出到控制台 log4j.

2017-05-03 16:14:07 303

原创 Hadoop02-MapReduce

一、Hadoop环境部署常见错误1、在格式化namenode之后在自定义创建的tmp目录只会生成name的文件夹2、name代表的就是namenode这块的信息3、data代表的就是datanode这块的信息4、tmp/dfs/name/current5、指定fsimage文件的路径dfs.namenode.name.dir-》在实际的工作中这个目录可以多配几个，保证元数据

2017-05-03 16:12:47 386

原创 Hadoop01-搭建

一、大数据的概念举例：城市男女比例调查【抽样统计】100个人-》51男生-》49女生-》51:49-》并不完全-》结果不准确-》范围太小-》结果偏差样本数据-》全量数据1、特点：大数据-》传统关系型数据库RDBMS-》结构化电商网站-》商品用户ID 用户名性别用户等级1 张三男 102 李四女 12搜索栏-》苹果手机-》

2017-05-03 16:11:10 428

原创 Linux02

一、回顾1、了解认识Linux-》版本-》应用领域2、部署Linux环境-》静态IP：NAT模式-》主机名：hostname-》系统内核变量# cat /proc/sys/kernel/hostname/etc/sysconfig/network-》网络映射/etc/hosts 将IP地址与主机名进行对应-》解析域名DNS/etc/sysconfi

2017-05-03 16:05:08 324

原创 Linux01

二、Linux初始1、发行版内核-》二次开发-》加入自己的特性功能-》最终推出商业发行版2、服务器Linux -》考虑安全性、稳定性https://www.netcraft.com/ 嵌入式：智慧型手机、平板 ios unix 安卓 Linux，电视盒子-》Linux航天、金融银行等等3、一般的发行版都是基于Linux内核开发的Red Hat -

2017-05-03 16:02:15 1501