w137960060-CSDN博客

原创 Hadoop2.6.4运行Wordcount程序

Hadoop2.6.4运行MapReduce程序环境准备本地jdk版本与hadoop集群的版本保持一致hadoop的jar包要全部导入MapReduce代码实现本代码演示 wordcount程序。 MapReduce代码实现并不难，这里要编写3个类，分别是WordcountMapper类、WordcountReducer类和WordcountDriver驱动类，前面两个类分别实现相

2017-09-19 18:42:19 754

原创 CentOS6.5编译hadoop2.6.4

CentOS6.5编译hadoop2.6.4一. 下载必要的组件a) 下载hadoop源码 (本文下载的是2.6.4) 地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.4-src.tar.gz b) 下载apache-ant (本文下载的是1.9.9) 地址： http://mirrors.cnnic

2017-09-01 10:21:36 335

原创 Hadoop分布式集群安装

一、集群安装流程准备工作：首先，有三台linux主机，主机名分别为master,slave1,slave2，各用户名均为hadoop.(尽量不要用root账户，因为root的权限太大了。)配置SSH无密码登陆(配置hadoop用户的无密码登录)安装Java环境安装hadoop集群二、安装Hadoop集群在master节点上：下载hadoop压缩包首先，去apache h

2017-08-30 19:34:35 253

原创初识---JVM之堆，栈，方法区

一、Java堆（Heap）对于大多数应用来说，Java 堆（Java Heap）是Java 虚拟机所管理的内存中最大的一块。Java 堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例，几乎所有的对象实例都在这里分配内存。 Java 堆是垃圾收集器管理的主要区域，因此很多时候也被称做“GC 堆”（Garbage Collected Heap，幸好国

2017-08-24 19:32:01 301

原创初探-----同步，异步，阻塞，非阻塞

一、有瑕疵，但是有趣的故事。有助于我们理解二、不同模式下的系统交互图 A、同步阻塞模式 B、同步非阻塞模式 C、异步非阻塞模式三、其他人的观点 A同学说: B同学说: 四、代码示例同步阻塞式I/O//TimeServer.javaimport java.io.IOException;import java.net.S

2017-08-23 10:20:07 220

原创 volatile---非线程安全

volatile的作用在当前的Java内存模型下，线程可以把变量保存在本地内存（比如机器的寄存器）中，而不是直接在主存中进行读写。这就可能造成一个线程在主存中修改了一个变量的值，而另外一个线程还继续使用它在寄存器中的变量值的拷贝，造成数据的不一致。要解决这个问题，只需要像在本程序中的这样，把该变量声明为volatile（不稳定的）即可，这就指示JVM，这个变量是不稳定的，每次使用它都到主存中进

2017-08-15 10:40:21 386

原创初识阻塞队列BlockingQueue

一、什么是BlockingQueue阻塞队列，顾名思义，首先它是一个队列，而一个队列在数据结构中所起的作用大致如下图所示：从上图我们可以很清楚看到，通过一个共享的队列，可以使得数据由队列的一端输入，从另外一端输出；常用的队列主要有以下两种：先进先出（FIFO）：先插入的队列的元素也最先出队列，类似于排队的功能。从某种程度上来说这种队列也体现了一种公平性。后进先出（L

2017-08-14 16:14:03 315

原创 Java四种线程池的使用

Java四种线程池的使用概要Java通过Executors提供四种线程池，分别为：newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。newScheduledThreadPool 创建一个定长线程池，支持定时及

2017-08-13 11:02:48 352

原创 keepalived工作原理和配置说明

keepalived工作原理和配置说明一、keepalived是什么 keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障。二、keepalived工作原理 keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。虚拟路由冗余协议

2017-08-10 09:49:12 457

原创 ZooKeeper集群安装

ZooKeeper集群安装安装在三台linux，分别是master，slave1，slave2一、安装步骤1.下载并解压到指定目录 tar -zxvf zookeeper-3.4.5 -C /apps/2.创建ZooKeeper的data目录,为了便于管理我创建与ZooKeeper安装目录平行 mkdir /apps/zkdata3.创建myid文件 master在/apps/zkda

2017-08-09 15:32:36 354

原创 CentOS下卸载OpenJDK，配置安装Sun JDK

CentOS下卸载OpenJDK配置安装Sun JDK####安装jdk的过程：**解压安装包 tar -zxvf jdk-7u45-linux-x64.tar.gz -C apps/ //-C是指定解压路径 **然后修改环境变量 vi /etc/profile 在文件最后添加 export JAVA_HOME=/root/apps/jdk1.

2017-08-09 10:56:25 316

原创 SSH免密码登录原理和配置

SSH免密码登录原理和配置原理图配置步骤一：建立秘钥A机：ssh-keygen -t rsa //创建公钥信息，一路回车 ->输入后会提示创建 .ssh/id_rsa, //私钥 id_rsa.pub //公钥步骤二：公钥部署把A机的公钥id_rsa.pub中的内容拷贝到B机root/.ssh/authorized_keys中，如果.ssh目录不存在，则建立此目录，并将权限设定为

2017-08-09 09:52:51 391

原创 java中同为Integer的比较

java中同为Integer的比较···java public class Demo4 { public static void main(String[]args){ Integer i1 = 1; System.out.println(i1.getClass().getName()); Integer i2 = 1;

2017-06-28 10:44:17 249

原创 java类中数据成员初始化的顺序

java-类数据成员初始化的顺序

2017-06-27 16:31:33 718

w137960060的博客