小脑壳-CSDN博客

原创 master的schedule()方法解读

一、源码展示private def schedule(): Unit = { if (state != RecoveryState.ALIVE) { return } // Drivers take strict precedence over executors val shuffledAliveWorkers = Random.shuffle(wor

2017-10-11 23:16:26 863

原创关于zookeeper集群的配置问题

Hadoop HA集群搭建常见问题：本篇以五个节点搭建的集群为例，方案如下： master:zookeeper datanode namenode resourcemanager nodemanager slave1:zookeeper datanode namenode resourcemanager nodemanager slave2

2017-08-30 21:32:23 502

原创 CentOS 7 磁盘分区

我们知道，在一个系统中，我们必须要给物理磁盘分区才能使用，在centOS7 Linux中也是一样，绝大多数用户都是在该系统安装的时候选择了默认分区，我们来看一下它的默认分区是怎么样的，在命令行输入fdisk -l 如下：这里默认一个20G 的硬盘，图片中可以看到，系统已经默认地将磁盘分成了两个区，但是这两个分区的文件系统不一样，第一个分区的系统是Linux的主系统，而第二个分区是LVM

2017-08-27 19:58:09 3488

原创分离了SecondaryNameNode之后的备份文件目录的配置

在分离了SecondaryNameNode 之后：我们知道namenode节点肯定会存放一些元数据信息，其实SecondaryNameNode也不例外，而当我们把它分离到其他节点后，我们大多数会在与namenode默认的dfs/name下面去找存放的元数据信息，但是如果不加特定的配置的话，SecondaryNameNode的备份信息并不是在这个目录下，也就是说它所存放的元数据信息的位置并不是和n

2017-08-25 09:37:02 476

原创 Hadoop集群中改变了其中一个节点的主机名之后的ssh连接问题

在成功搭建了Hadoop之后，有些时候可能会需要改变一些节点的主机名以方便我们去识别，但是在改变了这些节点的主机名之后，我们会发现重启文件系统时候，这些节点都连不上master节点，原因就是当我们改变了一些节点的主机名的时候，当初配置的ssh的公钥不是以前的版本的公钥，那公钥后面的后缀还是@@，所以在其他节点上的Authetication_keys文件中的公钥都没有更新，这时需要做的步骤如下:

2017-08-24 22:33:00 1561

原创 Hadoop集群中分离ScondaryNameNode节点

在我们刚搭好的Hadoop集群中，在启动了dfs之后，我们通过jps命令会发现在master节点显示如下：但是SecondaryNameNode虽然起到了一个助手作用，但是如果它和namenode在同一个节点上，那么当这个节点一旦挂掉，整个集群无法恢复，但是如果能够将SecondaryNameNode分享出来，或者分给其他节点，那么当namenode所在的节点挂掉之后，就可以去Secon

2017-08-24 17:09:07 465

z_xnk的博客

原创 master的schedule()方法解读

原创关于zookeeper集群的配置问题

原创 CentOS 7 磁盘分区

原创分离了SecondaryNameNode之后的备份文件目录的配置

原创 Hadoop集群中改变了其中一个节点的主机名之后的ssh连接问题

原创 Hadoop集群中分离ScondaryNameNode节点

空空如也

空空如也

原创 master的schedule()方法解读

原创 关于zookeeper集群的配置问题

原创 CentOS 7 磁盘分区

原创 分离了SecondaryNameNode之后的备份文件目录的配置

原创 Hadoop集群中改变了其中一个节点的主机名之后 的ssh连接问题

原创 Hadoop集群中分离ScondaryNameNode节点

空空如也

空空如也

原创关于zookeeper集群的配置问题

原创分离了SecondaryNameNode之后的备份文件目录的配置

原创 Hadoop集群中改变了其中一个节点的主机名之后的ssh连接问题