cway的博客

原创 SparkSQL介绍

SparkSQL介绍

原创 Spark Executor内存管理以及shuffle调优

Spark Executor内存管理以及shuffle调优

原创 Spark的Shuffle过程

Spark的Shuffle过程

原创 yarn集群搭建

集群规划：NN-1NN-2DNZKZKFCJNNRSNMnode01****node02*******node03****node04***

原创 MapReduce运行框架

在Hadoop1.X版本中，MapReduce是通过JobTracker运行实现的我们写好MapReduce程序打成jar包交给client端，client把jar包提交到JobTracker。JobTracker把这个作业拆分成很多份，然后分配给TaskTracker去执行。JobTracker和TaskTracker是主从关系，通过心跳机制管理。TaskTracker并不是随机分配任务的，...

原创 MapReduce原理

MapReduce是一种处理大型及超大型数据集并生成相关执行的编程模型。通俗来讲，MapReduce是一个大数据分布式计算框架，它基于google的一篇研究论文MapReduce。MapReduce是由两个阶段组成：Map端Reduce端而Map端和Reduce端之间有着一系列复杂的suffle(洗牌)过程主要思想：分久必合核心思想："相同"的key为一组，调用一次reduce...

原创 HDFS完全分布式集群搭建

完全分布式HDFS集群，是一个真正的分布式集群，主要角色有NameNode，SecondaryNameNode，DataNode集群规划：NNSNNDNnode01*node02**node03*node04*一、时间同步各个节点安装ntp命令[root@node01 ~]# yum install npt上...

原创 HDFS高可用完全分布式集群搭建

原创 搭建HDFS集群应该注意虚拟机的相关配置

关于防火墙搭建HDFS集群不仅要设置免密登录，还需要关闭防火墙或者开通相应的端口，免密登录是为了让机器通信无障碍，而开通端口或关闭防火墙是为了能让他们通信，否则集群中的虚拟机不能相互通信，导致集群搭建失败查看防火墙状态：[root@cluster1 ~]#service iptables status[root@cluster1 ~]# chkconfig | grep iptables...

原创 VM 克隆Linux虚拟机网卡配置

使用VM克隆Linux虚拟机时，克隆的虚拟机可能会发生网络障碍，ping不通外网，这是因为克隆的虚拟机中的uuid和HWADDR和原虚拟机一样的，在局域网内有冲突。(本人使用的是NAT模式)我们可以看到克隆机和原虚拟机使用的是不同的网卡，克隆机使用的是"eth1"，而原虚拟机使用的是"eth0";当我们配置静态ip时会发现找不到"eth1"的配置

原创 HDFS高可用完全分布式

原创 HFDS伪分布式集群搭建

关于hostname命令hostname命令用于显示和设置系统的主机名称。环境变量HOSTNAME也保存了当前的主机名。在使用hostname命令设置主机名后，系统并不会永久保存新的主机名，重新启动机器之后还是原来的主机名。如果需要永久修改主机名，需要同时修改/etc/hosts和/etc/sysconfig/network的相关内容[root@localhost home]# vi /etc...

原创 HDFS原理

HDFS(Hadoop Distributed File System)