- 博客(11)
- 收藏
- 关注
RSS订阅原创 MapReduce详解
1.MapReduce框架一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster：负责整个程序的过程调度及状态协调2、mapTask：负责map阶段的整个数据处理流程3、ReduceTask：负责reduce阶段的整个数据处理流程运行流程：一个MR程序启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信...
2019-03-14 16:35:51
489
原创 Hadoop部署教程
1. 创建用户sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。接着输入密码：可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：vi /etc/sudoers.2. 确定主机名编辑主机名 vi /etc/hostname编辑IP映射关...
2019-03-10 13:12:12
529
原创 jps: command not found 解决方案
在使用jps命令时出现jps: command not found查看java的位置 which java删掉这个软连接 sudo rm /usr/bin/java将正确的地址指向这个链接sudo ln -s /usr/local/jdk1.8.0_201/bin/java /usr/bin/java或者配置环境变量vi etc/profile并source...
2019-03-10 13:08:00
3138
原创 Hbase部署问题解决
之前搭建Hbase集群的时候一直无法出现HMaster进程：查看hbase-hadoop-master-master.log日志，发现master退出，并有如下异常在网上找了一些办法，有人提出使用如下命令：cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/...
2019-03-08 17:28:32
405
原创 zookeeper集群搭建
1. zookeeper简介（待续）2. zookeeper安装1）所有机器添加环境变量1）配置zoo.cfg在zookeeper的conf文件夹下 可能没有zoo.cfg，可以把zoo.example.cfg改名。#修改过后的配置文件zoo.cfg，如下：tickTime=2000initLimit=10syncLimit=5dataLogDir=/usr/local/zoo...
2019-03-07 15:12:12
128
原创 Hbase安装
首先已经配置好jdk和hadoop。这里只谈hbase。1. Hbase介绍HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hado...
2019-03-06 14:08:58
118
原创 localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
在开启hadoop时候报错：localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).此时 ssh localhost也会失败原因是秘钥没有给自己，运行ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@master即可解决。...
2019-03-05 19:25:31
10782
原创 JPS没有输出信息
jps 没有输出jps主要用来查看jvm的进程，即使没有任何jvm进程，也会输出自己的进程，但是出现了如下情况：jps需要在tmp下创建一个hsperfdata_username的目录，用来存放进程的ip，在服务器上查看了一下，有hadoop用户所对应的目录（如果没有需要创建mkdir /tmp/hsperfdata_hadoop），但是目录所属用户不正确，修改目录的属主即可。chown ...
2019-03-05 17:52:39
1286
原创 认识shell
1. 什么是shell？ 我们通过shell将我们输入的命令与内核进行沟通，好让内核可以控制硬件来完成工作。相当于Windows的图形界面。 linux有众多的shell，默认的是bash。 bash的主要优点：历史命令 (上 下 键)命令与文件补全（tab键）命令别名设置（alias）任务管理、前台、后台控制（job control、foreground、backgroun...
2019-03-04 21:42:59
148
原创 Linux 磁盘爆满 (/dev/mapper/centos-root 100%问题)
问题描述：在登录集群后，使用tab命令进行命令补全，出现 无法为立即文件创建临时文件，设备空间爆满。解决方法：使用 df -h 命令查看磁盘空间使用情况。发现 /dev/mapper/centos-root 目录使用达到100%.文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/centos-root 46G 4...
2019-02-28 19:52:51
9142
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人