- 博客(26)
- 收藏
- 关注
RSS订阅原创 NameNode在HA环境下切换active和standby状态
前言：我们在安装了HA高可用的情况下，虽然提高了容错性，但是有一个问题就是如果我们只在其中一个节点安装了一些组件，而另一个节点没有安装的情况下，我们是不希望active状态在第二个节点的，但是如果真的切换过去的话，那么我们怎么能够快速切换回去呢，接下来让我们看看，只需要简单的两行命令即可。将想要变成standby状态的节点执行这个命令，该节点就会关闭，然后另一个节点就会变成active状态 hadoop-daemon.sh stop zkfc重启这个节点，这个节点就会变成standby状态 hado
2020-05-17 22:41:41
2929
原创 HA两个节点都出现Standby的解决方法。
前言：博主之前集群是没有问题的。然后将所有组件关闭以后，重启集群，登录到Hadoop的可视化页面发现两个节点都变成了Standby。遇到的问题：经过百度得到的解决办法是执行关闭防火墙的命令。(博主在刚学习linux的时候就已经永久关闭了防火墙，这个bug出的属实都有点摸不着头脑 ????)附上关闭防火墙命令：临时生效，重启后又会失效 开启： service iptables start 关闭： service iptables stop 永久性生效，重启后不会生效
2020-05-17 19:46:17
1619
1
原创 Phoenix的安装部署
1 、提前安装好zookeeper集群、hadoop集群、Hbase集群2、从对应的地址下载：http://mirrors.cnnic.cn/apache/phoenix/这里我们使用的是：apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz3、上传、解压将对应的安装包上传到对应的Hbase集群其中一个服务器的/export/softwares目录下解压...
2019-12-30 21:13:04
159
原创 Flume安装部署
Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上。这里我们采用在第三台机器来进行安装上传安装文件并解压tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/cp flume-env.sh.template flume-env.shvim flume-env.sh...
2019-12-13 21:19:55
131
原创 HBase常用shell操作
1、进入HBase客户端命令操作界面bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list4、创建一张表创建user表，包含info、data两个列族hbase(main):010:0> create ‘user’, ‘info’, 'data’或者...
2019-12-12 22:03:47
163
原创 HBase集群环境搭建
注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行1.下载对应的HBase安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh5/...
2019-12-12 21:35:08
120
原创 Impala-shell 命令参数
Impala-shell命令参数1．impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册。也可以参考课程附件资料。比如几个常见的：impala...
2019-12-11 08:48:04
316
原创 安装IMpala后集群混乱的解决办法
问题：在安装完Impala之后，可能会出现在查看自己的集群时发现都是自己没有创建过的文件以及文件夹。输入 hadoop fs -ls /混乱后的集群基本就是上图这个样子。出现的原因：因为安装Impala时它会重新安装一次hadoop等组件，导致集群混乱。去查看时系统会默认去访问新安装的组件。解决办法：Impala新安装的组件在/usr/bin/impala/这个目录下。进入这个...
2019-12-11 08:38:29
188
原创 Impala安装部署（超详细！）
Impala安装部署温馨提示：建议安装之前先给集群快照。（安装Impala时，Impala会重新安装hadoop等，可能导致集群混乱）1.安装前提集群提前安装好hadoop，hive。hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。2.下载安装...
2019-12-10 21:52:49
2937
2
原创 flume安装部署完毕命令无效。
遇到的问题：flume安装部署完毕命令却无效。出现原因：没有安装telnet服务解决办法：yum install telnet-server 安装telnet服务yum install telnet.* 安装telnet客户端...
2019-12-04 21:57:45
884
原创 MapReduce导错依赖的异常。
遇到的问题：写了一段mapreduce代码，用来获取文件名和其对应的文本内容时，报了以上异常。(这个才是想要实现的效果)解决办法：因为当时引入的依赖是hive的，才导致的问题，将mapreduce相关的依赖引入就好了。附加(mapreduce相关依赖)：<repositories> <repository> <i...
2019-11-25 09:03:51
197
原创 MapReduce文件读写时文件空指针异常
遇到的问题：读取文件时找不到要读取的文件，但是文件路径确实存在。解决办法：找到自己安装的hadoop环境变量的位置，然后进入到bin目录下拷贝hadoop.dll这个配置文件到C:\Windows\System32 这个目录下拷贝进去，成功解决！...
2019-11-22 18:23:22
502
2
原创 MapReduce十个执行流程
图片对步骤没有进行更精确的划分。第一步：InputFormat InputFormat 在 HDFS文件系统中读取要进行计算的数据。 输出给Split第二步：Split Split将数据进行逻辑切分，切分成多个任务。 输出给RR（RecordReader）第三步：RR（RecordReader） RR将切分后的数据转换成key value进行输出 key：每一行行首字母的偏...
2019-11-22 18:23:04
344
原创 \t,\r,\n的区别
回车，换行以及\t所代表的字符个数。\t:表示按下一个tab键,移动4个字符。\r:表示回车,会将光标移动到行首。\n:表示换行,会将光标向下移动一格。平时用的Enter键，相当于按下**\r\n**。...
2019-11-22 18:21:05
607
原创 MapReduce中wordcount案例出现的问题
解决方法:本地hadoop环境变量配置2. MapReduce中wordcount案例出现的问题解决:存放文件已经存在，将目录删除即可3.org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)ZC盘下面system32下面缺少文件hadoop.dll4．functionTask网上百度说ja...
2019-11-22 18:07:14
203
原创 Hive的简单介绍以及安装部署
Hive简介（数据仓库工具）hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapRe...
2019-11-19 18:21:49
142
原创 linux集群的部署
linux集群的部署1、在虚拟机中实例三个虚拟机主机，三个虚拟主机需要配置IP，且两两之间可以ping通 2、关闭防火墙（需要在所有的主机中进行设置） /etc/init.d/iptables stop chkconfig iptables off 3、关闭selinux （需要在所有的主机中进行设置） 编辑文件 vi /etc/selinux/config...
2019-11-12 11:49:35
147
原创 MapReduce文件读写时文件找不到异常
遇到的问题：读取某个文件内容将其输出到另一个文件时，提示文件不存在。（博主当时文件是已经创建出来的）解决办法：因为当前用户对盘符的操作权限不够，所以需要修改权限.1.右击当前文件所属的盘符,点击属性2.点击安全,选中你当前登录的用户,点击编辑修改权限就好了。程序重新执行结果：...
2019-11-12 11:44:59
653
原创 Linux的硬盘以及镜像挂载流程
第一步: 了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载第二步: 查看系统分区情况第三步: 虚拟机 增加 硬盘选中 目标虚拟机 右键 设置选中 硬盘 点击 添加按钮点击 下一步选择 创建新虚拟磁盘指定 磁盘大小完成注意: 重启 才可以生效第四步: 分区f...
2019-10-25 21:32:51
1398
原创 find搜索
find搜索命令格式：案例:一：搜索指定目录下, 文件是 abc.txt的文件二：搜索指定目录下, 文件名 包含 1 的文件三：搜索指定目录下,所有以 .txt 为扩展名的文件四：搜索指定目录下, 以数字 1 开头的文件实现:一: 搜索指定目录下, 文件是 abc.txt的文件方式一: 指定全目录 find /export/ ‐name ‘abc.txt’方式二: 当前目录 ...
2019-10-24 10:40:42
148
原创 文件的解压缩命令
打包类似将冬天的衣服打包放到压缩袋打包之后的大文件 需要以 .tar 结尾.tar 打包命令格式将 一系列文件 打包成 一个大文件tar ‐cvf 打包名.tar 被打包的目录tar ‐cvf 打包名.tar 被打包的文件1 被打包的文件2 被打包的文件3tar选项说明解包类似将冬天的衣服从压缩袋里取出来tar 解包命令格式将一个打包后的 分解成 一系列小文件, 分解位置为...
2019-10-24 10:40:31
304
原创 用户权限相关命令
用户和权限的基本概念用户 是Linux系统工作中重要的一环, 用户管理包括 用户 与 组 管理在Linux系统中, 不论是由本级或是远程登录系统, 每个系统都必须拥有一个账号, 并且对于不同的系统资源拥 有不同的使用权限对 文件/目录的权限包括：在Linux中，可以指定 每一个用户 针对 不同的文件或者目录的 不同权限组为了方便用户管理，提出了 组 的概念组管理 终端命令本质...
2019-10-24 10:40:23
392
原创 系统信息相关命令
时间和日期date时间显示当前时间显示时间date按照指定格式显示时间date +"%Y‐%m‐%d %H:%M:%S"设置系统时间date -s “时间字符串”cal日历磁盘信息进程信息所谓 进程, 通俗的说就是 当前正在执行的一个进程默认只会显示当前用户通过终端启动的应用程序提示: 使用 kill 命令时, 最好只终止由当前用户开启的进程, 而不要终...
2019-10-24 10:40:03
105
原创 系统自动挂载找不到UUID出现BUG时的解决办法。
遇到开机启动虚拟机时报错，可能是删除磁盘时没有先删除对应的UUID，导致开机时系统自动去 /dev/fstab 目录下寻找挂载配置时没有找到，然后报异常。解决办法：1.2.3....
2019-10-24 10:39:46
6516
原创 安装软件时软件包下载失败
问题下载httpd软件时提示软件包下载失败问题发生原因镜像文件指向位置错误。因为一开始将镜像文件挂载到了/mnt/cdrom目录下，中途又改过一次挂载路径，后边要安装软件的时侯，将镜像文件又挂载到一开始的目录下，导致镜像文件指向的路径找不到。解决方案将镜像文件挂载到第二次修改的路径即可。...
2019-10-24 10:39:16
564
原创 VI编辑器_终端编辑器
VI编辑器_终端编辑器vi和vim核心设计思想让程序员的手指始终保持在键盘的核心区域，就能完成所有的编辑操作。vi的特点只能是编辑文本内容，不能对字体段落进行排版不支持鼠标操作没有菜单只有命令vi编辑器在 系统管理 服务器管理 编辑文件时，其功能永远不是图形界面的编辑器能比拟的vimviM 是从vi发展出来的文本编辑器, 支持代码补全、编译 及 错误跳转等方便编程的功...
2019-10-23 21:28:43
333
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人