- 博客(35)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 由于无法加载editlog导致namenode无法启动问题处理
版本：hadoop3.2.1namenode数量：51. 问题描述hadoop-nn01节点的namenode服务无法启动，报错如下Exiting with status 1: org.apache.hadoop.hdfs.server.namenode.EditLogInputException: Error replaying edit log at offset 0. Expected transaction ID was 4095226791No edit log f.
2022-02-16 09:20:42
2409
原创 VMware克隆redhat8后如何为主机配置网络
PS：由于我的主机是最小化安装，所以很多包都没有，泪奔。。1. 查看网卡及uuid信息nmcli connection2. 更新uuiduuidgen ens1603. 修改uuidvi /etc/sysconfig/network-scripts/ifcfg-ens1604. 修改IP地址nmcli connection modify ens160 ipv4.address 192.168.2.13/245.手工配置IPnmcli connection modif.
2021-03-03 15:12:38
342
1
原创 anaconda and jupyterhub 配置部署
anaconda and jupyterhub 配置部署Chapter1: 下载与安装anaconda下载安装包，地址：anaconda3安装后内置的为 Python3.8上传到服务器bash安装sh /opt/soft/Anaconda3-2020.11-Linux-x86_64.sh安装过程，需要注意的地方# 同意许可Do you accept the license terms? [yes|no][no] >>> yes# 调整安
2021-03-02 09:28:06
1202
原创 vmware虚拟机挂载ISO镜像并创建本地yum源
1. 编辑vmware软件，选中iso镜像2. 创建目录、挂载、开机挂载#创建挂载目录mkdir -p /mnt/cdrom#挂载mount -t auto /dev/cdrom /mnt/cdrom#开机挂载vim /etc/rc.localmount -t auto /dev/cdrom /mnt/cdrom3. 创建yum源cd /etc/yum.repos.d#将/etc/yum.repos.d目录.repo后缀的文件备份（或删除）mv CentOS-Bas
2020-11-30 10:12:22
4278
原创 HDFS的BLOCK损坏或丢失问题检查与处理
1. fsck命令介绍fsck是file system check的简写，中文名其实就是文件系统检查，通过hdfs fsck命令可以看出具体的参数。[hdfs@rtn01 ~]$ hdfs fsckUsage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-b...
2019-11-25 15:44:29
5118
2
原创 mysql5.7迁移某个数据库
1 读取源库建库方式# 使用root管理员登陆c1服务器的Mysql数据库mysql -uroot -p#查询c1服务器cm库的建库字符集等信息SELECT * FROM INFORMATION_SCHEMA.SCHEMATA;2 根据c1服务器cm库字符集创建c2服务器cm库#在c2服务器，登陆root管理员，并按照c1服务器Mysql数据库字符集创建目标数据库create ...
2019-09-26 11:46:05
966
原创 PC微信多开-完整傻瓜版
默认微信PC端的安装为默认安装1. 找安装目录 默认位置为 C:\Program Files (x86)\Tencent\WeChat ，如下图所示2. 制作bat文件 我习惯在D盘做一个文件夹，这个按个人喜好吧，在文件夹下做bat文件，如下步骤：新建一个普通的文本文件，扩展名默认是.txt结尾的根据刚才复制的微信安装位置及想要启动多少个微信来写入内容# 我有两个微...
2019-09-24 16:33:56
455
原创 CentOS7安装CDH5.11.0遇到的too many values to unpack问题解决
1. 报错内容[29/Jul/2019 15:14:20 +0000] 11107 MainThread agent INFO Using parcels directory from server provided value: /opt/cloudera/parcels[29/Jul/2019 15:14:20 +0000] 11107 MainThread parc...
2019-07-29 15:33:16
460
1
原创 VMware克隆Centos7并配置网络
1. 在VM软件中做克隆动作1.1 选择克隆体1.2 选择克隆方式1.3 生成MAC地址2. 修改网络&主机名2.1 修改网络使用root用户登录，修改 /etc/sysconfig/network-scripts/ifcfg-ens33 文件，其中UUID需要使用 uuidgen ens33 命令重新生成，IPADDR 需要自定义。# 修改的网络配置如下T...
2019-07-25 11:10:46
640
原创 linux-impala-odbc安装
linux安装odbc，windows也需要安装odbc，然后就可以使用SqlDbx等软件连接impala进行数据分析了windows部分linux部分首先安装如下两个包yum -y install unixODBCyum -y install unixODBC-devel然后安装从cloudera官网下载的最新版impalaodbc驱动包，使用rpm -ivh命令安...
2019-05-13 18:11:33
1041
原创 使用haproxy做impala的负载均衡
1. IMPALA组件概述***Impala***组件包含3个子模块（Impala Catalog Server、Impala StateStore、Impala Daemon），如图所示：其中Impala Catalog Server与Impala StateStore是无数据、无状态的模块，没有高可用的需求更不需要做负载均衡；Impala Daemon模块的每一个节点都可以提供jdbc...
2019-04-25 17:54:14
1534
3
原创 CDH集群修改nameservice名称
前言 ： CDH集群如何改变默认的nameservice名称呢？，本文中的示例集群已经做了HA，且集群版本为CDH6.1.1。1 停止集群所有组件服务没啥可说的，直接关闭所有服务，如下图所示。2 单独启动ZK组件服务没啥可说的，启动ZK，如下图所示已经启动好的zk。3 删除存储于zookeeper中的hdfs组件信息首先查找集群的ZK部署于那些节点，如下图所示...
2019-04-16 15:23:36
5458
3
原创 windows的exe文件反编译为msi安装文件
1 下载工具登陆http://wixtoolset.org/下载工具，可以下载绿色或安装版2 使用命令反编译举例如下，将exe文件反编译到d盘的out目录中：d:\dark\dark.exe d:\TableauDesktop-64bit-2019-1-2.exe D:\out...
2019-04-15 18:17:15
2127
原创 查看Linux系统开机时间
使用如下命令就非常直观：date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S" 可以配合下面的命令查看系统当前时间date "+%Y-%m-%d %H:%M:%S"...
2019-04-15 16:52:09
604
原创 Linux后台执行与日志保存方式
执行脚本，指定日志输出文件（日志使用追加方式）# 前台执行/bin/bash /home/ec2-user/test.sh >>/home/ec2-user/test.text 2>&1# 放到后台执行/bin/bash /home/ec2-user/test.sh >>/home/ec2-user/test.text 2>&1 &a...
2019-04-15 16:42:30
4048
原创 Linux的du用法排除某个目录
例如我想得到根目录下所有目录或文件的占用空间大小，并且想要排除名字中包含 proc 的文件或目录，可以使用如下命令du -sh /* --exclude="proc"或使用 模糊匹配 都行du -sh /* --exclude="*proc*"扩展内容，想要排除多个文件或文件夹，且只想看到空间大于 G 的结果du -sh /* \--exclude="proc" \--e...
2019-04-15 10:18:55
21159
1
原创 CM中依据IMPALA-SQL语句查询消耗的资源
首先给出测试的SQL语句select * from EDM.CREDIT_HT007 where stat_dt = '2020-06-23'如何在cm的impala-queue界面进行查询呢？statement RLIKE ".*EDM.CREDIT_HT007.*"双引号中的 .* 代表了模糊匹配所有字符，例如下面的写法也可以的statement RLIKE ".*...
2019-04-11 17:29:40
1488
原创 mysql 权限
官网地址：https://dev.mysql.com/doc/refman/5.7/en/privileges-provided.html重要的摘抄如下| Privilege | Grant Table Column | Context ...
2019-04-10 15:06:39
95
原创 Crontab 命令
1. 域6个域，分别代表特定时间类型，如下表格分钟小时天月周程序minute (0 - 59)hour (0 - 23)day of month (1 - 31)month (1 - 12) OR jan,feb,mar,apr …day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri...
2019-04-02 10:31:32
3418
原创 Impala 26000 错误原理剖析及解决
前言转载一篇别人的文章：http://ju.outofmemory.cn/entry/116665CDH5（Impala1.4开始） 中，impala 可以使用 HDFS 缓存特性加快频繁访问的数据的速度，减少 cpu 使用率。当数据缓存到 hdfs cache 中时，impala 可以直接从缓存中读取数据而不需要读磁盘并且减少额外的内存拷贝。下面写上自己的理解自己绘制的简易流程图：...
2019-03-28 18:09:23
387
原创 Mysql报错 max_allowed_packet 问题处理
mysql弹出了错误，如下图所示，可以很明显的看出来如何处理该错误。1. 临时生效#使用root用户登录mysqlmysql -uroot -p#修改配置set global max_allowed_packet = 100 * 1024 * 1024;2. 永久生效修改mysql配置文件，文件结尾新增配置项即可vim my.cnfmax_allowed_pack...
2019-03-28 17:46:26
615
原创 学习挂载磁盘
#安装磁盘管理工具yum install -y lvm2#创建挂载目录mkdir /data01mkdir /data02mkdir /data03#查看磁盘信息fdisk -l#查看识别磁盘信息lsblk#查看已有的逻辑卷组vgs#查看已挂载的文件系统df -Th#查看分区文件格式blkid /dev/xvda1#创建VG（卷组）vgcreate VGDATA0...
2019-03-27 17:09:44
259
原创 xshell记录屏幕输出到windows本地
步骤1.依次点击文件、日志、启动即可启动xshell的屏幕记录功能步骤2.开始执行特定的脚本，屏幕会输出一大堆的东西，这些记录会记录到步骤1指定的文件中。步骤3.依次点击文件、日志、停止即可停止xshell的屏幕记录功能步骤4.打开步骤1指定的文件，即可阅读步骤2中脚本执行过程中的屏幕输出内容。下面我截个图，记录一下...
2019-03-13 10:47:29
7805
2
原创 主机内部的磁盘间数据平衡（hdfs diskbalancer ）
最好的办法就是参考官方网址 hdfs diskbalancer其实主要步骤有以下几个：新增hdfs配置否者就报错，如下图：hdfs diskbalancer -plan {主机名}hdfs diskbalancer -execute {/system/diskbalancer/XXXXX/{主机名}.plan.json}hdfs diskbalancer -query {...
2019-03-12 16:36:58
2330
原创 手工转移HDFS位于磁盘的文件
假如，我是说假如不想使用diskbalancer来完成主机内部的磁盘平衡任务，我们可以用这个方法来完成数据的磁盘间转移（繁琐而又精细，我是不愿意这么搞！）前言如果你发现执行hdfs diskbalancer -query 主机名称这条命令报错如果你发现不报错但是你也不想这么干如果因为某种原因需要转移dfs的某个文件夹你就可以继续往下看了找到你想转移的文件夹停止hdfs服务（...
2019-03-12 15:37:47
473
原创 Linux统计CPU相关信息
在Linux中如何查看CPU的详细信息前言总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数1.查看CPU信息（型号）cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c2.查看物理CPU个数cat /proc/cpuinfo | grep "...
2019-03-12 15:23:38
359
原创 cdh5.11.0的hadoop配置在哪儿放着呢？
随手记录通过rpm包安装的cloudera-manager-server与cloudera-manager-agent，那么比较重要的几个目录位置在哪儿呢？export HADOOP_CONF_DIR=/etc/hadoop/confexport HADOOP_PREFIX=/opt/cloudera/parcels/CDH/lib/hadoopexport HADOOP_HOME=$...
2019-03-12 14:18:39
2081
原创 RedHat6.7+RedHat7.5双系统版本安装CDH
RedHat6.7+CDH5.11.0安装与配置章节机架、服务器、网络、操作系统的安装配置主机名修改修改时区host文件修改关闭防火墙SELinux禁用透明大页面ROOT互信jdk安装配置group与user预定义mysql安装与配置配置JDBC驱动yum环境安装部署http服务设置卸载chrony，安装ntp服务并配置swap交换分区设置重启服务器安装cl...
2019-03-07 17:13:21
973
原创 HDFS删除并清空回收站
删除hdfs文件，但是文件会放入回收站，推荐使用#注意，如果/path路径为回收站路径，那么该删除操作为真实删除，不会再放入回收站。hdfs dfs -rm -f /path删除文件，跳过回收站，直接删除，没有挽回的余地hdfs dfs -rm -f -skipTrash /path清空回收站，不建议使用，特别是生产环境，容易出问题hdfs dfs -expunge ...
2019-03-07 17:08:54
10512
1
原创 创建hive表并插入一条记录后mysql元数据库的变化
前言，为了研究hive元数据库的变化，做了个新的集群，然后做了一张表，然后插入1条记录，观察mysql的变化情况，由此得到了很多有用的结论，例如如何查到这张表的分隔符是什么。上面疑问语句的答案是什么呢？#答案在此mysql -uhive -p -hnamenode01use hive;#SQL语句如下select T5.NAME, T1.TBL_...
2019-03-07 16:31:47
828
原创 AWS云主机使用root用户登录
AWS云主机使用root用户登录1. 秘钥登录使用云主机创建之初给与的秘钥完成登录2. 修改配置文件sudo vi /etc/ssh/sshd_config +42sudo vi /etc/ssh/sshd_config +64修改内容见下图：3. 重启ssh服务sudo service sshd restartORsudo systemctl restart s...
2019-03-01 11:59:14
600
原创 升降HDFS副本数量
1 检查副本数量例如检查hive中cs表的副本数量hdfs fsck /user/hive/warehouse/cs由上图可以看到副本数量为32 降副本数量由于是目录，所以使用-R参数，可以递归。hdfs dfs -setrep -R -w 2 /user/hive/warehouse/cshdfs fsck /user/hive/warehouse/cs从上图...
2019-02-28 14:51:40
3516
原创 redhat7.4安装CDH6.0.1
1. 系统环境修改1.1 修改主机名所有节点均需执行该步骤#主机 192.168.5.11 输入如下指令hostnamectl set-hostname cdh1#主机 192.168.5.12 输入如下指令hostnamectl set-hostname cdh2#主机 192.168.5.13 输入如下指令hostnamectl set-hostname cdh3#主机...
2019-02-28 14:50:37
1407
原创 nginx安装与impala的负载均衡配置
操作系统：小红帽6.7下载nginx 下载地址直接下载最新版的包即可编译#安装前置的依赖包，可以挂在系统镜像后使用yum命令安装即可yum install -y gc gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel ncurses-devel perl#编译./configure --user...
2019-02-28 11:25:02
701
2
原创 redhat7.4完全卸载cdh5.11.0集群
前言 我的学习环境，不需要保留数据库与集群数据，下次更新集群数据保留与数据库数据保留文章，本文章用途可用在特定的场景中：服务器数量缩减后转做他用，不需要保留任何大数据相关的残留。 卸载前集群状态如下，需要全部卸载而后转做他用：主机名私网IP节点状态cdh1192.168.5.11主节点、mysql数据库cdh2192.168.5.12从节点cdh...
2019-02-28 11:21:35
314
保持OUTLOOK一直运行，关闭等于最小化
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人