- 博客(17)
- 收藏
- 关注
RSS订阅原创 linux常用命令
ctrl+A 直接跳到行首ctrl+E 直接跳到行尾ctrl+K 删除光标到尾行的数据cat /proc/loadavg # 查看系统负载磁盘和分区mount | column -t # 查看挂接的分区状态swapon -s # 查看所有交换分区hdparm -i /dev/hda # 查看磁盘参数(仅适用于IDE设备)dmesg | grep IDE # 查看启动时IDE设备检测状况网络ifconfig # 查看所有网络接口的属性cut -d: -f1 /etc/passwd # 查看系统所有用
2022-11-21 09:37:57
109
原创 Ranger问题
1、ranger审计日志数据太大修改Ranger solr日志保留天数/opt/apps/solr/8.4.1/package/solr-8.4.1/ranger_audit_server/ranger_audits/conf/solrconfig.xml搜索solr.DefaultValueUpdateProcessorFactory关键词，找到<strname=“value”>+90DAYS将90DAYS调小，修改为期望的保留天数。并且删除data目录里的数据删除后重启solr
2021-09-25 17:54:09
1321
原创 Hue中使用sqoop问题和其他调度问题汇总
1、无法找到JDBC驱动错误信息以mysql为例，问题如图：分析错误信息很明显，无法加载mysql驱动。解决方法一般是在相应的lib下添加mysql的jdbc驱动包即可。其他情报：1、在终端执行Sqoop命令，只需要在 $SQOOP_HOME/lib 目录下增加jdbc驱动包，Sqoop在执行时就可以找到驱动。2、在Hue中执行Sqoop是使用Oozie启动器执行的。判断依据如下：在错误日志发现如图信息：YARN应用程序监控页面显示：可以发现在Hue执行的Sqoop操作是Oozie启动
2021-07-07 12:39:11
489
原创 sqoop的增量数据测试
1.增量添加数据测试：创建mysql表CREATE TABLE sqoop_test (id int(11) DEFAULT NULL,name varchar(255) DEFAULT NULL,age int(11) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=latin1创建hive表（表结构与mysql一致）hive> create external table sqoop_test (id int,name string,age i
2021-07-07 10:20:29
170
原创 hive3.x安装tez和相关调优参数
hive3.x安装tez- 编译Tez0.10.1下载tez的src.tar.gz源码包新版的tez0.10.1需要在github下载，附链接 https://github.com/apache/tez需要在pom.xml中更改hadoop.version属性的值，以匹配所使用的hadoop分支的版本。我这里是Apache Hadoop 3.1.3vim pom.xml修改修改guava版本hadoop 3.1.3使用的guava版本是27.0-jre安装git—>yum instal
2021-07-03 16:17:04
1023
原创 spark 问题锦集
1、spark程序jar与spark lib jar冲突，加载顺序提交spark作业经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的jar包冲突问题比如spark程序用到了guava的Splitter类：import com.google.common.base.Splitter;... List list = Splitter.on("/").splitToList(output);程序在本地模式下能正
2021-06-29 12:51:14
405
原创 Yarn问题
Yarn问题1、yarn假死状态，日志一直刷新以下信息：log aggregation have not finished yetyarn的BUG：https://issues.apache.org/jira/browse/YARN-4946修复步骤是先处理standby RM，再处理active RM，RM节点替换步骤是：（1） mv方式备份旧包： mv $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-3.2.1.
2021-06-20 10:57:52
1232
原创 presto问题和优化
1、概述Presto架构Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto的架构分为：Coodinator：解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。Discovery Server：Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。Worker：负责执行实际查询任务，访问底层存储系统。存储：P
2021-06-03 10:25:56
286
2
原创 JVM相关问题
堆设置-Xms: 初始堆大小-Xmx: 最大堆大小-Xmn: 设置年轻代大小。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小。-Xss: 为jvm启动的每个线程分配的内存大小，默认JDK1.4中是256K，JDK1.5+中是1M-XX:NewSize=n:设置年轻代大小-XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4-XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor
2021-05-31 10:11:04
44
原创 hdfs问题锦集
1、hdfs命令使用hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>]path (start che
2021-05-27 10:55:35
663
原创 Kafka问题锦集
1、kafka公网内网访问实现有以下两种方式：1）需要本地配置长域名映射后可以正常访问端口为9092，也可以之间ip+端口（9092）listeners=PLAINTEXT://kafka-hostname:9092 advertised.listeners=PLAINTEXT://kafka-hostname:9092listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,S
2021-05-26 11:27:24
384
原创 常用hivesql记录
hive> select next_day(‘2021-05-24’,‘sun’);OK2021-05-30Time taken: 0.099 seconds, Fetched: 1 row(s)hive> select next_day(‘2021-05-24’,‘mon’);OK2021-05-311. row_numberrow_number() over(partition by 分组列 order by 排序列 desc)测试表create table test_
2021-05-24 13:08:16
927
原创 Docker笔记
宿主机访问不了docker容器地址,显示拒绝连接centos7安装docker ，再下载rabbitmq镜像，启动容器后无法访问容器内的服务，防火墙也关闭了，但是还是不行，后来重新设置了网卡，就可以了，解决过程如下：#下载镜像docker pull rabbitmq:3.7.15#启动docker容器docker run -p 33060:3306 --name mysql -v /mnt/zjl/mysql/conf:/etc/mysql/conf.d -v /mnt/zjl/mysql/..
2021-05-23 13:21:17
56
原创 Hadoop运行环境搭建
Hadoop运行环境搭建Hadoop运行环境搭建虚拟机环境准备安装JDK安装HadoopHadoop运行模式完全分布式运行模式SSH无密登录配置rsync 远程同步工具集群配置群起集群集群启动/停止方式总结Hadoop运行环境搭建虚拟机环境准备克隆虚拟机修改克隆虚拟机的静态IP修改主机名关闭防火墙创建hadoop用户配置hadoop用户具有root权限（添加hadoop ALL=...
2020-07-15 17:23:58
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人