- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hive创建UDF未生效；多个hiveserver2 UDF未同步 问题解决
hive创建UDF未生效；多个hiveserver2 UDF未同步 问题解决。
2022-08-25 15:16:16
1081
1
原创 Kafka-Broker Spread，Broker Skewed，Broker Leader Skewed指标含义
Kafka 几个监控指标的含义网上也有很多文章讲解这些个指标的含义，但总感觉还不够透彻。至少我是一知半解的。我查看了kafka eagle的源码，再举一些栗子来说明。Broker Spread引用kafka-eagle几个指标含义...
2021-09-08 10:45:26
3297
原创 kafka eagle 相关问题记录
kafka eagle 安装部署问题kafka eagle版本2.0.5无法获取Topic Capacity# 日志报错ERROR - Get topic capacity has error, msg is java.lang.NullPointerException at java.util.regex.Matcher.getTextLength(Matcher.java:1283) at java.util.regex.Matcher.reset(Matcher.java:309)
2021-09-08 10:02:53
1243
原创 kafka leader-epoch-checkpoint 文件结构
kafka partition files引言indexlogsnapshottimeindexleader-epoch-checkpoint文章参考及引用引言kafka的每个partition下都有以下5类文件# 其中数字123456只是举个栗子00000000000000123456.index00000000000000123456.log00000000000000123456.snapshot00000000000000123456.timeindexleader-epoch-ch
2021-09-03 16:20:00
1845
原创 因kerberos导致的Hadoop discp/mapreduce 作业异常问题
协议是webhdfs时，报空指针未解决协议是hdfs时，job能提交成功，但初始化container失败kinit切换为yarn认证出现block missing问题此时若确定datanode服务都正常在线，可能是云服务器或者双网卡导致有内外网问题。更改配置保证所有带ip的配置，都转为hostname...
2021-08-09 17:05:37
170
原创 kerberos : Failed to find any Kerberos tgt
具体问题javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]问题可能的原因1. 没有Kinit认证具体可以详见我另外一篇博客kinit -kt xxx.keytab principl2. /etc/krb5.conf里配置的
2021-06-11 15:46:25
3762
1
原创 Hadoop远程提交作业，返回内网IP问题
尝试网络映射，进行转发（netsh）以失败告终，不过也学到了一些知识，有用。查看当前网络转发配置netsh interface portproxy show v4tov4删除某网络转发配置netsh interface portproxy delete v4tov4 listenaddress=192.168.2.158 listenport=8090设置网络转发配置netsh in...
2021-05-14 17:44:24
368
原创 记一次linux宕机问题核查
前提需要有root用户sar命令查看历史监控CPU使用情况# 进入日志目录cd /var/log/sa# 根据日志文件最后写入时间以及宕机日期，找到最终文件ls -l# 我这里是sa08sar -u -f /var/log/sa/sa08 |more-----Linux 2019年09月08日 _x86_64_ (24 CPU)00时00分01秒 CPU ...
2021-05-14 17:39:47
254
原创 Kerberos : Unable to obtain password from user
如果报这个错，能确定是keytab的问题，根据网上查找的资料我总结如下，方便大家定位问题。权限问题（相应的用户没有读权限）#可以临时把读权限都放开，再重试一下，验证是否权限问题chmod a+r /xxx/yyy/zzz.keytab## 如果是这个问题，用chown和chmod命令，将文件权限设置好就行了keytab自身有问题，也即可能是keytab里的信息失效了#可以通过kinit验证是否该问题kinit -kt /xxx/yyy/zzz.keytab aa/bb@cc## 如
2021-04-27 11:11:27
7413
原创 记一次 [TOP、PS等多命令不可用 服务器load average过高 服务器频繁宕机 无异常宕机]的经历
背景服务器及业务应用稳定运行一年以上，突然某一天宕机；联系机房重启后，系统及业务日志没发现明显异常，甚至无错误；同时重启多个业务应用后，不到一会又宕机；逐个重启业务应用，正常运行了几天后又一次宕机；与机房运维人员沟通，那边分析日志后说硬件没问题；宕机前现象重启后服务器一切正常，空运行几个小时都没问题；一些小业务量（甚至没有业务量）的程序（以下简称为A程序）启起来后，几个小时也都没问题；当启动集群该节点的程序后（以下简称为B程序，该程序启动后会扫描磁盘数据，并重建索引，还会从其他节点复
2021-03-18 18:58:51
610
1
原创 awk 引用外部变量 输出单引号 输出双引号
引用外部变量方法在一对单引号内部引用外部变量。具体可以这样操作，下同：可以先写好整个语句，外部变量可以留个占位，也可以直接写好结果值# 这里定一个变量来模拟awk外部变量export VISITOR="XiaoMing"echo "Hello"|awk '{print $0", XiaoMing"}'## 输出Hello, XiaoMing在准备加入外部变量的位置，先加上两个单引号，再在里面引用变量即可。echo "Hello"|awk '{print $0", '${VISI
2021-02-09 12:05:06
738
原创 关于Kafka其中一个Broker挂掉后，生产者正常，消费者无法消费的问题
昨晚运维同事报告，生产集群的kafka写数据正常，但是下游消费数据全都出错。当时核查发现，是因为broker0因为内存溢出（待核查，感觉应该是ulimit的问题）后宕了。其他broker正常，当时很奇怪，所有topic都做了副本，按理应该挂掉一个broker应该能正常消费啊。由于影响生产，赶紧把broker0重启了。后来发现下游所有消费者都从earliest消费（我们的程序也是设置的earliest，这样即使出问题，也不会丢数据），但是按理这个设置仅当首次消费时生效，后续重启程序，都会继续从断点消费。
2020-11-19 18:55:04
3013
8
原创 如何展开指定JSON内所有的数组元素
功能列表自动展开JSON内所有的数组元素，并复制其他域和值；展开数组后，增加“_index”域来保存原数组游标。举个栗子 : 输入json{ "k1": "v1", "k2": [{"k3": "v31"}, {"k3": "v32"}]}输出json列表：{"k1":"v1","k2":{"k3":"v31","_index":0}}{"k1":"v1","k2":{"k3":"v32","_index":1}}背景最近对接了一种JSON格式接口，我们需要把JSON数据解析
2020-11-19 17:46:33
740
3
原创 linux shell脚本 for 与 while 循环的区别
众所周知，for与while都是常见的linux循环命令，我一直觉得两者没有太大的区别，习惯用哪个就用哪个。我一般喜欢用while读文件循环，for用于变量内容循环。但是今天写个shell脚本，遇到了个奇怪的问题：while循环内执行ssh命令后只会循环一次，而for循环正常。需求背景我想要统计某个集群各个主机的磁盘使用情况，已经做了主机直连密钥。剩下的就是写个循环遍历执行一下df -h就...
2019-10-16 11:33:51
820
原创 linux jq 格式化 json
背景：今天某系统传来的接口文件是json格式的，客户要求我们赶快手工处理一下。由于我们的入库程序只支持定长或固定分隔符的文件。所以网上找了下linux格式化json的工具。网上找到了jq工具jq官网下载jq官网手册官网的手册也很详细。但是examples都打不开。网上也有一些教程，但是看了很多篇，发现没有我要的需求如何操作。先说下我的需求：输入JSON#cat test.json...
2019-09-20 15:47:57
459
1
原创 找规律2 2 3 4 9 32
今天遇到个有意思的问题：有这么一组数，求下面一个数2，2，3，4，9，32，（ ）选项有：A 129 B 215 C 257 D 283经过一番捣腾，总算摸索到规律，我给了答案C，本沾沾自喜，想着这题还很有难度，找出来着实不容易。没成想最终答案是D，给的解析是：2 * 2 - 1 = 32 * 3 - 2 = 43 * 4 - 3 = 94 * 9 - 4 = 329 * 32 -...
2019-09-06 16:47:29
2946
原创 Linux shell自动化检测 网络与端口 联通情况
背景：我们某个机房交换机需要替换，替换完成后，我们也需要校验主机和服务的连通性。以前只测某个主机时，测网络的话就ping一下，测端口的话就telnet一下。现在机器多起来，挨个敲命令就太麻烦了。花了一点时间写了一个通用脚本，现在分享一下。分享脚本前先普及一下，脚本里核心的原理和方法测试网络测试网络，我们都会用ping，但是linux默认情况下ping会一直进行（windows是默认4次）......
2019-08-29 16:19:26
3499
原创 记一次linux内存使用率过高的核查经历
问题背景有同事反映我们有个ETL服务器启动一些作业时报错，我看了下是内存溢出的问题。由于这台主机以前也出现过启动java作业时，报内存溢出错误，当时是因为主机ulimit设置较低的原因，并且我也已经给调大了很多。我第一反映是难道设置的值还是太小？问题核查top命令看一下机器现状top我这里是看一下机器状况，有时候内存使用率高可能也伴随着cpu使用率高。如果纯粹看内存使用情况，也可以用f...
2019-07-31 15:29:20
7125
原创 oracle密码有特殊字符@!#时，linux shell用sqlplus链接出错问题
会话窗口执行sqlplus有两种方法：将密码用双引号圈起，再将用户和密码用单引号圈起。#格式如下sqlplus 'dbuser/"dbpass"'@db_tns比如dbuser(数据库用户)为dbadmin,dbpass（数据库密码）为Abc123!@#时，格式如下：sqlplus 'dbadmin/"Abc123!@#"'@db_tns直接将密码用双引号再加单引号圈起#...
2019-07-22 20:07:42
3958
原创 linux 数据换行错位 处理
由于生产数据很多人工录入数据，很不规范，导致有些接口数据中经常出现分隔符，换行符等。一般情况下需要写一些处理转换程序，如果考虑稳定健壮运行，可以用java等语言编写。但有时候需要临时处理一些数据的时候，还要用java就有点重量了。这时候脚本语言就像瑞士军刀，很有用途。我们的需求是：原文件根据分隔符分割后列数是固定的（格式化数据），把原文件中换行错位的数据尽可能恢复。也就是错位的时候把下一行挪到上...
2019-07-15 19:43:02
1124
9
原创 Linux sed命令
以前只知道sed命令做替换很方便，后续发现它很强大。但是相关参数不太好记忆。这里先记录我知道的一些用法，慢慢补充。注意事项：sed命令里涉及到查找和替换的语法，字符串是支持正则表达式的，所以特殊字符需要\转义sed替换替换文件M.txt中的abc字符串为xyz，生成新文件N.txtsed 's/abc/xyz/g' M.txt > N.txt直接替换原文件M.txt中的abc...
2019-07-05 10:46:12
192
原创 java 启动失败 his_err_pid.log 内存溢出 ulimit设置问题 ulimit设置不生效
问题背景，查错过程背景就是同事在linux上启动一个java程序，立刻失败，并产生一个his_err_pid.log。看了下这个log日志，报错的原因是Out of memorry…top查看机器的内存使用情况top#发现内存还有很多，并没有占满。查看操作系统版本（报错里有提示jdk是否为64位，运行在64位操作系统下）uname -a查看jdk版本java -ve...
2019-07-03 14:39:29
1178
原创 Transwarp Inceptor 问题记录与解决
存储过程中查不到system模式下的表数据(NO_DATA_FOUND)set ngmr.dd.local.mode.auto=false;# 系统表实际上是mysql表的视图，默认为local模式应该会更快捷一点。但是应该有地方配置错误，所以需要关闭local模式，但是会牺牲一点查询性能不能Rename表set inceptor.torc.allow.rename=true;# 星环...
2019-04-16 18:45:11
5558
原创 Bootstrap table footer 合并/合计
Bootstrap table footer 合并/合计序言这是我的第一篇博客，我是个技术小菜，但是喜欢研究一些技术的东西，欢迎大家沟通交流。这篇博客主要讲我开发的一个项目中客户要求在一些分析报表下要有指标合计值。我前端用的是bootstrap table，但是发现其虽然支持footer扩展，但是在合并单元格时存在一些问题。网上资料也不够全，经过自己研究，解决实现了。效果废话不多说，先上效...
2018-09-28 16:23:13
12460
20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人