- 博客(84)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 unsupported key type found the default TGT: 18
连接带kerberos认证的hive，服务端是其他厂商，所有服务端的调试无法使用，1.首先根据网上资料排查JCE,由于是oracle的jdk1.8.0_151，自带支持JCE,修改配置java.security可以支持JCE，去掉注释;还是不行；2.修改krb5.conf，注释掉缓存结果也不行；3.绕过zk,去直接请求hive...
2021-11-30 10:27:51
1862
转载 Failed to start component [StandardEngine[Tomcat].StandardHost[localhost].TomcatEmbeddedContext[]]
今天项目新增了hive-jdbc和hadoop-common的maven依赖之后，本地启动正常，更新服务器凉了，报错Failed to start component [StandardEngine[Tomcat].StandardHost[localhost].TomcatEmbeddedContext[]]jar包冲突了解决办法：<dependency> <groupId>org.apache.hive</groupId> &l.
2021-10-29 11:32:39
3172
2
转载 [FORBIDDEN/12/index read-only / allow delete (api)]
解决方案：index [XXX] blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]问题解决_静幽水-CSDN博客
2021-09-14 15:57:10
211
转载 centos 7 操作失误很多命令不能使用
运行export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
2021-09-08 16:46:34
403
原创 es7.10 curl方式创建mapping
记录一下，每次隔一个月几个月就要手动创建一次，每次测试都要重新找怎么建curl -H "Content-Type: application/json" -XPUT 127.0.0.1:9200/ll_test/base/_mapping?include_type_name=true -d '{"base": { "properties": {"_alls": {"type": "text","store": "true","analyzer": "standard"...
2021-09-07 09:33:37
1089
1
原创 spark类型转换异常
插入数据报错： 查看表结构：都是double类型的还是报错了。设置参数：参考：https://www.cnblogs.com/songchaolin/p/12098618.html
2021-09-02 10:51:31
285
转载 Linux系统之TroubleShooting（故障排除）（转）
今天看到别人发的招聘需求，要求熟悉linux常用命令并有TroubleShooting能力，单词不认识，百度搜索，找到下面的这篇文章，觉得挺好的说不定那天自己会遇到，mark一下https://www.cnblogs.com/qzqdy/p/8093063.html...
2021-07-02 11:34:40
353
转载 yum 外网下载指定软件包及其依赖
yum install --downloadonly --downloaddir=<directory> <package-name>directory依赖bao
2021-06-04 11:48:21
339
转载 yum切换遇到小问题记录下来防止下次
因为要切换yum源，就在网上随便搜索了一个源直接复制粘贴然后一顿yum clean all ,yum makechache,全是失败的
2021-06-04 10:59:43
72
转载 2021-05-11
hive metastore内存溢出hive的metastore内存溢出，修改文件hive-env.sh配置文件里面默认的新增的if [ "$SERVICE" = "cli" ]; thenif [ -z "$DEBUG" ]; thenexport HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx2048m -Xms2048m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:
2021-05-11 11:40:08
233
原创 2021-04-27
父子表修改mapping文件增加新的子表关联原始的mappingPUT join_ext_index1{ "mappings": { "_doc": { "properties": { "my_join_field": { "type": "join", "relations": { "question": ["answer", "comment"] }
2021-04-27 10:41:16
72
原创 Centos 7 非root用户做免密登录遇到的坑
创建用户及用户组useradd -s /bin/bash -d /home/hadoop -m hadoop设置密码passwd hadoop设置组权限chmod 775 /home/hadoop为普通用户添加sudo 权限vi /etc/sudoers或者visudo都可以追加：hadoop ALL=(ALL) ALL切换到hadoopsu hadoop生成密匙添加互信，首先添加自己方便测试ssh-copy-id hadoop@hadoopxxx生效
2020-12-03 12:35:59
687
3
原创 iperf3简单使用
iperf3使用，需要两台机器都安装iperf3，一台作为服务端，一台做客户端。需要关闭防火墙，或者开放对应的端口5201。服务端执行iperf3 -s客户端执行其他测试命令：iperf3 -u -c 10.68.124.54 -b 100M -f M -i 3命令详解见：https://man.linuxde.net/iperf...
2020-11-06 10:09:51
851
原创 修改war包内容
添加jar命令cd /usr/bin/ln -s -f /opt/jdk/1.8/bin/jar查找jar -tvf ROOT.war |grep UtlLicenseUtils.class解压jar -xvf ROOT.war WEB-INF/classes/***/***/***/common/UtlLicenseUtils.class替换自己手动替换掉正确的UtlLicenseUtils.class压缩jar -uvf ROOT.war WEB-INF/.
2020-10-12 16:48:58
846
原创 int和Integer有什么区别
int是基本数据类型,Integer是引用数据类型.Integer默认缓存是 -128 到 127 之间。Integer a=100,b=100,c=150,d=150;System.out.println(a==b); trueSystem.out.println(c==d); false超过缓存值,直接new Integer();Integer的默认值是null; int的默认值是0;这种缓存机制并不是只有 Integer 才有，同样存在于其他的一些包装类，比如：Bo
2020-09-22 09:30:43
176
转载 HIVE常用命令之MSCK REPAIR TABLE命令简述
工作中发现很多同事连基础的hive命令都不知道，所以准备写一个系列把hive一些常用的命令进行一个总结。第一个讲的命令是MSCK REPAIR TABLE。MSCK REPAIR TABLE 命令是做啥的MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hiv
2020-09-01 20:01:44
15425
2
转载 windows 单机启动zookeeper报错invalid config exiting abnormally
下载zk解压之后，在复制修改配置文件zoo.cnf指定dataDir和dataLogDir两个创建好的目录启动zkServer.cmd，报错invalid config exiting abnormally原因：dataDir=E:\\zk\\zookeeper-3.4.5\\data 要用双斜杠参考：http://www.mamicode.com/info-detail-2239785.html...
2020-08-25 16:48:05
902
原创 mysql设置secure_file_priv =‘’ 仍然无法导出文件
mysql从5.1.73升级到5.7.28之后，因为项目里面涉及到了导出文件，就在my.cnf里面配置了secure_file_priv =‘/’导出之后依然报错：各种百度之后试了grant file on *.* to [email protected](127.0.0.1不知道为什么会报错：)然后又试了localhost是可以的然后文件也可以正常导出了...
2020-08-25 15:38:14
493
1
原创 网络协议(3)
查看IP地址: ifconfig ,ip addrroot@test:~# ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever
2020-08-13 15:26:55
206
转载 jconsole监控上Linux上的JVM
说明：首先JConsole这个是JDK里面自带的工具 在JAVA_HOME/bin目录下，今天主要测试远程监控JVM第一步：设置好需要远程机器的Tomcat修改Tomcat下的配置文件：/usr/local/apache-tomcat-7.0.41/bin/catalina.sh在文件中找到----- Execute The Requested Command --这一行，在这一行上面设置如下代码：JAVA_OPTS="$JAVA_OPTS -Dcom.sun.managemen...
2020-08-13 14:09:12
121
原创 04 | AOF日志：宕机了，Redis如何避免数据丢失？
文章来源极客时间课程笔记redis做缓存:一旦服务器宕机，内存中的数据将全部丢失。从后端数据库恢复这些数据，但这种方式存在两个问题：一是，需要频繁访问数据库，会给数据库带来巨大的压力；二是，这些数据是从慢速数据库中读取出来的，性能肯定比不上从 Redis 中读取，导致使用这些数据的应用程序响应变慢。AOF 日志正好相反，它是写后日志，“写后”的意思是 Redis 是先执行命令，把数据写入内存，然后才记录日志.为什么是是写后日志?为了避免额外的检查开销，Redis 在向 AOF 里面记录日
2020-08-13 11:42:21
414
原创 mysql(4)索引(上)
1.索引的出现其实就是为了提高数据查询的效率，就像书的目录一样。2.三种常见、也比较简单的数据结构，它们分别是哈希表、有序数组和搜索树。3.哈希表是一种以键 - 值（key-value）存储数据的结构，我们只要输入待查找的键即 key，就可以找到其对应的值即 Value。4.多个 key 值经过哈希函数的换算，会出现同一个值的情况。处理这种情况的一种方法是，拉出一个链表。5.哈希表这种结构适用于只有等值查询的场景,做区间查询的速度是很慢的。6.有序数组在等值查询和范围查询场景中的性能就都
2020-06-23 20:19:49
324
原创 mysql(3)事务隔离
1.事务就是要保证一组数据库操作，要么全部成功，要么全部失败2.在 MySQL 中，事务支持是在引擎层实现的3.MySQL 是一个支持多引擎的系统，但并不是所有的引擎都支持事务。比如 MySQL 原生的 MyISAM 引擎就不支持事务，这也是 MyISAM 被 InnoDB 取代的重要原因之一。4.事务， ACID（Atomicity、Consistency、Isolation、Durability，即原子性、一致性、隔离性、持久性）5.数据库常见事务问题:脏读（dirty re...
2020-06-16 20:07:01
165
原创 mysql(2)一条SQL更新语句是如何执行的
一条更新语句的执行流程又是怎样的呢？之前你可能经常听 DBA 同事说，MySQL 可以恢复到半个月内任意一秒的状态，惊叹的同时，你是不是心中也会不免会好奇，这是怎样做到的呢？首先，可以确定的说，查询语句的那一套流程，更新语句也是同样会走一遍。你执行语句前要先连接数据库，这是连接器的工作。前面我们说过，在一个表上有更新的时候，跟这个表有关的查询缓存会失效，所以这条语句就会把表 T 上所有缓存结果都清空。这也就是我们一般不建议使用查询缓存的原因。接下来，分析器会通过词法和语法解析知道这是一条
2020-06-16 18:34:20
234
转载 Linux date 命令整理
查看明天日期# date -d next-day +%Y%m%d查看昨天日期# date -dlast-day +%Y%m%d查看下个月日期date -d next-month +%Y%m%d查看上个月日期date -d last-month +%Y%m%d上个月date +%Y%m%d -d -1month下个月date +%Y%m%d -d 1month1、命令：date2、命令功能：date 可以用来显示或设定系统的日期与时间。3、命令参数-d&l.
2020-06-11 09:42:02
233
原创 zabbix 4.0.19 中文乱码解决办法
首先在页面把字体改为中文设置为中文点击更新就好还有部分有乱码的问题去windows机器上c盘>>windows>>fonts选择一款喜欢的字体复制粘贴到zabbix_server服务器源文件备份,把复制过来文件重命名为源文件名字cpygyxsziti2.0.ttf /var/www/html/assets/fontscd /var/www/html/assets/fontsmvDejaVuSans.ttfDejaVuSans.tt...
2020-06-10 14:40:02
184
原创 zabbix4.019 客户端离线安装
解压源码安装包tar -xzvf zabbix-4.0.19.tar.gzcd zabbix-4.0.19编译./configure --prefix=/usr/local/zabbix --enable-agent报错configure: error: Unable to use libpcre (libpcre check failed)安装依赖离线的下载rpm,直接安装rpm包rpm -ivh libevent-devel-2.0.21-4.el7.x86_64.rpm
2020-06-09 17:23:26
474
原创 启动zabbix报错 error while loading shared libraries: libevent-2.1.so.6: cannot open
/usr/local/sbin/zabbix_server: error while loading shared libraries: libevent-2.1.so.6: cannot open shared object file: No such file or directory因为我的libevent 是源码编译安装的启动脚本找不到做一个软连接就可以了ln -s /opt/libevent/lib/libevent-2.1.so.6 /usr/lib64/libevent-2.1.so
2020-06-08 13:58:27
1356
转载 centos7 离线安装postgresql 10
网页从官网下载太慢了,找了台互联网的虚拟机下载 依赖还好挂载有镜像可以直接安装编译时间超长不要怀疑其他问题 少了个步骤记得 运行initdb不然data下面啥也没有,详细步骤参考:https://blog.csdn.net/u010177412/article/details/82150207...
2020-06-02 14:13:43
682
转载 centos 7 切换yum源
cd /etc/yum.repos.d备份掉所有文件下载yum源wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo下载epelwget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo参考:https://www.linuxidc.com/Linux/2019-..
2020-05-29 17:02:44
145
转载 The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
Mysql数据库从文件导入或导出到文件，提示The MySQL server is running with the --secure-file-priv option so it cannot execute this statement，原因及解决方法如下：一些版本的mysql对通过文件导入导出作了限制，默认不允许，查看配置，执行mysql命令SHOW VARIABLES LIKE "secure_file_priv";如果value值为null，则为禁止，如果有文件夹目录，则只..
2020-05-27 13:53:27
1174
转载 Linux之read命令使用
read命令：read 命令从标准输入中读取一行，并把输入行的每个字段的值指定给 shell 变量1）read后面的变量var可以只有一个，也可以有多个，这时如果输入多个数据，则第一个数据给第一个变量，第二个数据给第二个变量，如果输入数据个数过多，则最后所有的值都给最后一个变量-p read –p “提示语句”，则屏幕就会输出提示语句，如下图当变量个数和输入个数一样时：注意空格，要不会出错当变量个数和输入个数不一样时，即输入个数比变脸个数多，则多的都赋给最后一个变量：...
2020-05-20 17:18:32
460
原创 es 使用curl创建索引模板
创建索引模板,所有以people_trail开头的索引都会走这个索引模板curl -DPUT '127.0.0.1:9200/_template/people_trail' -d '{ "template": "people_trail*", "settings": { "index": { "number_of_shards": "1", "number_of_replicas": "0", "analysis": { "analyzer":
2020-05-20 17:02:07
3616
1
原创 linux常用命令
为自己建个flag,方便寻找https://www.runoob.com/linux/linux-command-manual.html
2020-05-14 11:20:17
125
转载 linux在Vi里面实现字符串的批量替换
在Vi里面实现字符串的批量替换。a. 文件内全部替换：%s#abc#def#g（用def替换文件中所有的abc）例如把一个文本文件里面的“linuxidc.com”全部替换成“linuxidc.net”：:%s#linuxidc.com#xwen.net#g (如文件内有#，可用/替换,比如:%s/linuxidc.com/xwen.net/g)b. 文件内局部替换：把10行到50行内的“abc”全部替换成“def”:10,50s#abc#def#g（如文件内有#，可用/替换,:
2020-05-14 10:49:01
1023
原创 Java线程的生命周期
通用的线程生命周期初始状态、可运行状态、运行状态、休眠状态和终止状态。1.初始状态，指的是线程已经被创建，但是还不允许分配 CPU 执行。这个状态属于编程语言特有的，不过这里所谓的被创建，仅仅是在编程语言层面被创建，而在操作系统层面，真正的线程还没有创建。2.可运行状态，指的是线程可以分配 CPU 执行。在这种状态下，真正的操作系统线程已经被成功创建了，所以可以分配 CPU 执行。当有...
2020-04-29 14:04:08
115
转载 tomcat启动慢
1.进入安装的jdk下vim /usr/lib/jvm/jdk1.8.0/jre/lib/security/java.security将如下配置securerandom.source=file:/dev/random改为securerandom.source=file:/dev/urandom2.修改tomcat9下conf的catalina.properties将tomc...
2020-04-28 21:04:32
116
原创 安全性、活跃性以及性能问题
安全性、活跃性以及性能问题安全性问题那什么是线程安全呢？其实本质上就是正确性，而正确性的含义就是程序按照我们期望的执行，不要让我们感到意外。存在共享数据并且该数据会发生变化，通俗地讲就是有多个线程会同时读写同一数据。public class Test { private static long count = 0; static void add10K() {...
2020-04-24 17:35:09
319
原创 linux拆分文件
因为要查看一个日志文件,内容文件不好查找,所以只能拆分文件split支持自定义输出文件大小和输出文件行数两种模式split命令格式如下：split [--help][--version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]命令参数-a, --suffix-length=...
2020-04-23 10:57:46
1486
1
db2 v9.7.0.10版本驱动包
2019-03-07
commons-el-1.0.jar.zip
2018-04-03
数据库连接池报错问题
2017-09-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人