- 博客(105)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 升级openssh后版本不一致问题
[root@ecs-7ef8 ~]# ssh -VOpenSSH_8.4p1, OpenSSL 1.0.2k-fips 26 Jan 2017[root@ecs-7ef8 ~]# /usr/bin/ssh -VOpenSSH_8.7p1, OpenSSL 1.1.1o 3 May 2022[fortress@ecs-7ef8 ~]$ ssh -VOpenSSH_8.7p1, OpenSSL 1.1.1o 3 May 2022[fortress@ecs-7ef8 ~]$ which ...
2022-05-27 17:08:36
1820
原创 kafka 命令封装脚本
#!/bin/bash#kafka集群地址: ip/主机名:9092KAFKA_CLUSTER=10.10.2.234:9092#kafka bin目录KAFKA_HOME_BIN=/opt/kafka_2.12-2.2.2/bin#分区数量PARTITIONS=5#副本数量REPLICATIONFACTOR=2#脚本路径SCRIPT_DIR="$(cd "$(dirname "$0")" && pwd)"#参数判断不能小于1if [ $# -lt 1 ]; th.
2022-04-24 10:45:57
2617
原创 卸载ambari集群（内含卸载脚本）
cdh集群有官方卸载文档链接（博客下方）：Uninstalling Cloudera Manager and Managed Software | 6.2.x | Cloudera Documentation一、ambari-web 页面停服务进入维护模式，免报警Host--->All Host-->Hosts-->Turn on Maintance ModeDashboard---> Stop allambari-web卸载前确保集群所有服务进程已.
2021-11-04 15:37:11
1922
原创 ranger hdfs linux权限对比测试
首先新建一个目录。hdfs赋700权限Ranger只给read的权限测试发现如果是查看目录，需要read_execute的权限，如果查看到目录下的文件级别则是需要个execute的权限对比：测试给目录704的权限，hdfs dfs -chmod 704 /policytest/，做对比。此时/policytest/没有递归加上递归权限与上述ranger权限一致做对比。发现对比结果一致对比：linux文件系统。与hdfs文件系统有不同之处。Rang...
2021-10-27 16:03:48
412
原创 hive Permission denied: user [anonymous] does not have
[root@apm-cdh03 ~]# beeline -u jdbc:hive2://apm-cdh02:10000/testConnecting to jdbc:hive2://apm-cdh02:10000/testConnected to: Apache Hive (version 1.2.1000.2.6.4.0-91)Driver: Hive JDBC (version 1.2.1000.2.6.4.0-91)Transaction isolation: TRANSACTION_RE.
2021-10-22 18:16:15
1567
原创 ambari 卸载smartsense
启动smartsense的时候报错：2021-10-20 11:00:34,912 INFO [main] CertificateManager:86 - Initialization of root certificate2021-10-20 11:00:34,912 INFO [main] CertificateManager:88 - Certificate exists:false2021-10-20 11:00:34,912 INFO [main] CertificateMana...
2021-10-20 14:32:45
995
原创 iptables 用法
#所有防火墙规则都放到一个shell脚本里，调整后就执行一遍。#!/bin/sh#首先先清空所有规则/sbin/iptables -F #-F: FLASH，清空规则链#for local/sbin/iptables -A INPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT #或者/sbin/iptables -A INPUT -s 127.0.0.1 -j ACCEPT #for web service（可选，若是入口才需要）/sbin/...
2021-10-19 18:02:23
273
原创 alternatives 链接失败：没有那个文件或目录
[root@apm-cdh01 ~]# alternatives --listlibnssckbi.so.x86_64 auto /usr/lib64/pkcs11/p11-kit-trust.sold auto /usr/bin/ld.bfdmta auto /usr/sbin/sendmail.postfixprint auto /usr/bin/lpr.cupspax auto /usr/bin/spaxhbase-conf ...
2021-10-15 00:26:48
720
原创 ssh远程无法链接
/etc/ssh/ssh_config line 57: Unsupported option "gssapiauthentication"Unable to negotiate with 172.18.8.154 port 58022: no matching key exchange method found. Their offer: diffie-hellman-group1-sha1,diffie-hellman-group-exchange-sha1未找到匹配的密钥交换方法在对端的/e
2021-10-11 11:08:38
259
原创 elasticsearch 7.6.2 xpack认证部署
一：xpack ca证书不加密部署1. 环境准备：centos 7.7 ELK 7.6.2[root@es_master kibana]# cat /etc/redhat-releaseCentOS Linux release 7.2.1511 (Core)禁用防火墙。或者配置防火墙策略2. 机器准备机器ip 安装应用 192.168.186.132 es master x-pack 192.168.186.130 es datanode x-pack...
2021-10-09 14:49:50
2471
转载 kafka配置详解
系统相关参数配置 配置详解 broker.id =1 ## 每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.id的话不会影响consumers log.dirs = /tmp/kafka-logs ## kafka数据的存放地址，多个地址的话用逗号分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2 port =6667 ## 提供给客户端响应的端口 message.max.bytes =1000000
2021-10-08 10:48:15
844
原创 定时清理mysql表数据 event
虚拟机安装maridb做测试，简单快捷。mysql安装教程_懂视生活_懂你更懂生活建个测试表create table test_event( id int, log_time datetime);写入测试数据insert into test_event (id,log_time) values (1,"2021-09-19 00:00:00");insert into test_event (id,log_time) values (1,"2021-09-20 00:00:0..
2021-09-29 17:47:27
106
转载 zookeeper 配置详解
安装部署：zookeeper集群的安装和部署 - 简书配置详解：ZooKeeper 配置文件（zoo.cfg）详解 - 扫地猿 - 博客园 参数名 说明 clientPort 客户端连接server的端口，即对外服务端口，一般设置为2181吧。 dataDir 存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直
2021-09-29 11:07:09
322
翻译 hadoop shell（翻译自官网）
Apache Hadoop 3.3.1 – Overview英文太渣，看得脑瓜疼，有时间就看了一遍，整理了一下下。appendToFile用法：hadoop fs -appendToFile <localsrc> ... <dst>将单个 src 或多个 src 从本地文件系统附加到目标文件系统。还从 stdin 读取输入并附加到目标文件系统。hadoop fs -appendToFile localfile /user/hadoop/hadoopfilehadoo
2021-09-27 11:23:24
196
原创 kafka常用命令
1、单机版测试安装解压安装包tar -xf kafka_2.13-3.0.0.tgzcd kafka_2.13-3.0.0/bin启动kafka自带的zk，可以看到2181端口监听sh zookeeper-server-start.sh ../config/zookeeper.properties &启动kafka，可以看到9092端口监听sh zookeeper-server-start.sh ../config/zookeeper.properties &..
2021-09-24 17:04:32
236
翻译 kafka命令（较全）
1、脚本命令的使用创建一个主题topic bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
2021-09-17 16:12:31
1095
原创 hadoop 命令
DFSShellHDFS以文件和目录的形式组织用户数据。它提供了一个命令行的接口(DFSShell)让用户与HDFS中的数据进行交互。命令的语法和用户熟悉的其他shell(例如 bash, csh)工具类似。下面是一些动作/命令的示例：动作 命令 创建一个名为/foodir的目录 bin/hadoop dfs -mkdir /foodir 创建一个名为/foodir的目录 bin/hadoop dfs -mkdir /foodir 查看名为/foodir/my...
2021-09-07 17:17:33
97
原创 resourcemanger报错：端口不可用
standbyresourcemanger机器报错端口不可用，8088端口正常，进程在，日志正常解决思路1、登录两台resourcemanger机器，查看/var/log/hadoop-yarn/hadoop-hadoop-resourcemanager-emr-header-1.cluster*.log日志是否有报错信息2、排查是否有自动拉起的日志：STARTUP_MSG: Starting ResourceManager，判断是否出现过active-standby的切换2021-08-.
2021-08-12 17:55:31
726
转载 awk 正则表达式
一、awk Extended Regular Expression (ERES)基础表达式符号介绍字符 功能 + 指定如果一个或多个字符或扩展正则表达式的具体值（在+（加号）前）在这个字符串中，则字符串匹配。命令行： awk '/smith+ern/' testfile 将包含字符smit，后跟一个或多个h字符，并以字符ern结束的字符串的任何记录打印至标准输出。此示例中的输出是： smithern, harry smithhern, anne ...
2021-07-29 15:55:15
446
原创 es routing问题
es 版本 7PUT /my_routingtest{ "settings": { "index": { "number_of_shards": 2, "number_of_replicas": 1 } }}PUT /my_routingtest/_mapping{ "_routing": { "required": true }, "properties": { "name": { ...
2021-07-28 16:53:49
290
原创 yarn 通过api查询sql任务
针对appid：application_1620381918837_260462替换成jobid：job_1620381918837_260462然后再替换到JobHistory的API接口获取到的数据是个很大的json，从里面找到hive.query.string 的值，通过URLDecoder.decode(json,"UTF-8")解析后就是mr的sql了https://www.cnblogs.com/tonglin0325/p/12455825.html...
2021-07-05 19:07:41
734
原创 Hbase 入门1
超详细知乎hbase入门https://zhuanlan.zhihu.com/p/145551967?utm_source=wechat_session博客文章：https://blog.csdn.net/lzxlfly/article/details/82229511读写流程https://blog.csdn.net/qq_43193797/article/details/86601182一、Hbase简介Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。依
2021-06-30 20:01:05
209
3
原创 es 删除文档
创建索引：PUT my_alias_v2 PUT my_alias_v2/docs/_mapping{"properties": {"id": {"type": "long"},"name": {"type": "text"},"counter": {"type": "integer"},"tags": {"type": "text"}}}写入四个文档：POST my_alias_v2/docs/_bulk{"index": {"_i...
2021-06-28 19:46:14
2882
1
原创 es 分片大小不均问题
很多认为Elasticsearch(以下简称ES)，同一个分片的主分片和副本分片文档数量肯定是样的，数据大小也是一样的。这个其实值说对了一半，文档数量是一阳台的没错，但是数据大小不一定一样。产生这种现象的原因在于，主分片和副本分片的segment数量可能不一样。...
2021-06-17 13:31:18
1843
1
转载 es集群节点之间分片个数不均匀问题
集群级分片分配rebalance 用于将集群中的分片进行均衡，保持各个节点的分片数量大致相等，当集群扩容或缩容，掉一个节点的时候，这过程会自动完成。这可能发生在初始恢复、副本分配、重新平衡或添加或删除节点时。场景介绍3个节点的es 集群，node1,node2,node3。node3由于故障，重启了节点。重启后node3上的一个副部分片由于某种原因没有恢复上线，集群的健康之是yellow。此时用es 的/_cat/allocation 命令查看发现，node3上的分片个数远少于其他两...
2021-06-01 15:19:50
2770
转载 elasticsearch使用7大原则，轻松玩转ES
elasticsearch使用7大原则，轻松玩转ES一、 硬件环境选择如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性；IO的提升，会极大改进ES的速度和性能；内存配置方面，一般来说，64G内存的机器节点较佳。二、系统拓朴设计ES集群在架构拓朴时，一般都会采用Hot-Warm的架构模式，即设置3种不同类型的节点：Master节点、Hot 节点和Warm节点。Master节点设置：一般会设置３个专用的maste节点，以提供最好的
2021-06-01 10:22:21
950
原创 hbase scan 部分用法
1、创建两张测试表hbase(main):044:0> create 'rtusers','address','info';put 'rtusers','05','address:city','guangzhou';put 'rtusers','05','address:contry','china';put 'rtusers','05','address:province','zhejiang';put 'rtusers','05','info:age','31';put 'rtus
2021-05-19 15:47:41
1872
原创 elasticsearch基础：跨集群搜索配置
1、在本地es执行以下命令，在远程实例中创建索引和文档，并插入数据。创建索引 PUT /twitter{ "settings" : { "index" : { "number_of_shards" : 3, "number_of_replicas" : 2 } }} 创建文档并插入数据 POST twitter/_doc/{ "user" : "kimchy", "po
2021-05-17 15:40:33
435
原创 elasticsearch遇到的问题(五) 各类问题集合一
问题1：链接超时问题描述用户反馈ES出现连接超时的情况告警，且为偶然现象原因用户在连接ES的过程中，连接时长因为网络波动等原因导致连接时间较长从而被设定的相关参数定义为超时而停止连接服务服务解决方案：https://blog.csdn.net/unix21/article/details/8743537建议把以下两个参数稍作调整，将其减小一些，让客户端能更快“发现”TCP连接被释放： net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepaliv..
2021-05-17 10:11:29
1784
1
原创 Elasticsearch基础：别名
别名测试//创建两个索引分别写入数据PUT my_alias_v1 PUT my_alias_v1/docs/_mapping{ "properties": { "id": {"type": "long"}, "name": {"type": "text"}, "counter": {"type": "integer"}, "tags": {"type": "text"} }}PUT my_alias_v2 PUT my_alias_v2/doc...
2021-05-14 12:33:55
131
转载 Elastic核心概念
什么是es什么是ES？ES是Elasticsearch的简称，Elasticsearch是一个分布式可扩展的实时搜索和分析引擎，一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎。Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene，学习成本高，且Lucene确实非常复杂。特点： 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索 实时分析的分布式搜索引擎 可以扩展到上百台服务器，处理...
2021-05-13 18:24:21
595
原创 elasticsearch遇到的问题(四) kibana问题解决
1、问题收集case by case1.1Kibana role角色编辑失败在kibana控制台上编辑角色，可是在点击 Roles时，无法跳转到编辑页面。排查日志发现，在反复在查这个系统索引。导致这个系统索引all shards failes。所以报错http code 500 ，服务内部错误解决办法：该系统索引是负责 xpack 功能下的 安全配置相关的信息，删了也可以重启之后也会生效， 只是 在kibana 里配置的功能就clear 了。重启如果无法解决，加大分页数也能解决问题..
2021-05-13 10:56:00
6801
原创 elasticsearch遇到的问题(三) jvm日志分析
一、指标promotion failed、concurrent mode failure、full gcfullgc会打满1个cpu，对于小规格的机器，cpu高的特征会很明显。参考jvm内存问题，寻找内存不足原因
2021-05-13 10:43:42
109
原创 elasticsearch遇到的问题(二) 慢查询的可能原因
1、首先确定集群的健康1）_cat/health?v2）检查集群健康的cpu ，io，内存，磁盘等指标是否都正常2、慢查询可能的原因（case by case）2.1 shards大小不合理遇到这么一个案例：1、客户反馈es集群存在很多慢查询，检查发现都是term查询，而且进行了sort排序，但是size是top 15，这样的查询不至于一直报慢查询。2、继续检查日志，发现所有慢查询都是一个索引报的，也就是其他的索引的查询都是正常的3、定位到索引后，_cat/shards/in
2021-05-13 10:41:42
5342
原创 elasticsearch遇到的问题(一) 底层修改同义词典synonyms.txt未生效，将同义词加到分词器也未生效
1、上传更新ik分词库，同名词库，更新上传同义词理解错热更新的意思以为不需要重启，没有重启整个集群，导致没有生效。https://help.aliyun.com/document_detail/137928.html?spm=5176.21213303.J_6028563670.7.4fe63edaBTmKOj&scm=20140722.S_help%40%40%E6%96%87%E6%A1%A3%40%40137928.S_hot.ID_137928-RL_%E7%83%AD%E6%9B%
2021-05-13 10:01:25
673
原创 ES读写数据的工作原理
一、es写数据过程1、客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点）2、coordinating node 对document进行路由（_routing机制），将请求转发给对应的node（有primary shard）3、实际的node上的primary shard 处理请求，然后将数据同步到replica node。4、coordinating node如果发现 primary node和所有replica node都搞定之后，就返回响应
2021-05-11 12:11:29
1909
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人