- 博客(377)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 信创环境ES索引管理脚本：close, delete
1, 脚本内容: es-close-del.sh[root@myprojtest001 ]# cat es-close-del.sh#/bin/bash#elastic地址ELASTIC_URL=127.0.0.1:9200#默认的删除时间DELETE_MONTH=3#默认的关闭时间CLOSE_MONTH=1#默认index#INDEX_NAME=s_awqed_INDEX_NAME=ES_USER_PWD=elastic:123456if [[ "${DELETE_MONTH
2024-04-01 09:52:03
316
原创 java进程内存分析工具-生成core dump文件，并读取分析：jmap, jhat
【代码】java进程内存分析工具-生成core dump文件，并读取分析：jmap, jhat。
2023-11-08 11:19:17
726
原创 gitlab 离线安装问题解决：NOKEY，signature check fail
gitlab-ce NOKEY signature check fail
2023-10-20 18:11:04
1121
原创 python脚本：解析命令行参数，读取csv文件，调用http接口，解析json数据, 读mysql
【代码】python脚本参数解析。读取csv文件，调用http接口，解析jsons数据
2023-02-03 16:12:36
365
1
原创 Prometheus + Grafana 监控和告警
重启Prometheus 主程序，查看加载到的告警配置 （点击 Alerts 或Status–> Rules）查看采集器状态（数据接入接口地址）：Status --> Targets。以下用node export为例：默认启动端口 9100。编辑 rules/node_alert.yml。
2022-10-26 10:57:19
7266
原创 CDH 端口未授权访问：hdfs-50070, yarn-8088, jetty漏洞修复
【代码】CDH 端口未授权访问：hdfs-50070, yarn-8088, jetty漏洞修复。
2022-10-05 15:53:14
4696
15
原创 heketi管理glusterfs，k8s基于glusterfs创建storageclass
heketi 项目介绍：https://github.com/heketi/heketi要点概况：参考的文档：https://www.jianshu.com/p/8f36e59ae4f8heketi 二进制包下载：https://github.com/heketi/heketi/releases编写systemd启动文件
2022-07-05 17:30:21
1561
原创 截取分发指定行的数据：sed，clickhouse-client导入数据
1，使用场景使用clickhouse（分布式表–> 多个本地表分片），导入数据时，为了不影响集群性能，不走分布式表，而走本地表完整截取一个文件，并分发到不同的地方处理，数据不出现重复2，脚本详情#!/bin/bash[ $# -lt 1 ] && echo "usage: sh $0 xx.csv" && exitfile=$1count=` wc -l $file |awk '{print $1}' `hosts=(192.168.56.1
2022-04-28 17:26:53
360
原创 nginx外网 + harbor拉取推送镜像
1，问题描述nginx + harbor nginx容器配置： 外网nginx代理后harbor域名：harbor01.io harbor.cfg ( hostname = 11.243.32.211 ) ---> pull harbor01.io/xx/yy err harbor.cfg ( hostname = harbor01.io ) ---> pull harbor01.io/xx/yy ok, push err common/co
2022-04-25 10:58:42
4013
原创 wrapper后台启动java程序
1，下载wrapper下载地址：https://wrapper.tanukisoftware.com/doc/english/download.jsp#stable2，使用wrapper后台启动java程序2.1，编写java样例程序HelloWorldServer.java具体代码参考：https://wrapper.tanukisoftware.com/doc/english/app-hello-world-server.html#sourcecom.my.Test2public clas
2022-04-15 18:10:58
1492
原创 MongoDB 分片集群安装
文章目录1，安装mongodb服务2，配置分片集群3，启动各服务，验证集群配置mongos连接各分片1，安装mongodb服务#安装软件包[root@c7 mongodb]# rpm -qf /usr/bin/mongomongodb-org-shell-5.0.7-1.el7.x86_64[root@c7 mongodb]# rpm -qf /usr/bin/mongodmongodb-org-server-5.0.7-1.el7.x86_64[root@c7 mongodb]# rpm -
2022-04-15 14:51:26
1173
原创 Linux交互式编程：expect
1，执行shell命令：需要远程登录，并输入密码样例1#ssh xx@ip 执行命令，需要交互式确认：主机是否授信，输入登录密码#[test@c7 ~]$ ssh vagrant@localhost#The authenticity of host 'localhost (::1)' can't be established.#ECDSA key fingerprint is SHA256:7IYMcIBmMQ6QAekpkziKLrWvaTkRCWR9O6HRKIcXt6I.#ECDSA ke
2022-04-15 10:48:39
1303
原创 普通用户启动Clickhouse
文章目录1，场景说明2，修改启动脚本：使用ck用户启动服务3，ck用户启动服务1，场景说明考虑安全和权限问题，安装完程序以后，银行等企业一般会收回root权限，此时有些服务可能启动失败，例如clickhouse服务继上一篇Clickhouse集群安装以后 https://blog.csdn.net/eyeofeagle/article/details/1221937192，修改启动脚本：使用ck用户启动服务#1，ck 用户可登录echo clickhouse |password clickhou
2022-03-23 09:52:57
2024
3
原创 nacos 安装配置
文章目录1，下载编译后压缩包2，修改配置，启动服务2.1 standalone模式2.2 cluster 模式1，下载编译后压缩包参考文档： https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html2，修改配置，启动服务2.1 standalone模式sh bin/startup.sh -m standalone2.2 cluster 模式#1,集群配置文件： 请每行配置成ip:port（请配置3个或以上节点）[root@c7
2022-03-03 17:29:08
1771
原创 hive脚本分析：加载第三方jar包
1, hive安装目录[root@bigdata4 ~]# tail /export/hive/conf/hive-env.shexport HADOOP_HEAPSIZE=2048export HADOOP_CLIENT_OPTS="-Xmx2g -Xms2g -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"HADOOP_HOME=/export/hadoopHADOOP_CONF_DIR=/export/common/hadoop/con
2022-02-23 18:26:45
1761
原创 canal: mysql数据实时同步kafka
文章目录1，环境准备：zk, kafka, mysql-mastermysql启用binlog2, 启动zk, kafka2，安装配置canal3，测试使用官网介绍：https://github.com/alibaba/canal/wiki/Introduction1，环境准备：zk, kafka, mysql-master角色IPmysql-master192.168.56.1 (windows）zk, kafka, canal1,canal2192.168.56.7
2022-02-14 15:27:20
913
原创 OLAP引擎：clickhouse, presto
1, clickhousea, 安装服务sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64sudo yum install clickhouse-server clickhouse-client/etc/in
2021-12-28 16:20:14
2351
原创 配置sftp服务
文章目录1, 修改ssh配置2, 验证sftp登录1, 修改ssh配置[root@c7 ssh]# vim /etc/ssh/sshd_config# override default of no subsystems#Subsystem sftp /usr/libexec/openssh/sftp-server# Example of overriding settings on a per-user basis#Match User anoncvs# X11F
2021-12-27 13:47:50
1141
原创 ElasticSearch 安装IK分词器
1，ES安装ik分词器#1. ES安装IK分词器：ES版本：5.4.3 == IK分词器版本：5.4.3# ES-IK分词器下载：https://github.com/medcl/elasticsearch-analysis-ik/releases?page=12# https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.4.3/elasticsearch-analysis-ik-5.4.3.zip[root@
2021-12-17 10:12:10
2174
原创 opentsdb 安装使用
文章目录1，编译安装opentsdb启动服务1，编译安装opentsdb下载源码，编译：http://opentsdb.net/docs/build/html/installation.html[root@c73 ~]# git clone git://github.com/OpenTSDB/opentsdb.git[root@c73 ~]# cd opentsdb[root@c73 opentsdb]# lsAUTHORS build-bigtable.sh configure.a
2021-11-25 13:45:30
1530
原创 shell: 读取ini配置文件，解析长格式参数，设置字体颜色
使用awk 读取ini配置文件[root@c7 aa]# head -5 a.ini[MYSQL]DATABASE_NAME = wolf2DATABASE_USER = rootDATABASE_HOST = 127.0.0.1[REDIS]DATABASE_NAME = test[root@c7 aa]# awk -F ' = ' '/\[MYSQL\]/{a=1}a==1 && $1~/DATABASE_NAME/{print $2;exit}' a.iniwo
2021-11-22 17:44:01
918
原创 Rancher安装k8s: rke高可用集群
文章目录1，启动rancher2，页面创建k8s集群rke概念：https://docs.rancher.cn/docs/rancher2/cluster-provisioning/rke-clusters/_index/1，启动rancher考虑高可用(3节点3备份)： mount -t glusterfs 192.168.56.7:/gluster_out1 /exportdocker run -d --restart=unless-stopped \ -p 8080:80 -p 44
2021-11-08 09:07:30
2604
原创 PostgreSQL初步使用: psql
文章目录1, 服务安装2, 客户端连接a, SQL语法：创建用户和所属数据库b, psql命令(允许远程连接)1, 服务安装安装文档：https://www.postgresql.org/download/linux/redhat/sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmsudo yum instal
2021-11-03 15:20:54
306
原创 beeline 支持多条sql, 启用kerberos的权限问题
文章目录1， 方式1: -e 'sql1' 'sql2' 'sql3'2，方式2: !sql sql1; sql2; sql31， 方式1: -e ‘sql1’ ‘sql2’ ‘sql3’[root@hw10 ~]# beeline -e "show databases" "use test" "show tables" "select * from score limit 2" 'create table t1 like score stored as textfile'SLF4J:
2021-09-30 09:14:38
1806
原创 jupyter notebook 安装使用
文章目录1 ,安装pip配置pip源2, pip 安装 jupyterlab1 ,安装pippython3 ：wget https://bootstrap.pypa.io/get-pip.pypython2.7：wget https://bootstrap.pypa.io/pip/2.7/get-pip.pypython get-pip.py配置pip源https://mirrors.huaweicloud.com/homemkdir ~/.pip/cat > ~/.pip/p
2021-09-18 17:04:58
448
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人