习惯了想你-CSDN博客

原创 ES常用的JAVA API语法

ES JAVA API请求地址：线上:集群名称: data_cluster集群地址: es.data…comtcp端口：9300http端口: 80POM文件配置<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>2.3.2</version&g

2020-12-25 14:41:06 2297

原创使用elasticsearch_exporter监控elasticsearch集群的状态

https://github.com/justwatchcom/elasticsearch_exporterhttps://github.com/justwatchcom/elasticsearch_exporter/releases/download/v1.1.0/elasticsearch_exporter-1.1.0.linux-amd64.tar.gz-------- 启动参数[[email protected] es-exporter]# ./elasticsear

2020-12-21 14:47:23 3576

原创 Chrome浏览器添加fehelper插件

参考地址： https://www.baidufe.com/fehelper/index/index.html该插件非常贴心的提供了 github 版本，可以直接下载下来。拖到Google插件栏，记得打开开发者权限点击设置可以打开很多插件功能，特别贴心好用，比JSONviewer 好多了...

2020-08-20 15:45:56 1563

原创 Mac设置iterm快捷登陆shell

编写shell脚本#!/usr/bin/expect -f set user caoke set password caoke set host 10.10.10.1 set timeout 30 spawn ssh $user@$host expect "*assword:*" send "$password\r" interact expect eof把文件保存到 /Users/pope/ssh/test 下打开iterm的 profiles点击 + ，

2020-08-20 15:40:34 808

原创 Elasticsearch节点角色切换，从data节点转变为master报错

由于在刚搭建es集群的时候，资源不足，所以master节点和data节点是没有拆分开的。经常造成master节点的load非常高，现在由于资源充足了，所以开始对节点角色进行改造。首先把节点上面的数据驱逐到别的节点上面，这个用 es-api 即可PUT _cluster/settings{ "transient" : { "cluster.routing.allocation.exclude._ip" : "172.18.1.1,172.18.1.2,172.18.1.3" }}然后修改

2020-07-10 19:51:10 2958

原创测试JAVA线程池核心数满了后什么时候开始创建新的线程

文章目录环境测试代码输出结果只要是Java面试，基本上线程池是没跑了。但是有个点总是卡在那里，不是很清楚，就是核心线程池数满了，没到最大线程数的时候。到底什么时候开始建线程呢，本文就从代码结果层面来测试一下。首先，我们来创建了一个线程池，设置核心数5个，最大线程数10个，任务队列10个，alive时间是2s，每个任务就是随机的sleep一会，主要用来占用时间。创建完线程后，每隔一秒钟，获取一下线程池的状态。根据输出发现，当任务数大于5个后，active数依然没变，只要任务数为16个的时候，activ

2020-07-10 19:11:35 3661 3

原创 ES指定分片移动到指定的节点

POST /_cluster/reroute{ "commands" : [ { "move" : { "index" : "索引名", "shard" : 4, "from_node" : "节点名", "to_node" : "节点名" } } ]}...

2020-07-10 16:28:17 1896

原创 ES各种节点的分工

你可以直接用 bin/logstash -f /etc/logstash.d/ 来运行。logstash 会自动读取 /etc/logstash.d/ 目录下所有 *.conf 的文本文件，然后在自己内存里拼接成一个完整的大配置文件，再去执行。Logstash 默认输出日志到标准错误。生产环境下你可以通过 bin/logstash -l logs/logstash.log 命令来统一存储日志。collectd 是一个守护(daemon)进程，用来收集系统性能和提供各种存储方式来存储不同值的机制。它会在系

2020-07-08 16:17:50 2390

原创 Pushgateway安装部署和使用

源码地址：https://github.com/prometheus/pushgateway下载安装包：https://github.com/prometheus/pushgateway/releases/download/v1.0.0/pushgateway-1.0.0.linux-amd64.tar.gz解压文件tar -zxvf pushgateway-1.0.0.linux-amd64.tar.gz修改文件名mv pushgateway-1.0.0.linux-amd64 pushgate

2020-07-08 15:40:04 2388

原创 Springboot监控整合actuator prometheus

文章目录使用的版本pom配置application配置添加consul自动发现采集pom中添加依赖application添加配置解决health=down的问题一个项目除了完成功能的开发外，程序的性能也是我们需要关注的。那么如何能够获得程序运行状态，各接口的执行耗时呢？springboot 提供了actuator 包来方便的完成这些指标的统计。然后结合prometheus收集存储这些指标值信息，然后通过prometheus这个时序性数据库，就可以方便的查询指标信息了。下面我们就开始进行Springbo

2020-06-17 18:19:37 5036

原创 ES报错this action would add [2] total shards, but this cluster currently has [5000]/[5000] maximum sha

文章目录版本es742,在使用logstash写索引的时候，突然发现logstash日志在报错报错信息[2020-06-17T12:01:18,241][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"bizlog-wxxcx-2020.06.17", :_t

2020-06-17 12:16:13 7062 3

原创在docker中使用logstash

下载logstash镜像，这里使用6.2.2版本docker pull docker.elastic.co/logstash/logstash-oss:6.2.2本地运新这个镜像，docker run -d docker.elastic.co/logstash/logstash-oss:6.2.2查看logstash运行情况docker psCONTAINER ID IMAGE COMMAND

2020-06-15 21:41:42 3511

原创 Docker Registry搭建以及在K8S中使用

文章目录创建registry在 K8S 中使用私有镜像（我还没有完成）创建registry1.拉取registry镜像:docker pull registry:2.7[root@ ~]# docker pull registry:2.72.7: Pulling from library/registry486039affc0a: Pull completeba51a3b098e6: Pull complete8bb4c43d6c8e: Pull complete6f5f453e5f2d:

2020-05-13 23:34:51 3118

原创 Logstash中filter常用的语法

1.根据条件删除当前消息 if "caoke" not in [docker]{ drop {} } if "caoke" != [className]{ drop {} }删除字段remove_field => ["message"]添加字段mutate{ add_field => { "timestamp" => "%{[message]}" 　　} }转换字段类型mutate{

2020-05-11 11:40:55 10148

原创 CentOS Docker 安装和配置镜像加速和安装Registry

文章目录CentOS Docker 安装卸载旧版本安装 Docker Engine-Community设置仓库安装 Docker Engine-Community要安装特定版本的 Docker Engine-Community启动 Docker。配置Docker 镜像加速安装Registry本机打标签推送其它机器推送配置docker 服务开机启动CentOS Docker 安装卸载旧版本su...

2020-04-27 20:27:43 220

原创给已经运行的Nginx安装nginx-module-vts模块

文章目录背景环境编译Nginx添加监控模块监控采集exporter采集直接采集QA附录start.shstop.sh背景公司新上线一个监控系统，想对每一个请求的状态进行统计(1xx,2xx,3xx,4xx,5xx,request,response)。便于知道每一个url的请求量以及成功率。经过调研发现，nginx-module-vts 可以实现我们的需求，但是改模块是第三方模板，需要对Ngin...

2020-04-24 18:36:05 4856 2

原创 log4j2配置说明.md

配置节点说明根节点Configuration：有 Appenders 和 Loggers 两个子节点。status：用来指定 log4j 本身打印日志的级别。monitorinterval：用于指定 log4j 自动重新配置的监测间隔时间，单位是秒(s)，最小的间隔时间是5s。Appenders 节点有常见的 Console、RollingFile、File 三种子节点。...

2020-04-07 23:30:37 274

原创 log4j配置说明.md

文章目录基本概念AppenderLayout配置墙裂推荐使用xml方式配置，结构比较清晰，配置方便易懂Properties 配置解析配置Logger配置日志信息输出Appender配置日志信息的输出格式LayoutXML配置注意基本概念Logger:日志记录器。负责记录日志，是category的子类。category:类别。可以设置类下所有的Logger，类似于java中的包，效果与Logg...

2020-04-07 23:29:36 349 1

原创 JVM测试指针压缩

通过es启动指定内存大小测试28Gheap address: 0x00000000c0000000, size: 28672 MB, Compressed Oops mode: Zero based, Oop shift amount: 330Gheap address: 0x0000000080000000, size: 30720 MB, Compressed Oops mode: Z...

2020-04-07 23:14:38 849

原创解决修改文件权限后，git提示文件有修改的问题

背景从git上面pull下来脚本文件，在Linux上面执行。执行chmod +x 后，如果再次有修改文件，git pull 的提示会终止。每次都要使用 git checkout -- <filename> 来强制覆盖文件，然后才能再次下拉文件解决方法进入项目文件夹，配置git 忽略文件权限git config core.filemode false以后就不会在有pull文...

2020-03-24 18:00:07 2290

原创 Linux磁盘空间的查看和统计

文章目录Linux 查看磁盘空间可以使用 df 和 du 命令dfdudu -shdu log2012.logdu -h home实例Linux 查看磁盘空间可以使用 df 和 du 命令dfdf 以磁盘分区为单位查看文件系统，可以获取硬盘被占用了多少空间，目前还剩下多少空间等信息。例如，我们使用df -h命令来查看磁盘信息， -h 选项为根据大小适当显示：显示内容参数说明：File...

2020-01-13 23:18:08 3430

原创 Nginx安装及使用nginx-vts-exporter监控Nginx状态信息

文章目录准备安装包安装指标释义，{NAMESPACE} 可以在exproter启动的时候指定Server mainServer zonesFilter zonesUpstreams实例访问metrics，返回的数据样例准备安装包nginx-export 官方地址https://github.com/hnlq715/nginx-vts-exporter下载 Nginx-exporterwg...

2020-01-03 20:43:33 10014 1

原创 Pushgateway的安装和使用

文章目录介绍安装使用clienthttpQA介绍pushgateway是Prometheus下的一个组件，用来当做采集对象和Prometheus的代理，Prometheus会定时的从gateway上面pull数据。由于服务部署在容器中，服务的ip会经常的变化，导致Prometheus无法直接拉取到每个target的数据。问题：多个服务的数据，推送到pushgateway，如果push挂了...

2019-12-17 18:15:52 4800

原创 Linux find 常用语法

Linux find 常用语法介绍命令格式常用的命令举例按照文件名搜搜按照文件类型搜索按照文件大小搜索逻辑运算符其他选项-exec选项介绍Linux find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。命令格式find 搜索路径 [选项...

2019-12-11 18:25:26 270

原创 Linux 安装git，maven，node，gitbook

文章目录gitmavengitbookgityum install gitgit -vmavenwget http://mirrors.cnnic.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxvf apache-maven-3.5.4-bin.tar.gz修改环境变量...

2019-11-26 14:59:16 190

原创 ElasticSearch Head 插件作为服务独立部署，为多个集群提供看板

文章目录前言背景环境准备安装headnodeNginx前言背景elasticsearch的head插件相信很多人都了解，安装完elasticsearch后用plugin命令安装一下head插件elasticsearch/bin/plugin -install mobz/elasticsearch-headopen http://localhost:9200/_plugin/head/但...

2019-11-21 15:18:40 472

原创 Logstash @timestamp和正常时间差8小时的解决办法

最近在做 logstash 消费 kafka 写到 es 的项目中，在 kibana 中查看发现 logstash 写入的 @timastamp 比真实服务器的时间少了8个小时。并且生成的文件中，日志切分的格式也是差了8小时。例如：2019-01-01的日志里面会写入2019-01-02 08:00:00 前的日志。因为logstash默认使用的是UTC时间。使用版本：namever...

2019-11-06 12:12:13 7567 2

原创 ElasticSearch 常用语法规则

文章目录Query 操作查询的主要标签聚合分组计算模板多次下转聚合Rangemulti-index和multi-type搜索示例es查询多条件模板多字段值匹配 multi_matches通过查询删除数据高版本才支持包含高亮聚合过滤布尔的模板terms聚合多個aggregations聚合给字段分组，分组后再统计高亮展示query_string 查询多个filter,must,should拼接mu...

2019-11-01 16:41:53 1594

原创 IDEA快速插入当前时间

在coding的时候，一个文件很可能会经常的改动，每次需求变更都会修改代码。于是就想插入一下时间，以便在历史查看的时候随时知道自己是在什么时间点修改的代码。以便于回溯。下面就是用 idea 添加快捷键的方式，生成当前时间戳。打开setting，搜索 live templates，添加group添加group添加templates编辑 templates 的属性，名称，...

2019-10-09 15:01:55 9532 7

原创 Linux系统及硬件相关信息查看方法

文章目录Linux 系统信息系统信息查询大全Linux查看物理CPU个数、核数、逻辑CPU个数查看CPU信息（型号）内存网卡Linux /proc目录详解参考引用Linux 系统信息Linux查看版本当前操作系统内核信息uname -aLinux VM_0_6_centos 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC...

2019-09-30 12:23:36 417

原创修改CentOS默认yum源为国内镜像，解决No more mirrors to try.

公司新给服务器，上面没有vim，于是准备自己安装一个。yum -y install vim* 即可自动下载并安装。在服务器安装软件的时候，报错 No more mirrors to try. yum源有问题，修改为国内镜像，以下为修改为网易的yum源，也可以使用阿里的。1. 备份原镜像目录 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum....

2019-09-27 11:29:56 716

原创 filebeat收集Nginx访问日志到kafka，logstash消费到elasticsearch，kibana展示报表

文章目录配置规则Nginxfilebeatkafkalogstash附录logstash 相关功能urldecodelogstash 写入输出kafka范例vim快捷键参考文章需求背景：有一个对用户行为的分析需求，类似于用户在浏览某网页的时候，上报用户的行为信息。请求某个域名，参数信息带在url上面。类似于：http://www.baidu.com?content={"a:"b"}&us...

2019-09-25 16:14:55 1951

原创 ElasticSearch2.2.1集群迁移发生的问题

这里写自定义目录标题背景准备启动问题启动不起来加入不了集群主分片丢失副本不恢复处理方式一处理方式二处理方式三附带Eleastisearch6.2.2 索引的时候报了一个错误：索引副本未分配的原因elasticsearch高级配置之------分片分布规则设置分片分布相关的设置：自定义分片分布规则强制分布规则分片分布过滤背景公司内网测试环境的es集群，机器性能极差，每个节点只能分配2个G的内存，...

2019-09-17 14:22:17 538

原创多线程中静态变量，普通变量（实例变量），局部变量，静态方法，普通方法的线程安全问题

文章目录测试静态变量测试普通变量单例测试普通变量非单例测试静态方法测试普通方法多线程中静态变量，普通变量（实例变量），局部变量，静态方法，普通方法的线程安全问题类型是否安全存储位置解释静态变量线程不安全方法区静态变量为类所持有，为所有对象共享，全局只有一份，一旦静态变量被修改，其他对象均对修改可见，所以线程不安全普通变量（实例变量）单例模式下不安全...

2019-08-13 19:18:53 1944

原创 SpringBoot整合Thymeleaf完成页面布局

文章目录Springboot中的配置配置页面布局以前一直用velocity做前端页面的展示，最近用Springboot项目后，看大家都推荐使用Thymeleaf，遂想尝试一下于是就遇到了以下踩到的坑，其实最麻烦的是把开源的AdminLTE剥离出来，我只需要一个菜单栏，其他无用的东西先剔除。费了很大的力气剥离出去后，如何使用在thymeleaf上面又是个问题。折腾了一天后，终于完成了，深深的舒...

2019-05-17 17:37:20 2377

原创浏览器报警告，Failed to decode downloaded font和OTS parsing error: Failed to convert WOFF 2.0 font to SFNT

文章目录静态资源文件拦截字体报错 Failed to decode downloaded font静态资源文件拦截在整合一个前端框架到我的项目中的时候，浏览器报404，这个很容易解决，Spring拦截器给拦截了，在Spirng中配置一下不拦截规则即可。配置Spring拦截规则@Configurationpublic class WebMvcConfig implements WebMv...

2019-05-17 16:38:39 7038 4

原创拓展Spring-xml标签,自定义个性化标签注入到Spring容器中

拓展Spring-xml标签,自定义个性化标签背景概述实践创建一个xsd文件创建一个bean类创建spring表述文件Handler处理类标签解析器在配置中添加bean测试从容器中取到bean背景最近看一个项目，在spirng配置文件中，引用了非正常标签，上面配置几个参数，启动后就可以在别的bean中注入了于是就引发了我的好奇心，决定一探究竟概述spring在启动的时候，读取配置文件的...

2019-04-25 18:35:23 591

原创日志分析，查询时间区间段的日志

在查看线上问题的时候，一般我们会通过关键字找到发生问题的日志这样虽然可以抓到错误信息的行，但是看不到错误的上下文信息分析问题的时候往往需要查看前后一段时间的日志所以总结了几种参看指定时间段日志的方法sed注意：查询的日期必须存在，这个可以通过自己找到关键行预估出时间段，如果查不出来日志可以考虑是这个问题并且日期的格式需要匹配上，其实日期也是当做字符串比较的，毕竟日期是一直增长的p 必...

2019-04-20 16:38:43 2644