- 博客(22)
- 收藏
- 关注
RSS订阅原创 ElasticSearch设置日志保存时间-自动删除
ElasticSearch提供索引生命周期管理（6.6版本开始），参考地址：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/_setting_up_a_new_policy.html以auditbeat审计日志的管理为例来介绍elasticsearch的生命周期管理策略：ElasticSearch索引生命周期管理实际场景中我们一般为索引创建一个模板，以auditbeat-7.9.2为例：GET _template/a
2020-11-17 22:13:47
9633
原创 Gitlab+Docker构建流水线部署
【架构】整体的设计思路是通过gitlab的runner将版本发布到各个环境，通过Apollo配置中心来区分环境配置，做到一次构建到处运行。生产环境镜像库根据实际情况来定，有些用的AWS ECR，有些是开源的，开发和测试环境的镜像推送到harbor库，harbor是开源的镜像管理工具。参考地址：https://github.com/goharbor/harbor【Apollo配置中心】Apollo是携程开源的配置中心，Apollo资料参考地址：https://git
2020-11-10 20:57:44
794
原创 Auditbeat日志审计方案
架构整个架构分采集器和存储、查询三个部分。【采集器】采集器使用Auditbeat进行审计日志采集。【存储】采集后的日志直接输出到ElasticSearch，考虑到我们的日志较少切Auditbeat具备重传功能，因此，第一个版本先使用单节点的ElasticSearch进行试运行，实际运行过程中做好ElasticSearch的监控，遇到ElasticSearch故障时可以及时启动。【查询】查询使用Kibana，与ElasticSearch对接，进行日志分析和监控。【配置管理】
2020-11-04 16:51:07
1950
原创 Auditbeat让审计规则动态生效
【Auditbeat让审计规则动态生效】1、修改auditbeat.yml，配置动态加载，添加如下配置：auditbeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: truereload.period: 10s说明：path:制定动态的目录，当目录下的文件发生变化时，auditbeat会监听到变化，重新加载配置让新规则生效。reload.enabled:配置是否启动动态加载...
2020-11-04 16:50:09
728
原创 二阶段协议提交和三阶段协议提交
背景前文讲到分布式理论CAP原则，满足分区容错性的同时要解决数据的最终一致性，也就是说分布式节点数据或状态在某一时刻要达到最终一致。分布式系统中的节点通信存在两种模型：共享内存（Shared memory）和消息传递（Messages passing）基于消息传递通信模型的分布式系统，不可避免的会发生以下错误：进程可能会慢、被杀死或者重启，消息可能会延迟、丢失、重复、节点间网络可能会故障，为达到数据的最终一致，前人经过不断的优化设计了两段阶段协议提交和三阶段协议提交算法，以及业界公认的分布式一致
2020-05-24 17:59:36
480
原创 分布式理论CAP原则-为什么不同同时满足三个条件？
CAP理论CAP原则又称CAP定理，指的是在一个分布式系统中， Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。一致性（C）：在分布式系统中的所有数据备份，在同一时刻是同样的值。（等同于所有节点访问同一份最新的数据副本）可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求，这里强调的是在有限是时间内返回结果。（对数据更新具备高可用性）分区容忍性（P）：分布式系统在遇到任何网络分
2020-05-23 10:14:12
825
原创 Java性能监控工具-jmap-jps-jstack-jinfo-jhat-jstat
Java性能监控工具1、jps：虚拟机进程状况工具jsp命令格式：jps [options] [hostid]执行样例：jps -l以上命令是输出运行在本机的进程主类全名，如果进程执行的是Jar包，则输出Jar路径jps工具主要选项 选项 作用 -q 只输出LVMID，省略主类的名称 -m 输出虚拟机进程时传递给主类main()函数的参数 -l
2020-05-20 22:04:05
228
原创 35之后程序员何去何从
35岁已经是IT界公认的分水岭，今天我想聊的内容也是关于35岁何去何从的话题，探讨两个问题：1、美国为何没有35岁的分水岭；美国的教育背景：美国的职业教育从小学毕业前开始，在美国,学校喜欢请来各行各业的人,让他们介绍自己的工作,展示拿手的绝活,让孩子们体验其中的乐趣一般在学生毕业前夕会有一个职业日，职业日前先征求意见这样的活动，开启对今后职业的兴趣，职业日前的一个月，一般会进行民意调查表，...
2020-04-27 21:55:21
1587
原创 Zookeeper+Kafka+Log4j日志采集与管理系统
1、Zookeeper+Kafka+Log4j-日志采集与管理随着系统规模变大和复杂度上升，我们的日志管理变得复杂，一个完整的系统通常会有几十上百个节点。如何方便管理我们的日志，动态的调整我们的日志级别变得非常重要，前文讲过如何构建一个千亿级的日志搜索系统。本篇文章重点介绍如果搭建一套日志采集与管理系统，重点包含如下几个功能：1) 应用节点的状态监控，离线及时告警、断线重连；2...
2020-04-25 16:58:12
729
原创 ElasticSearch倒排索引-构建千亿级日志分析系统
1.什么是倒排索引Elasticsearch 使用一种称为 倒排索引 的结构，它适用于快速的全文搜索。一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表。正排索引：通过文档查找KEY，优点：易维护，每新增一个doc只需要把每个key在该doc中出现的次数和位置进行维护即可；缺点：搜索耗时太长倒排索引：通过KEY来查找doc，用户在搜索引擎搜索框输入查询词...
2020-04-22 21:54:49
315
原创 ElasticSearch集群的动态伸缩-构建千亿级日志分析系统
在介绍索引的优化和集群的动态伸缩前，我们需要先了解文档是如何分布到集群的，又是如何从集群获取的。1、文档是如何分布到集群的，又是如何从集群获取的当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？当我们创建文档时，它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢？首先这肯定不会是随机的，否则将来要获取文档的时...
2020-04-21 19:44:21
323
原创 ElasticSearch离线分析-构建千亿级日志分析系统
1、背景介绍上篇讲到实时日志的采集和分析，本篇介绍离线日志的分析，为何要做离线日志分析？业务场景的不同，系统的规模扩大后，日志量随着上升，上升到需要付出昂贵的成本才能满足分析，动辄每天几TB的日志，给索引和查询都带来很大的压力，为尽量满足查询分析的诉求又合理控制成本，我们需要设计一套离线日志采集与分析系统，主要满足如下业务场景：1)回溯半个月前的问题，遇到长假系统会在线上运行一周无人分...
2020-04-20 20:49:19
675
原创 ElasticSearch跨集群查询-构建千亿级日志分析系统
ElasticSearch集群可以处理上PB的数据，集群规模可以成百上千，但要驾驭这么大规模的集群前我们需要对ElasticSearch足够了解，即便使用目前流行的云服务我们也要对ElasticSearch有一定的研究，才能更好的满足我们的业务。本篇主要讲跨集群查询。1、跨集群查询跨集群查询允许你的请求查询多个集群的数据，这个特性帮助我们更好的设计我们的架构。分布式系统或微服务里将系统...
2020-04-20 19:56:01
791
原创 ElasticSearch构建千亿级日志分析系统-实时分析
摘要：分布式系统是目前很常见的解决方案，随之而来的是分析定位问题复杂度变高，本篇文章主要探讨如何构建一个日志采集与分析系统。
2020-04-16 21:22:57
862
原创 ELK(九)ElasticSearch5.XELK(七)ElasticSearch搜索
ES5.X优化1、设置索引的最大字段数curl -u elastic -XPUT localhost:9200/_cluster/_settings -d '{ "index.mapping.total_fields.limit": 2000 }' 2、5.X刷盘index.refresh_interval: 30scurl -u
2017-08-16 15:12:35
305
原创 ELK(八)ElasticSearch2.X版本优化
ES2.X版本1、提高写入速度更新刷磁盘间隔，提高写入效率curl -XPUT http://localhost:9200/syslog-2016.07.22/_settings -d '{"index" : {"refresh_interval" : "5s"} }'获取setting信息curl -XGET http://localhost:9200/syslog-2016
2017-08-16 15:11:27
325
原创 ELK(七)ElasticSearch搜索
1、DSL语句查询ElasticSearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL)，它允许你构建更加复杂、强大的查询。DSL(Domain Specific Language)特定领域语言)以JSON请求体的形式出现。（以下搜索语句总index表示你的index名称，type表示你的type名称）例如要查找名字为“Jack”的文档：GET /index/typ
2016-03-05 17:50:31
915
原创 ELK(六)ElasticSearch索引
1、ElasticSearch中存储文档的过错称之为索引，ElasticSearch中文档归属于一种类型(type)，而这些类型存在于索引(index)当中，对比关系型数据如下：Relational DB -> Databases -> Tables -> Rows -> ColumnsElasticsearch -> Indices -> Types -> Documents ->
2016-03-05 17:32:34
3966
1
原创 ELK(四)ElasticSearch Java API
package com.ucloudlink.oss.elasticsearch;import java.io.Serializable;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.concurrent
2016-03-05 15:16:33
2840
3
原创 ELK(三)安装Kibana
1、下载Kibana，下载地址：https://www.elastic.co/downloads/kibana。下载 LINUX 64-BIT版本（根据操作系统版本下载）。2、解压到/usr/local/kibana。3、进入Kibana安装目录，进入config目录，打开kibana.yml文件，修改如下配置属性修改为说明
2016-03-05 15:06:55
346
原创 ELK(二)安装logstash
1、解压到/usr/local/logstash2、测试logstashbin/logstash -e 'input { stdin { } } output { stdout {} }'3、配置logstash，创建performancelog.conf文件input { file { path => "/home/yiyi/perflogs/*.lo
2016-03-05 15:03:10
302
原创 ELK(一)ElasticSearch集群环境安装
1、下载elasticsearch-2.2.0.tar.gz。下载地址：https://www.elastic.co/downloads/elasticsearch2、解压到/usr/local/elasticsearch。3、修改ElasticSearch配置进入ElasticSearch安装目录，进入config目录，打开elasticsearch.yml文件，修改如下配置
2016-03-05 14:45:14
501
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人