- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 基于ELK的分布式日志存储、检索系统
目录前言：一、ELK概念二、ELK协同前言：随着应用发布方式朝着微服务化和容器的发展，传统的单节点日志查看，已难以满足大规模、大集群的部署架构。一个统一的分布式日志存储、查询系统，是迫切的需求。而ELK的架构可以很好的解决这个问题。一、ELK概念E代表的是Elasticsearch，是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码
2020-07-29 16:57:11
282
原创 JAVA 日志脱敏实现
业务诉求：针对敏感数据进行脱敏输出，包括手机号、姓名、密码、身份证号、银行卡号和地址等，一般金融系统和电商系统在审计时要求会比较严格，需要进行脱敏输出。脱敏方案的对比：方案 优点 缺点 适用场景 JAVA原生实现 1、适配任意日志组件 2、定制化脱敏，效率高 1、侵入代码 2、新增脱敏模式，需要升级改动 1、新项目 2、有资源进行代码改造 3、允许代码侵入 基于日志组件实现
2022-04-21 11:48:51
2363
原创 Bean Validator之自定义入参枚举校验
Bean Validator之自定义入参枚举校验前一篇文章Bean Validator详解中详细介绍了Bean Validator的相关用法。此时，会发现如果想要校验入参是否在我们定义的某个枚举范围内，Bean Validator好像并没有对应的注解可以使用。现在，让我们来讲讲如何实现一个基于枚举的自定义入参校验。一、自定义注解import javax.validation.Constraint;import javax.validation.ConstraintValidator;impo
2020-08-05 20:44:07
729
原创 Bean Validator详解
Bean Validator一、jdk内置标签Bean Validation 中内置的 constraint：@Null 被注释的元素必须为 null@NotNull 被注释的元素必须不为 null@AssertTrue 被注释的元素必须为 true@AssertFalse 被注释的元素必须为 false@Min(value) 被注释的元素必须是一个数字，其值必须大于等于指定的最小值@Max(value) 被注释的元素必须是一个数字，其值必须小于等于指
2020-08-03 14:29:39
2484
原创 基于ELK的分布式日志存储、检索系统之Elasticsearch
目录基于ELK的分布式日志存储、检索系统之ElasticsearchElasticsearchElasticsearch
2020-07-29 16:53:39
281
原创 基于ELK的分布式日志存储、检索系统之Kibana
Kibana一、定义Kibana是一个免费且开放的用户界面，能够让您对 Elasticsearch 数据进行可视化，并让您在 Elastic Stack 中进行导航。您可以进行各种操作，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。二、环境搭建1、基于docker下载镜像：docker pull kibana:7.8.0在本地创建kibana/data、kibana/config两个目录，用来映射容器中的数据和配置文件，并新增kibana.yml。kibana.yml内容如下：
2020-07-29 16:53:24
210
原创 基于ELK的分布式日志存储、检索系统之数据收集
数据收集一、收集模式数据收集模式可以根据行为模式，分为应用直连上送和中间异步上送。1、直连上送以java+log4j2为例：通过socket appender上送log4j2配置:<appender><Socket name="Logstash_client" host="localhost" port="5044" protocol="TCP"> <PatternLayout pattern="${PATTERN}" />
2020-07-29 16:53:00
212
原创 基于ELK的分布式日志存储、检索系统之Filebeat
Filebeat一、定义Filebeat是一个轻量级的数据收集器，它能够监控log文件和事件，并将数据发生给LogStash和elasticsearch。二、原理Filebeat有两个组件：查找器prospector和采集器harvester，来读取配置监控的文件并将事件数据发送到指定的输出。启动Filebeat时，它会启动一个或多个查找器，查看你为日志文件指定的本地路径。对于prospector所在的每个日志文件，prospector启动harvester。每个harvester都会为新内容读
2020-07-29 16:52:36
298
原创 基于ELK的分布式日志存储、检索系统之LogStash
LogStash一、定义Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。Logstash数据处理分为input、filter、output三个过程：1、input声明了数据从什么地方来、以及什么方式收集，有tcp和feat等方式。2、filter声明数据应该经过什么模式筛选，筛选完后的格式、字段。3、output声明格式化后的数据输出到哪进行存储，例如上个章节将到的elasticsearch。二、环境搭建1、基于
2020-07-29 16:51:40
229
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人