卡布奇诺加点冰-CSDN博客

原创 Apache Kafka 学习之旅

基础知识准备Kafka——性能逆天的存在Kafka中topic的Partition，Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念kafka分区及副本在broker的分配如何为Kafka集群选择合适的Partitions数量最佳实践 & 性能调优Apache Kafka：优化部署的 10 种最佳实践Kafka 如何做到...

2018-10-17 16:52:18 516

原创 Elastic Stack 学习之旅

多看官网！https://www.elastic.co/下载你需要的组件：https://www.elastic.co/downloads有必要先了解下 ElasticSearch 的基本概念：https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html#_basic_concep...

2018-09-13 10:59:54 307

原创检查 kafka 集群 Isr 信息

2018-11-28 18:03:32 950

原创 check_cbss_kafka.sh

2018-11-28 16:41:56 224

原创 Kibana控制台语法

<REST Verb> /<Index>/<Type>/<ID><REST动词> / <索引> / <类型> / <ID>#检查群集运行状况GET /_cat/health?v#获得群集中的节点列表GET /_cat/nodes?v#列出所有索引GET /_cat/

2018-09-13 11:38:26 3480

原创 shell窗口运行curl命令执行DSL查询语句

#检查群集运行状况curl -X GET "localhost:9200/_cat/health?v"#获得群集中的节点列表curl -X GET "localhost:9200/_cat/nodes?v"#列出所有索引curl -X GET "localhost:9200/_cat/indices?v"#创建索引并查看curl -X PUT "localhost:9200/...

2018-09-13 11:33:28 1134

原创自动化安装ElasticSearch脚本

#auto_install_elasticsearch.sh#####################################################请务必检查以下变量是否需要改动！尤其是第一次运行该脚本时install_dir=/data1/bugpackages_dir=/data1/bug/packageselasticsearch_version=6.4.0...

2018-09-13 11:19:35 685

原创自动化添加ELK监控脚本

2018-09-06 09:32:57 623

原创品一品那些nb的正则 patterns

USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]...

2018-08-03 18:07:37 193

原创 Logstash 采集数据输出到 ElasticSearch

参考网址：Logstash grok 正则表达式例子查看grok patternsless -N ${LOGSTASH_HOME}/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns品一品那些nb的正则 patternsgrok 正则表达式库是Oniguruma：On...

2018-08-03 18:01:37 729

原创摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板

#${logstash_dir}/config/job_history.conf.template#摄取、转换、充实和输出 mapreduce.jobhistory.webapp.address 页面 Job History 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }}filter {...

2018-08-03 17:45:32 502

原创爬取 mapreduce.jobhistory.webapp.address 页面 Job History 数据脚本模板

2018-08-03 17:16:05 683

原创摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板

#${logstash_dir}/config/dfs_health.sh.template#摄取、转换、充实和输出 dfs.namenode.http-address 页面 dfshealth 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }}filter { grok { m...

2018-08-01 16:58:31 907

原创爬取 dfs.namenode.http-address 页面 dfshealth 数据脚本模板

2018-08-01 16:31:03 1304

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板

#${logstash_dir}/config/apps_running.conf.template#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }...

2018-07-31 17:55:41 438

原创爬取 yarn.resourcemanager.webapp.address 页面 Applications RUNNING 数据脚本模板

2018-07-31 17:50:56 1423

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板

#${logstash_dir}/config/apps_pending.conf.template#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" }...

2018-07-31 17:45:56 769

原创爬取 yarn.resourcemanager.webapp.address 页面 Applications ACCEPTED 数据脚本模板

2018-07-31 17:34:18 545

原创摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板

#${logstash_dir}/config/cluster_scheduler.conf.template#摄取、转换、充实和输出 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据 Logstash 配置文件模板input { file { path => "${logstash_input_file}" ...

2018-07-31 16:14:34 288

原创爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板

2018-07-31 11:27:41 607

原创 Linux 爬虫之数据从哪儿来？

所见即所得，万物皆可爬爬虫与反爬虫的博弈Focus on the value of data！参考网址：利用 Linux curl 爬取网站数据爬取 yarn.resourcemanager.webapp.address 页面 Cluster Scheduler 数据脚本模板：https://blog.csdn.net/qq_16592497/article/details...

2018-07-30 15:33:52 307

卡布奇诺加点冰