- 博客(66)
- 收藏
- 关注
RSS订阅
原创 nginx location匹配顺序总结
以下是自己总结的nginx location匹配顺序，在第2和第3的顺序上和官网文档相左，有时间再仔细研究下1、首先是精确匹配，用 = 表示，例如：location= /test { ... }2、其次是前缀匹配 ，用^~表示，例如：location ^~ /test { ... }注意：若有多个前缀字符串可以匹配，将选择具有最长匹配前缀的位置，并使用其配置...
2018-10-10 10:43:33
929
原创 Prometheus-查询-常用函数
原文：https://prometheus.io/docs/prometheus/latest/querying/functions/#rate1、rate函数是专门搭配 counter类型数据使用的函数。它的功能是按照设置一个时间段，取 counter在该时间段中的平均每秒的增量rate（v range-vector）计算范围向量中时间序列的每秒平均增加速率。 单调性中断（例如由于...
2020-01-08 11:17:57
1491
原创 33. Prometheus-报警-通知模板示例
以下是报警和相应的Alertmanager配置文件（alertmanager.yml）设置的所有不同示例。每个都使用Go模板系统。自定义Slack通知在此示例中，我们自定义了Slack通知，以向组织的Wiki发送有关如何处理已发送的特定警报的URL。global: slack_api_url: '<slack_webhook_url>'route: recei...
2019-12-30 11:17:40
1493
原创 33. Prometheus-报警-通知模板参考
原文:https://prometheus.io/docs/alerting/notifications/Prometheus创建警报并将其发送到Alertmanager，警报管理器随后根据报警的标签将通知发送到不同的接收者。接收方可以是众多集成中的一种，包括：Slack、PagerDuty、email或通过通用Webhook接口的自定义集成。发送到接收方的通知是通过模板构造的。Alert...
2019-12-30 11:05:57
1206
原创 32. Prometheus警报-配置
Alertmanager通过命令行标志和配置文件进行配置。命令行标志配置不可变的系统参数，配置文件定义抑制规则、通知路由和通知接收者。可视化编辑器可以帮助建立路由树。要查看所有可用的命令行标志，请运行alertmanager -h。Alertmanager可以在运行时重新加载其配置。如果新配置格式不正确，则更改将不会应用，并且会记录错误。（可以使用amtool工具测试alertman...
2019-12-26 14:29:21
895
原创 31. Prometheus-报警-Alertmanager
原文:https://prometheus.io/docs/alerting/alertmanager/Alertmanager处理由客户端应用程序发送过来的报警，例如Prometheus server。它负责对报警的重复数据删除、分组和通过电子邮件、PagerDuty或OpsGenie发送到正确的整合接收者。它还负责沉默和抑制报警。下面描述了Alertmanager实现的核心概念。请查阅...
2019-12-26 14:19:44
332
原创 30. Prometheus警报-概述
原文：https://prometheus.io/docs/alerting/overview/Prometheus的报警分为两个部分。Prometheus服务器中的报警规则将报警发送到Alertmanager。然后Alertmanager管理这些报警，包括沉默，抑制，聚集和通过电子邮件、呼叫通知系统、即时通讯平台发送通知。设置报警和通知的主要步骤是：安装和配置Alertmanag...
2019-12-26 14:07:42
139
原创 14. Prothetheus查询
原文:https://prometheus.io/docs/prometheus/latest/querying/basics/Prometheus提供了一种称为PromQL（Prometheus查询语言）的功能查询语言，使用户可以实时选择和汇总时间序列数据。表达式的结果可以显示为图形，可以在Prometheus的表达式浏览器中显示为表格数据，也可以由外部系统通过HTTP API使用。例子...
2019-12-26 13:56:30
146
原创 Dockerfile最佳实践
原文:《docker容器及容器云》第2版 Dockerfile是 Docker用来构建镜像的文本文件，包含自定义的指令和格式。可以通过 docker build命令从 Dockerfile中构建镜像。这个过程与传统分布式集群的编排配置过程相似，且提供了系列统一的资源配置语法。用户可以用这些统一的语法命令来根据需求进行配置，通过这份统的配置文件，在不同的平台上进行分发，...
2019-12-20 15:40:07
111
原创 12. Prometheus-配置-模板参考文档
Prometheus支持在警报的注释和标签以及服务的控制台页面(如/consoles/index.html.example)中进行模板化。模板具有对本地数据库运行查询，遍历数据，使用条件，格式化数据等功能。Prometheus模板语言基于Go模板系统。数据结构处理时间序列数据的主要数据结构是sample，其定义为：type sample struct { Labels...
2019-12-19 11:19:54
773
原创 11. Prometheus-配置-模板示例
原文:https://prometheus.io/docs/prometheus/latest/configuration/template_examples/Prometheus支持对警报的注释和标签以及服务的控制台页面进行模板化。 模板具有对本地数据库运行查询，遍历数据，使用条件，格式化数据等功能。Prometheus模板语言基于Go模板系统。简单的警报字段模板alert: In...
2019-12-18 15:22:16
473
原创 10. Prometheus-配置-报警规则
原文:https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/警报规则使您可以基于Prometheus表达式语言定义警报条件，并将有关触发警报的通知发送到外部服务。 只要警报表达式在给定的时间点产生一个或多个矢量元素，警报就被视为这些元素的标签集处于活动状态。定义警报规则警报规则在Prom...
2019-12-17 17:22:07
1107
原创 9. Prometheus-配置-规则概要及记录规则
原文:https://prometheus.io/docs/prometheus/latest/configuration/recording_rules/配置规则Prometheus支持两种类型的规则，可以对其进行配置，然后定期进行评估：记录规则和警报规则。 要将规则包含在Prometheus中，请创建一个包含必要规则语句的文件，并使Prometheus通过Prometheus配置中的r...
2019-12-17 16:06:47
332
原创 8. Prometheus-配置
Prometheus通过命令行标志和配置文件进行配置。 尽管命令行标志配置了不可变的系统参数（例如存储位置，要保留在磁盘和内存中的数据量等），但配置文件定义了与抓取job及其实例相关的所有内容，以及加载规则文件。要查看所有可用的命令行标志，请运行./prometheus -h。Prometheus可以在运行时重新加载其配置。 如果新配置格式不正确，则更改将不会应用。 通过向Promethe...
2019-12-17 15:39:12
1307
原创 7. Prometheus-安装
原文:https://prometheus.io/docs/prometheus/latest/installation/使用预编译的二进制文件我们为大多数官方Prometheus组件提供了预编译的二进制文件。 请查看下载部分，以获取所有可用版本的列表。从源代码要从源代码构建Prometheus组件，请参考相应存储库中的Makefile目标。使用Docker所有Promet...
2019-12-17 15:02:36
111
原创 6. Prometheus入门
原文:https://prometheus.io/docs/prometheus/latest/getting_started/本指南是一种“ Hello World”风格的教程，它通过简单的设置示例展示了如何安装、配置和使用Prometheus。 您将在本地下载并运行Prometheus，对其进行配置以抓取自身和示例应用程序，然后使用查询、规则和绘图来利用收集的时间序列数据。下载并运行P...
2019-12-17 11:32:34
225
原创 5. Prometheus概念-Jobs和Instances
用Prometheus术语来说，您抓取的endpoint称为instance，通常对应于单个进程。 具有相同目的的实例的集合（例如为提高可伸缩性或可靠性而复制的过程）称为job。例如，具有四个复制实例的API服务器作业：job:api-server instance 1:1.2.3.4:5670 instance 2:1.2.3.4:5671 instance 3:5.6...
2019-12-16 15:41:41
3158
原创 4. Prometheus概念-指标类型
Prometheus客户端库提供了4种核心指标类型。 当前仅在客户端库（以启用针对特定类型的使用量身定制的API）和有线协议中进行区分。 Prometheus server尚未使用类型信息，而是将所有数据展平作为未键入的时间序列。 将来可能会改变。Countercounter是一个累积指标，代表一个单调递增的计数器，其值只能增加或在重新启动时重置为零。 例如，您可以使用counter来表示...
2019-12-16 15:18:12
280
原创 3. Prometheus概念-数据模型
Prometheus从根本上将所有数据存储为时间序列：带有时间戳值的数据流属于同一度量标准和同一组标签维度。除了存储的时间序列，Prometheus可能会生成临时的导出时间序列作为查询的结果。指标名称和标签每个时间序列都由其 metricname和称为labels的可选键值对唯一标识。metric name 指定了所测量系统的一般功能（例如http_requests_total-收到...
2019-12-16 14:39:26
242
原创 2. Prometheus与替代品的比较
Prometheus vs. Graphite范围Graphite专注于成为具有查询语言和图形功能的被动时间序列数据库。 其他任何问题都可以通过外部组件解决。Prometheus是一个完整的监视和趋势分析系统，其中包括基于时间序列数据的内置和主动抓取，存储，查询，制图和警报。 它了解世界应该是什么样（应该存在哪些端点，什么时间序列模式意味着麻烦等），并积极尝试查找错误。数据模型...
2019-12-16 11:36:01
1180
原创 1. Prometheus的第一步
原文:https://prometheus.io/docs/introduction/first_steps/欢迎来到Prometheus！ Prometheus是通过收集从被监控的目标上的HTTP endpoints来抓取指标的监控平台本指南将向您展示如何Prometheus的安装、配置和监控我们的第一个资源。 您将下载，安装并运行Prometheus。 您还将下载并安装exporter...
2019-12-16 11:20:51
256
原创 0. Prometheus总览
原文:https://prometheus.io/docs/introduction/overview/什么是Prometheus？Prometheus是最初在SoundCloud上构建的开源系统监视和告警工具包。 自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。 现在，它是一个独立的开源项目，并且独立于任何公司进行维护。 为了强调这...
2019-12-16 10:38:33
146
原创 利用es进行非法http_referer筛查
一、排除1.排除合作网站跳转的请求，例如http://www.ranshao.com2.排除公司域名之间跳转的请求，使用wildcard通配符匹配*.company.com二、匹配1.匹配存在值为http大头的http_referer三、聚合1. 根据request.keyword进行聚合四、最后，如果查询到某个request存在大量请求，根据业务具体情况，再进一步判断...
2019-02-01 09:56:57
267
原创 python不改变文件长度和高度，改变文件大小
# coding=utf-8from PIL import Imageimport globimport osdef img_thumbnail(src_file): for infile in glob.glob(src_file): filename,extend_name = os.path.splitext(infile) im = Im...
2019-01-30 20:16:18
1040
原创 saltstack的top.sls
介绍大多数基础架构都是由一组机器组成，组中的每台机器都扮演着与其他机器相似的角色。这些机器组彼此协同工作以创建应用程序堆栈。为了有效地管理这些计算机组，管理员需要能够为这些组创建角色。例如，一组服务于前端Web流量的计算机可能具有一些角色，这些角色表明这些计算机应该都安装了Apache Web服务器软件包，并且Apache服务应始终运行。在Salt中，包含网络上的计算机组之间的映射以及...
2019-01-30 15:36:50
1725
原创 查询cdn重复回源
GET log-indices/_search{ "size": 0, "query": { "bool": { "must": [ { "match": { "http_host.keyword": "img.xxxx.com" } },
2019-01-30 10:18:41
732
原创 yum版本降级
yum search --showduplicates elasticsearchyum downgrade elasticsearch-6.3.2-1.noarch
2019-01-24 10:35:12
7598
转载 Linux下部署SSH登录时的二次身份验证环境记录（利用Google Authenticator）
auth required pam_google_authenticator.so forward_passhttp://www.cnblogs.com/kevingrace/p/7065255.html https://www.osyunwei.com/archives/9045.html
2019-01-10 15:10:17
658
转载 Google's BigTable 原理
Google's BigTable 原理 （翻译） 题记：google 的成功除了一个个出色的创意外，还因为有 Jeff Dean 这样的软件架构天才。 欢迎订阅作者微博 ------ 编者官方的 Google Reader blog 中有对BigTable 的解释。这是Goog...
2019-01-08 23:25:46
165
转载 Google File System- [GFS]·中译本
Google文件系统 GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 （1）设计想定 GFS与过去的分布式文件系统有很多相同的目标，但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动，这反映了它与早期的文件系统明显不同的设想。这就需要对传...
2019-01-08 23:22:15
108
转载 MapReduce：超大机群上的简单数据处理- [Google MapReduce]·中译本
摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数据,在机...
2019-01-08 23:20:34
117
转载 Last-Modified 与If-Modified-Since
以前没有关注Http头的Last-Modified 与If-Modified-Since这个信息，今天在看servlet源码时看到这个标识，就认真学习了一下，理解了一下这两个东西的用途。 Last-Modified 与If-Modified-Since都是用来记录页面的最后修改时间。当客户端访问页面时，服务器会将页面最后修改时间通过 Last-Modified 标识由服务器发往客户端，客户端记录修...
2019-01-07 14:09:47
507
原创 es常用实例
1、聚合某个索引中HTTP状态码为5XX的域名。GET logstash-access-2018.12.28/_search{ "query": { "match": { "status": "500 502 503 504" } }, "aggs": { "status_5xx": { "terms&quo
2018-12-28 10:20:47
410
原创 ES 5.x中在精准搜索时的过滤方式
之前一直有个问题没解决，比如希望通过kibana的Discover里的filter去过滤某个域名，request为"/"的请求，需求是精确匹配：那么在Dev Tools里对应的查询应该和下面类似：GET index-example/_search{ "query": { "bool": { "must": [ {"match": {"http_h.
2018-12-19 16:40:59
603
原创 Elasticsearch 5.x安装head插件
ES 5.0以上版本中不支持直接安装head插件，需要启动一个服务。head插件是一个nodejs的工程，因此需要先安装nodejs，使用npm来安装依赖的包。这里使用了淘宝的cnpm来加速~which yum &> /dev/null && yum install nodejs -ywhich apt-get &> /dev/null...
2018-12-16 23:23:56
91
原创 TCP协议中的三次握手和四次挥手(图解)
https://blog.csdn.net/whuslei/article/details/6667471/
2018-12-05 16:54:57
91
转载 TCP SOCKET中backlog参数的用途是什么？
https://www.cnxct.com/something-about-phpfpm-s-backlog/
2018-12-04 11:22:38
261
转载 ES kibana记录
GET /_cluster/healthGET /_cat/shardsGET /_cluster/settingsPUT /megacorp/_settings{ "index" : { "number_of_replicas" : 0 }}GET /_cat/nodes?vGET /_cat/indices?v&pretty
2018-11-24 01:03:53
156
原创 es 5.4文档
http://cwiki.apachecn.org/plugins/servlet/mobile#content/view/4260364
2018-11-22 23:22:56
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人