- 博客(42)
- 收藏
- 关注
RSS订阅原创 elasticsearch安装head插件问题
通过npm安装grunt和grunt server，按照网上文档在lasticsearch-head-master目录部署npm install -g grunt第一个问题是执行完lasticsearch-head-master目录下一直没有node_modules目录产生。lsDockerfile elasticsearch-head.sublime-project ...
2019-09-04 14:57:52
1349
1
原创 k8s集群增加node节点过程和问题总结
环境准备该环境是通过kubeadm初始化的，以自托管（self-hosted）模式搭建的（docker镜像）1.关闭防火墙，关闭selinux(生产环境按需关闭或打开)systemctl disable firewalld.servicesystemctl stop firewalld.servicesetenforce 0sed -i 's/SELINUX=enforcing/SE...
2019-08-31 22:13:27
6234
1
原创 通过Metrics Server监控k8s集群pods
概述从 v1.8 开始，资源使用情况的监控可以通过 Metrics API的形式获取，具体的组件为Metrics Server，用来替换之前的heapster，heapster从1.11开始逐渐被废弃。Metrics-Server是集群核心监控数据的聚合器，从 Kubernetes1.8 开始，它作为一个 Deployment对象默认部署在由kube-up.sh脚本创建的集群中，如果是其他部署...
2019-08-28 11:48:41
1184
原创 kubernetes基于Metrics Server的HPA弹性伸缩pod
概念HPA是kubernetes里面pod弹性伸缩的实现,它能根据设置的监控阀值进行pod的弹性扩缩容，目前默认HPA只能支持cpu和内存的阀值检测扩缩容，但也可以通过custom metric api 调用prometheus实现自定义metric 来更加灵活的监控指标实现弹性伸缩。但hpa不能用于伸缩一些无法进行缩放的控制器如DaemonSet。这里我们用的是resource metric ...
2019-08-28 10:07:24
1796
原创 通过rancher快速部署Kubernetes集群
概述What’s Rancher？Rancher是一套容器管理平台，它可以帮助组织在生产环境中轻松快捷的部署和管理容器。 Rancher可以轻松地管理各种环境的Kubernetes，满足IT需求并为DevOps团队提供支持。Kubernetes不仅已经成为的容器编排标准，它也正在迅速成为各类云和虚拟化厂商提供的标准基础架构。Rancher用户可以选择使用Rancher Kubernetes ...
2019-08-27 14:08:36
1417
1
原创 rancher部署Kubernetes集群之基础环境docker-ce部署
概述What’s Rancher？Rancher是一套容器管理平台，它可以帮助组织在生产环境中轻松快捷的部署和管理容器。 Rancher可以轻松地管理各种环境的Kubernetes，满足IT需求并为DevOps团队提供支持。Kubernetes不仅已经成为的容器编排标准，它也正在迅速成为各类云和虚拟化厂商提供的标准基础架构。Rancher用户可以选择使用Rancher Kubernetes ...
2019-08-27 11:30:30
644
1
原创 grafana像sql一样展示elasticsearch数据源指定的字段数据
在grafana展示elasticsearch数据源的数据时想指定展示某几列的具体信息。想做出select id,name,age from table where … 这样的输出结果。这里数据源是elasticsearch，Metric选择Raw Document(也就是原始格式)展示类型选择Table，DATA选择“JSON Data”，而Columns就可以选择要展示的列了，根据需...
2019-08-20 16:01:56
11807
20
原创 Grafana配置数据源，自定义查询语法
1.概述--美观、强大的可视化监控指标展示工具grafana 是一款采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数据库。最好的参考资料就是官网（http://docs.grafana.org/），虽然是英文，但是看多了就会啦。1.1基本概念Grafana支持许多不同的数据源。每个数据源...
2019-08-20 15:38:17
76639
2
原创 Grafana/Kibana搜索语句-Lucene查询语法详解（Lucene query syntax）
Lucene提供了丰富的API来组合定制你所需要的查询器，同时也可以利用Query Parser提供的强大的查询语法解析来构造你想要的查询器。本文章详细的介绍了Lucene的查询语法。通过Java语法分析器把一个查询字符串解析成 Lucene的查询器。在你选择使用Query Parser前，请考虑以下事项：如果你打算在程序中拼接查询语法串然后再利用Query Parser转换，那么强烈建议你利用...
2019-08-20 15:27:43
13521
原创 部署Kubernetes kube-apiserver启动失败
systemctl restart kube-apiserver启动失败[root@centos-master yum.repos.d]# systemctl status kube-apiserver.service● kube-apiserver.service - Kubernetes API Server Loaded: loaded (/usr/lib/systemd/syst...
2019-05-11 23:39:33
34729
6
原创 部署kubenetes启动docker容器报错
[root@centos-minion yum.repos.d]# systemctl start dockerJob for docker.service failed because the control process exited with error code. See “systemctl status docker.service” and “journalctl -xe” fo...
2019-05-11 23:16:46
1890
原创 部署k8s启动docker报错
通过journalctl -xe查看日志记录，有如下提示Error starting daemon: SELinux is not supported with the overlay2 graph driver on this kernel. Either boo…ed=false)[root@centos-minion yum.repos.d]# systemctl status dock...
2019-05-11 22:55:35
1580
原创 在centos7部署k8s搭建kubernetes集群
Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着（比如用户想让apache一直运行，用户不需要关心怎么去做，Kubernetes会自动去监控，然后去重启，新建，总之，让apache一直提供服务），管理员可以加载一个微型服务，让规划器来找
2019-05-11 22:47:49
10749
4
原创 CentOS7通过http方式搭建本地yum源
1.创建yum软件保存目录*mkdir /var/www/html/yum/2. 修改yum配置文件先备份yum配置文件，修改yum配置文件中yum软件包保存目录并开启rmp包缓存功能1 [root@localhost ~]# cp /etc/yum.conf /etc/yum.conf.bak 2 [root@localhost ~]# vim /etc/yum.conf3 [mai...
2019-03-17 20:18:03
2077
原创 Linux运维精华常见基础面试题
尽管运维是做的最苦最累的活，最容易背锅的一个岗位，大家还是应该在工作中不断提高自己。下面是一名资深Linux运维求职数十家公司总结的Linux运维面试精华，助力大家跳槽找个高薪好工作。1、什么是运维？什么是游戏运维？1）运维是指大型组织已经建立好的网络软硬件的维护，就是要保证业务的上线与运作的正常，在他运转的过程中，对他进行维护，他集合了网络、系统、数据库、开发、安全、监控于一身的技术运...
2019-03-16 19:44:59
4419
1
原创 systemtap系列之内核系统诊断使用方法
systemtap系列之系统诊断SystemTap 是监控和跟踪运行中的 Linux 内核的操作的动态方法。SystemTap 没有使用工具构建一个特殊的内核，而是允许您在运行时动态地安装该工具。它通过一个名为Kprobes 的应用编程接口（API）来实现该目的SystemTap 与一种名为 DTrace 的老技术相似，该技术源于 Sun Solaris 操作系统。测试内核看它是否支持 ...
2018-12-22 18:44:30
784
原创 linux操作系统未正常启动提示"Entering emergency mode. Exit the shell to continue"
是一台阿里云ecs服务器，通过vnc登录看到如下信息，进入了救援模式：Generating “/run/initramfs/rdsosreport.txt”“Entering emergency mode. Exit the shell to continue”“Type ‘journalctl’ to view system log.”You might want to save “/r...
2018-12-16 11:34:43
29168
原创 记一次生产环境物理机磁盘/目录被日志打满处理方式（logrotate失效）
#山东梅长苏监控发现物理机/目录使用率一直100%，messages和secure日志特别大，应用已无法启动。logrotate不生效排查了好长时间，原来的处理方式是logrotate /etc/logrotate.conf加-f强制执行，但这种方式并没有找到问题根源。因为有几百台生产物理机，不敢随便放过这个问题，后面研究找到了问题的根源。1、先备份到其他目录#cp -f /var/...
2018-11-04 13:25:23
2903
原创 基于Docker的devops实践—jenkins持续集成自动部署elk日志+zabbix监控
笔者所在的技术团队负责了数十个项目的开发和维护工作，每个项目都至少有dev、qa、hidden、product四个环境，数百台机器，在各个系统之间疲于奔命，解决各种琐碎的问题，如何从这些琐碎的事情中解放出来？devops成了我们不二的选择。文章是基于目前的环境和团队规模做的devops实践总结，方案简单易懂，容易落地且效果显著。 实现方法实现方法先来看下流程图： ...
2018-07-26 13:46:11
1806
原创 Linux 下ssh sftp配置之密钥方式登录详解
由于vsftp采用明文传输，用户名密码可通过抓包得到，为了安全性，需使用sftp，锁定目录且不允许sftp用户登到服务器。由于sftp使用的是ssh协议，需保证用户只能使用sftp，不能ssh到机器进行操作，且使用密钥登陆、不是22端口。先看下流程图：1. 在远程目标创建sftp服务用户组,创建sftp服务根目录 1 groupadd s...
2018-03-31 11:54:34
24040
2
原创 快速搭建ELK6.2.2日志分析系统及安装配置
ELK日志平台介绍在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段：日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法...
2018-03-15 10:17:15
3051
3
转载 ELK实战篇--logstash日志收集eslaticsearch和kibana
前篇：ELK6.2.2日志分析监控系统搭建和配置ELK实战篇好，现在索引也可以创建了，现在可以来输出nginx、apache、message、secrue的日志到前台展示（Nginx有的话直接修改，没有自行安装）编辑nginx配置文件，修改以下内容（在http模块下添加）log_format json '{"@timestamp":"$time_iso8601",' ...
2018-03-15 10:12:32
3646
转载 ELK日志分析Kibana——数据图形化制作
摘要： Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构 注意看一下,上面缩看的界面,是一个聚合的结果,他是由CPU Usage图表、System Load图表、CPU usage over time图表、 System Load over time图表一起构造而成的。Kibana把数据图形化,可以帮助我们更好的去分析数据,找到数据里面的结构注意看一下,上面缩看的界面,是...
2018-03-14 21:26:43
15018
5
转载 ELK日志分析Kibana——筛选语法基础
摘要： ES全文搜索的简易语法是Kibana上使用的搜索语法,一定需要学会,前一篇文章给出的只是基础的、最根本的CRUD操作,是对单挑数据的操作,但是在Kibana中存在大量的搜索和聚合,动辄上千万的数据量,所以掌握好ES全文搜索的语法就是使用Kibana的重要保证。ES全文搜索的简易语法是Kibana上使用的搜索语法,一定需要学会,前一篇文章给出的只是基础的、最根本的CRUD操作,是对单挑数据的...
2018-03-14 21:23:36
11709
转载 ELK日志分析Elasticsearch模块——语法基础CRUD
摘要： ElastICsearch的基本操作:增删改查,有必要了解,以备不时之需. 增删改查是数据库的基础操作方法。ES 虽然不是数据库，但是很多场合下，都被人们当做一个文档型 NoSQL 数据库在使用，原因自然是因为在接口和分布式架构层面的相似性。ElastICsearch的基本操作:增删改查,有必要了解,以备不时之需.增删改查是数据库的基础操作方法。ES 虽然不是数据库，但是很多场合下，都被人...
2018-03-14 21:21:25
1974
1
转载 ELK日志监控分析系统Logstash详解之——output模块
摘要： Logstash的output模块,相比于input模块来说是一个输出模块,output模块集成了大量的输出插件,可以输出到指定文件,也可输出到指定的网络端口,当然也可以输出数据到ES.在这里我只介绍如何输出到ES,至于如何输出到端口和指定文件,有很多的文档资料可查找.Logstash的output模块,相比于input模块来说是一个输出模块,output模块集成了大量的输出插件,可以输出...
2018-03-14 21:18:06
1995
转载 ELK日志监控分析系统Logstash详解之——input模块
摘要： Logstash由三个组件构造成，分别是input、filter以及output。我们可以吧Logstash三个组件的工作流理解为：input收集数据，filter处理数据，output输出数据。至于怎么收集、去哪收集、怎么处理、处理什么、怎么发生以及发送到哪等等一些列的问题就是我们接下啦要讨论的一个重点。Logstash由三个组件构造成，分别是input、filter以及output。我...
2018-03-14 21:12:11
3369
2
转载 ELK日志监控分析系统Logstash详解之——filter模块
摘要： Logstash三个组件的第二个组件，也是真个Logstash工具中最复杂，最蛋疼的一个组件，当然，也是最有作用的一个组件。 1、grok插件 grok插件有非常强大的功能，他能匹配一切数据，但是他的性能和对资源的损耗同样让人诟病。Logstash三个组件的第二个组件，也是真个Logstash工具中最复杂，最蛋疼的一个组件，当然，也是最有作用的一个组件。1、grok插件 grok插件有非...
2018-03-14 21:09:41
4885
原创 elasticsearch6.2和logstash启动出现的错误
elasticsearch6.2启动失败，出现如下提示：1、Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)## There is insuffic...
2018-03-10 23:07:39
7004
1
原创 简述性能优化tomcat配置(从内存、并发、缓存方面)优化及压力测试
Tomcat有很多方面，我综合网上文章和自己的优化过程简单概括。一.Tomcat内存优化 Tomcat内存优化主要是对 tomcat 启动参数优化，我们可以在 tomcat 的启动脚本 catalina.sh 中设置 java_OPTS 参数。 JAVA_OPTS参数说明 -server 启用jdk 的 server 版； -Xms java虚拟机初始化时的最小内存； -Xmx ...
2018-03-10 10:50:03
1266
2
原创 Nginx配置及linux系统内存高并发多方面优化
基于网上的技术文章思路，自己加以整理，有常用的和不常用的策略，供参考。nginx的优化1． gzip压缩优化2． expires缓存有还3． 网络IO事件模型优化4． 隐藏软件名称和版本号5． 防盗链优化6． 禁止恶意域名解析7． 禁止通过IP地址访问网站8． HTTP请求方法优化9． 防DOS攻击单IP并发连接的控制，与连接速...
2018-03-10 10:24:35
16326
4
转载 你所不知道的21个云服务器的应用实践———云计算综合入门指南
摘要： 如今，基于互联网的服务和交互已经越来越深入我们的生活，“云计算”也成为了不折不扣的高频词汇。并以其快捷、按需调用网络资源的优势为我们的日常生活带来了诸多便利和改变。之前，我们基于云服务器的多种利用方法制作了“云计算的1024种玩法”的零基础入门专题，现在，我们对这一专题进行扩展和整合，制作出了这份云计算综合入门指南。 它分为两个部分，分别是云计算基础和云计算实践。在基础篇中，我们能学习到关...
2017-12-01 10:31:49
6155
1
转载 mysql cluster集群主从架构读写分离搭建
安装要求安装环境：CentOS-6.4安装方式：源码编译安装软件名称：mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz软件安装位置：/usr/local/mysql数据存放位置：/var/mysql/data日志存放位置：/var/mysql/logs集群设计首先设计集群的安装分配方式，我共需要5台服务器，服务器分配如下：管理节点： 172.16....
2017-10-30 21:24:40
1655
1
原创 在Nginx上配置多个站点
有时候你想在一台服务器上为不同的域名运行不同的站点。比如www.siteA.com作为博客，www.siteB.com作为论坛。你可以把两个域名的IP都解析到你的服务器上，但是没法在Nginx的根目录里同时运行两个不同的网站。这时候，你就需要使用虚拟目录了。假设你把博客放在”/home/user/www/blog”下，论坛放在”/home/user/www/forum”下。下面我们就开始配置了：在...
2017-10-30 21:13:12
532
原创 linux配置bond双网卡绑定
第一步：# vi /etc/sysconfig/network-scripts/ifcfg-bond0DEVICE=bond0BONDING_OPTS="mode=0 miimon=100"BOOTPROTO=noneONBOOT=yesBROADCAST=192.168.0.255IPADDR=192.168.0.180NETMASK=255.255.255.0N
2017-10-30 21:13:06
635
原创 阿里云OSS数据迁移到腾讯云COS 方法二（强烈推荐）
迁移工具使用方法迁移工具支持将S3,OSS, Qiniu，文件列表等文件迁移到COS对象存储。工具只支持在linux/macos下运行，系统自带的Python版本在2.6以上。系统依赖工具运行平台为*nix，需要有Python2.7及以上环境，同时机器应该安装pip,gcc与python-dev。您可以使用系统自带的包管理器安装相关依赖。在centos上，使用如下命令安装：1sudo yum in...
2017-10-30 21:13:03
2203
原创 阿里云OSS迁移到腾讯云COS使用工具COS_MIGRATION 方法一
cos_migration迁移工具可以将您在阿里云存储上的文件同步到腾讯云对象存储（COS）上。功能说明主要特性：支持断点续传支持并行数据下载/上传支持自动同步增量数据客户只需配置阿里云的存储信息以及腾讯云（COS）的账号信息，运行工具，即可自动迁移。迁移后，文件的名称、路径和数据源保持一致。迁移效果示例： 数据源：aliyunbucket：mytestendpoint：oss-cn-shen...
2017-10-30 21:13:00
1663
原创 3、node之pm2搭建node生产环境
pm2保驾护航pm2 是一个带有负载均衡功能的 node应用进程管理工具forever已经out了，严重推荐pm2方式运行nodejs,这是最好的，没有之一。内建负载均衡（使用 Node cluster 集群模块）后台运行0 秒停机重载，我理解大概意思是维护升级的时候不需要停机.具有 Ubuntu 和 CentOS 的启动脚本停止不稳定的进程（避免无限循环）控制台检测提供 HTT
2017-10-30 21:12:57
926
转载 2通过nvm安装部署node模块包管理工具npm
NPM 使用介绍NPM是随同NodeJS一起安装的包管理工具，能解决NodeJS代码部署上的很多问题，常见的使用场景有以下几种：· 允许用户从NPM服务器下载别人编写的第三方包到本地使用。· 允许用户从NPM服务器下载并安装别人编写的命令行程序到本地使用。· 允许用户将自己编写的包或命令行程序上传到NPM服务器供别人使
2017-10-29 13:38:50
378
转载 1、安装部署NODE版本管理工具之NVM
linux系统的github地址：点我如果你是windows系统，直接下载安装就好了，附windows-nvm的github地址 点我windows-nvm的下载地址 点我去下载1. 开始安装(Linux系统下)可以通过curl或者wget进行安装，命令如下 curl方式curl -o- https://raw.githubusercontent.com/crea
2017-10-29 13:37:52
1128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人