- 博客(153)
- 收藏
- 关注
RSS订阅原创 Prometheus （六）——自动发现主机
新开一台服务器，做客户端 systemctl stop firewalld.service setenforce 0安装 node_exporter 收集数据[root@pre3 ~]# tar zxf node_exporter-0.18.1.linux-amd64.tar.gz [root@pre3 ~]# lsanaconda-ks.cfg node_exporter-0.18.1.linux-amd64.tar.gznode_exporter-
2020-11-13 16:07:10
1171
原创 Prometheus（五）—— 监控 apache 服务
安装 Apache[root@pre1 ~]# yum -y install httpd安装 Apache exporter 收集 apache的 json 数据[root@localhost 桌面]# wget https://github.com/Lusitaniae/apache_exporter/releases/download/v0.5.0/apache_exporter-0.5.0.linux-amd64.tar.gz# 解压[root@pre1 ~]# tar zxf apa
2020-11-13 13:37:20
1032
2
原创 Prometheus （四）——监控 nginx 服务
准备安装包# 编译nginx用到的一个模块 nginx-module-vts[root@localhost ~]# wget https://github.com/vozlt/nginx-module-vts/archive/v0.1.18.tar.gz#安装 exporter 收集 nginx 的 json 数据[root@localhost ~]# wget https://github.com/hnlq715/nginx-vts-exporter/releases/download/
2020-11-13 11:20:33
368
原创 Prometheus （三）——部署节点+ Grafana 可视化
本篇详细部署安装 prometheus 的监控节点。实验环境192.168.122.101 主192.168.122.102 新加节点[root@pre2 ~]# systemctl stop firewalld[root@pre2 ~]# setenforce 0# 解压[root@pre2 ~]# wget -c https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.
2020-11-12 20:22:52
595
1
原创 Prometheus （二）——安装部署
准备环境[root@pre1 ~]# systemctl stop firewalld[root@pre1 ~]# setenforce 0setenforce: SELinux is disabled创建用户[root@pre1 ~]# groupadd prometheus[root@pre1 ~]# useradd -M -s /sbin/nologin prometheus -g prometheus解压[root@pre1 ~]# mkdir prometheus[roo
2020-11-10 22:29:17
193
原创 prometheus（一）——监控组件简介
prometheus简介随着容器技术的迅速发展，Kubernetes 已然成为大家追捧的容器集群管理系统。Prometheus 作为生态圈 Cloud Native Computing Foundation（简称：CNCF）中的重要一员,其活跃度仅次于 Kubernetes, 现已广泛用于 Kubernetes 集群的监控系统中。本文将简要介绍 Prometheus 的组成和相关概念，并实例演示 Prometheus 的安装，配置及使用，以便开发人员和云平台运维人员可以快速的掌握 Prometheus。
2020-11-10 20:23:38
5475
原创 Hadoop （四） ——MapReduce 的原理+实现
MapReduce简介MapReduce是一种编程模型，用于大规模数据集的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。mapreduce是hadoop中一个批
2020-11-08 12:27:09
709
原创 Hadoop (三） ——HDFS完全分布式部署
实验背景：192.168.122.101 namenode192.168.122.102 dadanode192.168.122.103 datanode192.168.122.104 datanode关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭之前的伪分布式[ha@server1 hadoop]$ sbin/stop-dfs.sh Stopping namenodes on [server1]Stopping datanodes
2020-11-07 20:06:25
289
1
原创 Hadoop（二) —— HDFS单机版部署+伪分布式的部署
单机版的部署软件下载http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz实验环境:192.168.122.101 server1实验步骤:创建普通用户[root@server1 ~]# useradd ha[root@server1 ~]# su - ha安装java环境[root@server1 ha]# rpm -ivh jdk-8u171-linux-x64.rpm
2020-11-07 14:36:59
354
1
原创 Linux中的tar 和rpm有什么区别
Linux软件的二进制分发,是指事先已经编译好二进制形式的软件包的发布形式，其优点是安装使用容易，缺点则是缺乏灵活性，如果该软件包是为特定的硬件/操作系统平台编译的，那它就不能在另外的平台或环境下正确执行。 1、*.rpm形式的二进制软件包 安装：rpm -ivh *.rpm 卸载：rpm -e packgename 说明：RPM（RedHat Packge Manager）是RedHat公司出的软件包管理器，使用它可以很容易地对rpm形式的软件包进行安装、升级、卸载、验证、查询等操作，安装
2020-11-07 12:08:08
1642
原创 Hadoop (一) ——hadoop基础知识
hadoop的应用场景在线旅游：目前全球范围内80%的在线旅游网站都是在使用Cloudera公司提供的Hadoop发行版，其中SearchBI网站曾经报道过的Expedia也在其中。移动数据：Cloudera运营总监称，美国有70%的智能手机数据服务背后都是由Hadoop来支撑的，也就是说，包括数据的存储以及无线运营商的数据处理等，都是在利用Hadoop技术。电子商务：这一场景应该是非常确定的，eBay就是最大的实践者之一。国内的电商在Hadoop技术上也是储备颇为雄厚的。能源开采：美国Che
2020-11-07 09:39:28
874
原创 MFS分布式文件系统（四) ——pacemaker 实现 mfs集群的高可用
pacemaker的安装 基本设置实验背景:192.168.122.101 mfsmaster192.168.122.105 mfsmaster192.168.122.102 mfschunkserver192.168.122.103 mfschunkserver192.168.122.201 客户端实验步骤:首先在新加安装mfsmaster。[root@pace ~]# curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /et
2020-11-04 08:59:26
518
2
原创 iSCSI客户端登陆认证失败
修改认证文件后，需要重启服务才能生效[root@pace ~]# systemctl restart iscsi[root@pace ~]# systemctl restart iscsid
2020-11-03 13:26:00
2434
1
原创 MFS分布式文件系统（三) ——Storage class 存储类
什么是storage class在moosefs中，storage class允许指定文件的chunks存放在哪些chunkservers上。storage class使用label进行表达。为了与早起的版本的goal功能兼容，moosefs 3.0以上会自动在系统中建立1～9 storage class。goal工具将默认在对应的storage class下进行工作。重新开机后，原本客户端这里就没有内容了，上传到chunkserver[root@git1 ~]# cd /mnt/mfs[roo
2020-11-02 19:20:18
302
原创 MFS分布式文件系统（二) ——恢复客户端删除的文件 + 恢复意外挂掉的mfsmaster + master内存的设置
垃圾回收站被删除的文件能够存放在“ 垃圾箱”的时间就是一个隔离时间，用mfsgettrashtime 命令查看，用mfssettrashtime 命令来设置对客户端删除的文件进行恢复1.在客户端删除客户端mfs目录中的文件[root@git1 data1]# rm -fr passwd [root@git1 data1]# mfsgettrashtime ..: 8640086400秒后将此文件在垃圾箱中删除，将容量提供给其他数据存储。2.创建元数据目录删除文件可以通过一个单独安装M
2020-11-01 23:15:30
375
原创 MFS分布式文件系统（一) ——MFS简介+部署+使用
分布式文件系统简介分布式文件系统是指文件系统管理的物理存储资源,不一定在本地节点上，而是通过网络与节点相连。就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户感觉不到这些共享文件是分散在各个计算机上的。分布式文件系统的好处是集中访问、简化操作、数据容灾，以及提高文件的存取性能。MFS简介MooseFS是一个具有容错性的网络分布式文件
2020-11-01 19:05:28
4071
原创 ELK日志分析平台(三）——Logstash简介+安装+常用插件示例
什么是LogstashLogstash是数据处理管道，它的主要作用是做数据采集。logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到的 “存储库” 中。（大多都是 Elasticsearch。）Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入： 采集各种样式、大小和来源的数据Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从日志、指标、Web 应用、数据存储以及各种 AWS 服
2020-10-29 23:08:11
1184
7
原创 logstash使用时遇见的报错
1.logstash将文件数据传输到es主机时遇见报错因为传输中不小心关掉终端这个报错意思是说我之前已经启动了一个logstash实例了，使用的是nohup方式以后台启动的，虽然没有启动成功，但是却占用进程不放，因此我们找出来把他kill掉即可。2.java.lang.OutOfMemoryError: Java heap space 问题的解决方法内存溢出java.lang.OutOfMemoryErrory后面一般会跟上内存溢出的区域westoswestosPermGen space（方法
2020-10-29 22:39:59
1723
原创 ELK日志分析平台(二)——elasticsearch节点角色和节点优化配置
elasticsearch节点角色Master负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。 当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。Data Node主要负责集群中数据的索引和检索，一般压力比较大。Coordinating Node(协调节点）原来的Client node的，主要功能是来分发请求和合并结果的。所有节点默认就是Coordinating n
2020-10-29 16:41:36
269
原创 ELK日志分析平台(一)——ELK平台的部署
Elasticsearch的部署实验环境:192.168.122.101192.168.122.102192.168.122.103关闭主机的fireewalld,selinux.每个主机相互做解析安装软件# rpm -ivh jdk-8u171-linux-x64.rpm# rpm -ivh elasticsearch-7.6.1.rpm //7.6版本自带jdk设置服务自启：# systemctl daemon-reload# systemctl enable elasticse
2020-10-28 10:06:31
152
原创 ELK部署中遇到的报错
1.elastaticsearch启动时遇见报错**查看日志发现是内存空间不足更改提供的内存大小重新启动，启动成功2.安装npm遇见报错npm install走的是https协议，需要通过数字证书来保证的 npm config set strict-ssl false就是取消ssl验证[root@server1 elasticsearch-head-master]# npm config set strict-ssl false[root@server1 elasticsearch-
2020-10-27 21:19:15
292
原创 pythoh爬取豆瓣电影top250并保存至excel
进入到豆瓣电影排行榜界面，可以查看网页源代码。根据源代码的书写，可以用过Re正则表达来获取需要的信息，上图是一个电影的信息findLink = re.compile(r'<a href="(.*?)">') # 正则表达式模式的匹配，影片详情findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S) # re.S让换行符包含在字符中,图片信息findTitle = re.compile(r'<span class="title".
2020-10-25 18:39:56
792
原创 if __name__ == ‘__main__‘
if __name__ == '__main__'__name__ 是当前模块名，当模块被直接运行时，模块名为 __main__ 。这句话的意思就是，当模块被直接运行时，以下代码块将被运行，当模块是被导入时，代码块不被运行。可以看到 const.py里面的main()也被执行了，但这是我们所不希望的_name_代表当前模块的名字，当我们再次运行“python area.py”时，对于const.py来说，_name_不再是_main_，因此其中的main()不再被执...
2020-10-25 18:29:26
97
原创 urllib模块
urllib模块简介Urllib 库Python 内置的 HTTP 请求库，不需要额外安装即可使用，它包含四个模块：request模块它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 还有额外的参数，就可以模拟实现这个过程了。error 模块即异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。parse 模块是一个工具模块，提供了许多 URL 处
2020-10-25 10:24:05
429
原创 MySQL GTID复制Slave跳过错误事务ID
GTID复制报错的原因有两种：(1)主库在从库上找不到对应更改数据（2）从库在主库上找不带二进制日志注意：Retrieved_Gtid_Set是slave接收到的事务的信息，Executed_Gtid_Set是slave已经执行的slave的信息，上图出现的报错，可以看到是接收到的事务号不等于执行的事务号，显然出现报错的原因是数据不一致，最重要的是找到出错的事务号，然后跳过。1)停止...
2020-04-17 13:22:19
654
原创 数据结构C(一)——线性表的链式存储
数据结构线性表 今天我们来学习关于线性表的知识。 线性表的基础知识1. 什么线性表，线性表的定义？线性表是由n个数据类型相同的数据元素构成的有限序列，记作（a1,a2,…，ai-1，ai，ai+1， …，an）。2. 线性表的基本特征？①数据元素之间是一对一关系（线性）②除第一个元素外每个元素都有一个前驱，出最后一个元素外每个元素都有一个后继。 线...
2020-03-18 21:06:31
267
原创 Zabbix分布式开源监控系统（六）——监控Httpd和Nginx
实验基于上一篇，已经监控了server2和server3.zabbix监控httpd服务httpd是zabbix自带的监控模块1、 在server2上安装apache，开启服务[root@server2 zabbix]# yum install httpd -y[root@server2 zabbix]# systemctl start httpd[root@server2 z...
2020-03-16 23:52:44
187
Zabbix分布式开源监控系统（五）——通过API接口管理Zabbix所监控主机（实践篇）
API常用接口:user.login，用户登录host.get(create|delete|update)，主机操作hostgroup.get(create|delete|update)，主机组操作item.get(create|delete|update)，监控项目操作history.get，历史数据查询event.get，事件查询trigger.get，触发器查询具体实现1...
2020-03-16 21:59:07
344
原创 Zabbix分布式开源监控系统（四）——通过API接口管理Zabbix所监控主机（原理篇）
1、什么是APIAPI（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，目的是提供应用程序给开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。2.Zabbix APIZabbix API允许你以编程方式检索和修改Zabbix的配置，并提供对历史数据的访问。 它广泛用于：创建新的应用程序以...
2020-03-16 20:48:41
254
原创 Zabbix分布式开源监控系统（三）——3种方式添加被监控主机
点击【配置】–>【主机】，查看server的状态，可以看到zabbix监控的名称zabbix-server是自己，但是因为没有安装zabbix-agent，所以ZBX显示红色，安装之后才可以对自己进行相关监控可用性ZBX不是绿色表示监控没有开启主机角色server1 192.168.122.101zabbix-server，zabbix-web,mariadb-s...
2020-03-15 22:18:59
376
原创 Zabbix分布式开源监控系统（二）——Zabbix监控平台搭建
rhel7.3操作系统主机角色server1 192.168.122.101zabbix-server，zabbix-web,mariadb-server监控方server2 192.168.122.102zabbix-agent(1)被监控方server3 192.168.122.103zabbix-agent(2)被监控方具体步骤：1、配置网络y...
2020-03-15 19:04:03
330
原创 Zabbix分布式开源监控系统（一）——原理篇
1、Zabbix简介zabbix是一个基于`WEB界面的提供 分布式系统监控以及网络监控功能 的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由zabbix server与可选组件zabbix agent两部门组成。zabbix server可以通过SNMP，zabbix agent...
2020-03-15 17:35:56
695
原创 测试邮件通知遇见的报错
mailq: fatal: parameter inet_interfaces: no local interface found for 192.168.122.1修改文件vim /etc/postfix/main.cf更改为重启服务service postfix startok问题解决！
2020-03-14 20:34:56
325
原创 用生活中的小事谈谈什么是Linux的五种IO模型
首先我们要知道，Linux有哪些IO模型呢？他们分别是，阻塞IO模型、非阻塞IO模型、IO复用模型、信号驱动IO模型、异步IO模型。那什么是IO呢？IO就是指文件的输入和输出那实现一个怎样的过程才能称为一次IO呢？拿从磁盘读取文件为例，就是将文件读取到内存中，即完成从硬件到用户空间的一个过程。java中的“IO”与系统层面的IO模型有什么不同呢？java中的阻塞IO（BIO）、非阻塞...
2020-03-07 23:02:38
119
原创 find命令
查找命令是linux系统中很常用的，今天来说说find命令的用法。首先我们要知道，根据什么条件查找文件呢？基本可以分为以下几个方面第一：根据名称查找文件第二：根据权限查找文件第三：根据所有人、所有组查找文件第四：根据时间查找文件第五：根据大小查找文件现在开始介绍find命令在以上几个方面的实际应用第一部分：根据名称查找文件1.在当前目录中查找文件查找名为test的文件2.查...
2020-03-07 16:41:02
1471
原创 Linux最基础实验环境搭建
1.安装系统后，首先是想要查看系统的IP，命令查看ip addr显示了如下三种lo 回环接口，用于系统的内部通信wlp2s0 无线网卡（在没有连接wifi之前，一直处于DOWN状态，当连接wifi后，处于UP状态，并且会在该网卡上分配一个ip，用于实现与外界之间的通信）virbr0 桥接网卡即网桥，用于真机与虚拟机之间的通信 （网桥下会有ip，该ip用于与虚拟机之间的通信，所以虚拟机的...
2020-02-04 12:02:56
439
原创 格式化启动盘
一个命令 就ok[root@localhost ~]# df ##查看挂载点[root@localhost ~]# umount /dev/sdb1 ##卸载[root@localhost ~]# mkfs.vfat /dev/sdb1 ##格式化mkfs.fat 3.0.20 (12 Jun 2013)
2019-12-30 15:53:07
450
原创 Hadoop的部署
hadoop本地部署建立hadoop用户，并且设置密码useradd -u 1000 hadoop passwd hadoop以hadoop用户身份 使用hadoop与java的压缩包 lshadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz mv * /home/hadoop su - hadoop cd /home/hadoop...
2019-12-21 22:38:02
193
1
原创 ROS
因为一些项目需要，最近了解一些关于Ubuntu系统和ROS方面的知识，现在做一点小小的总结搭建ros环境详细步骤不说了，这里给两篇参考博客，按照这个做下来应该没什么问题ubuntu16.04安装ROSubuntu18.04安装ROS给了两篇不同版本的安装ROS的博客，其实步骤大同小异，主要就是不同版本安装对应的ROS，在安装过程中遇到的问题这两篇结合起来就基本可以解决，还有如下补充的几点...
2019-12-05 20:29:39
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人