- 博客(105)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 firewalld日常操作笔记
Firewalld动态防火墙管理器服务（DynamicFirewallManagerofLinuxsystems）是目前Centos7默认的防火墙管理工具，同时拥有命令行终端和图形化界面的配置工具，即使是对Linux命令并不熟悉也能快速入门，相比于传统的防火墙管理工具还支持了动态更新技术。同时，加入了“zone区域”的概念，简单来说就是为用户预先准备了几套防火墙策略集合（策略模板），然后可以根据生产场景的不同而选择合适的策略集合，实现了防火墙策略之间的快速切换。...
2022-07-18 16:30:58
472
1
原创 kafka集群部署(最新版本kafka_2.13-3.1.0)
集群环境：节点名ip地址OS版本部署服务broker信息kafka01192.168.96.11CentOS Linux release 7.9.2009 (Core)jdk、zookeeper、kafkabroker : 0kafka02192.168.96.12CentOS Linux release 7.9.2009 (Core)jdk、zookeeper、kafkabroker : 1kafka03192.168.96.12CentOS L
2022-03-07 21:30:41
3884
1
原创 python生成数字签名及验证签名
公私钥生成方法，请见前文实例：python生成数字签名及验证import base64from Crypto.Hash import SHA256from Crypto.PublicKey import RSAfrom Crypto.Signature import pkcs1_15# 签名消息message = "action=xx&contract_no=xx&offer_id=xx&product_id=xx&OjJNgXdJxAVDeSNEUhi4A
2021-04-02 10:52:43
2759
2
原创 python自动生成公私钥
pycryptodome模块安装：pip install pycryptodome==3.10.1实例：通过python自动生成公私钥#!/usr/bin/env python3# -*- coding: UTF-8 -*-from Crypto import Randomfrom Crypto.PublicKey import RSArandom_generator = Random.new().readkey = RSA.generate(2048, random_generato
2021-04-02 10:46:49
945
原创 python自动生成大数据量Excel文件
xlwt模块只支持Excel2007之前的版本，格式为：xls文件，且单个sheet只支持最大行数为65535，一旦数据量超出限制行数，则会报出以下异常：ValueError: row index was 65536, not allowed by .xls format此时，openpyxl模块则是一个很不错的选择了，openpyxl 模块用来处理Excel 2007及以上版本的文件，也就是.xlsx、.xlsm、xltx、xltm格式的文件，最大支持行数1048576。openpyxl模块安装方
2021-04-02 10:12:39
773
原创 修改kubeadm v1.17.4 证书有效期为永久有效
1. 下载go二进制包并配置环境[maaiqiang@localhost ~]$ cd /usr/local/src/[maaiqiang@localhost ~]$ wget https://dl.google.com/go/go1.13.8.linux-amd64.tar.gz[maaiqiang@localhost ~]$ tar -C /usr/local -xzf go1.13.8...
2020-05-20 09:59:40
907
1
原创 supervisor守护进程管理实操笔记
2020年年后工作中需开发一支持多数据源自动上报业务数据的程序，程序开发完部署上线时需要对其进程进行自动管理，不然哪天程序down了还不知，可就麻烦了，所以这里选用了强大的supervisor，以下文章为学习及实操时的笔记，不正确处请指出Supervisor简介Supervisor官网：http://supervisord.orgSupervisor是用Python开发的一套通用的进程管理程序...
2020-05-20 09:45:19
229
原创 mysql 建库报匿名用户权限错误
报错信息:ERROR 1044 (42000): Access denied for user ''@'localhost' to database 'meitu'系统环境：Centos 7.5Mysql Server version: 5.6.48分析原因：匿名用户（''）权限报错问题描述：安装好mysql后，root用户账户登录mysql，创建一个新数据库时，提示报错，如下：...
2020-05-20 09:12:06
341
原创 Nginx之配置HTTPS站点
Nginx经常被用于终结SSL连接，可能是因为上游服务器不能够使用SSL。要使用SSL就需要在编译安装时在Nginx的二进制文件中添加--with_http_ssl_module模块，并且要安装ssl证书和秘钥。以下示例代码表示对客户端和反向代理之间的流量进行加密，主要应该在内部网络建设安全性很高的情况下。server { listen 443 d...
2019-03-31 17:49:28
182
原创 Nginx之负载均衡算法
Nginx其中一大特性就是负载均衡，它可以通过扩展它代理的连接来保护你的上游服务器免于过载等问题。负载均衡算法upstream模块能够使用3种负载均衡： 1. 轮询 rountd-robin ）:在默认情况下，使用轮询算法，它可以不需要配置指令来启用它。该算法选择下一个服务器，基于先前选择，在配置文件中哪一个是下一个服务器，以及每一个服务器的负载权重。轮询算法是基于在队列中谁是下一个的...
2019-03-31 17:29:34
137
原创 Nginx之优雅处理上游服务器错误码
当上游服务器无法响应请求时，便会返回50x状态码，这里我们可以进行错误优化处理，会显示的更加友好。示例如下：# 方法1：从本地磁盘提供错误页面server { error_page 500 502 503 504 /50x.html; location =/50x.html { root html;}# 方法2：从外部网站提供错误页面server ...
2019-03-31 17:00:07
691
原创 Nginx之Memcached上游服务器
MemcachedMemcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。 Nginx中Memcached模块在Nginx中， Memcached模块默认是开启的，它负责与memcached守护进程通信。因此，客户端和memcached守护进程之间没有直接通信，也就是说，在这种情况下，Ng...
2019-03-31 16:11:54
136
原创 Nginx之try_files指令
try_files指令适用范围：server，locationtry_files指令将会按照给定它的参数列出顺序进行尝试，第一个被匹配的将会被使用，它经常被用于从一个变量去匹配一个可能的文件，然后将处理传递到一个命名location，如下示例location / { try_files $uri $uri/ @INDEX;}location @INDEX { ...
2019-03-31 14:03:26
264
原创 Nginx之alias和root指令
alias与root区别：(1）alias指定的目录是准确的，即location匹配访问的path目录下的文件直接是在alias目录下查找的；(2）root指定的目录是location匹配访问的path目录的上一级目录,这个path目录一定要是真实存在root指定目录下的；(3）使用alias标签的目录块中不能使用rewrite的break；另外，alias指定的目录后面必须要加上"/"符号！...
2019-03-31 13:55:16
154
原创 Nginx之热部署
nginx 作为一个反向代理、负载均衡服务器，必须具备高可用的特点，因此 nginx 支持热部署。nginx 的热部署和其并发模型有着密不可分的关系。说白了，就是因为 master 进程的关系。当通知 ngnix 重读配置文件的时候，master 进程会进行语法错误的判断。如果存在语法错误的话，返回错误，不进行装载；如果配置文件没有语法错误，那么 ngnix 也不会将新的配置调整到所有 work...
2019-03-31 13:43:39
408
原创 Nginx之proxy_pass指令url反斜杠作用
在nginx中配置proxy_pass代理转发时，其后面的url中反斜杠/ 的匹配处理时常出现意想不到的问题发生，以下说明两种情况：（1）如果在proxy_pass后面的url加/，表示绝对根路径；（2）如果在proxy_pass后面的url没有/，表示相对路径，把匹配的路径部分也给代理走。下面六种情况分别用 http://127.0.0.1/proxy/test.html 进行访问测试第...
2019-03-31 13:23:05
1159
原创 Nginx之ngx_http_proxy_connect_module模块
近期由于项目需要使用到https正向代理，而nginx官方模块仅支持做http正向代理，一番百度学习后发现了该模块，故今日记录下此笔记供大家一起学习交流ngx_http_proxy_connect_module模块主要用于隧道SSL请求的代理服务器GitHub地址：http://www.github.com/chobits/ngx_http_proxy_connect_modulengi...
2019-03-31 13:10:26
17880
3
原创 Nginx之http正向代理
正向代理：如果把局域网外的Internet想象成一个巨大的资源库，则局域网中的客户端要访问Internet，则需要通过代理服务器来访问，这种代理服务就称为正向代理。 反向代理：如果局域网向Internet提供资源服务，让Internet上的其他客户端来访问局域网内的资源，使它们必须通过一个代理服务器来进行访问，这种服务就称为反向代理。正向代理和反向代理逻辑正好相反。 正向代理的用途...
2019-03-31 12:47:55
374
原创 Nginx之server指令
Server指令server{} 表示为一个虚拟服务器，它描述的是一组根据不同的server_name指令逻辑分割的资源，这些虚拟服务器响应HTTP请求，因此它们都包含在http部分中。一个虚拟服务器由listen和server_name指令组合定义，listen指令定义了一个IP地址/端口组合或者是UNIX域套接字路径。listen address[:port];listen por...
2019-03-31 12:24:17
391
原创 Linux下FTP实用命令
1.连接ftpftp 192.168.1.2提醒：分别输入用户名和密码进行认证；特别注意：如果FTP 允许匿名用户，那么用户名要输入anonymous,密码任意。 不能直接敲回车。2.查看帮助信息ftp > help#查看指定命令的帮助信息ftp > help put 3.下载文件1）get remote-file local-file...
2019-01-15 10:29:43
137
原创 Centos7 卸载openjdk，新安装jdk
近日在部署hadoop集群时发现Centos7操作系统已安装好openjdk，但项目需Oracle公司的jdk，所以现将openjdk卸载了再安装jdk，操作过程记录如下:1. 查看已安装的相关包rpm -qa | grep openjdk2. 批量卸载命令：rpm -qa | grep openjdk |xargs rpm -e --nodeps3. 再次执行第1步，发现已经没有o...
2019-01-09 18:00:48
257
原创 为yum、wget配置网络代理
一般在中、大型企业中为了企业内部网络安全，通常采用代理方式连接外部Internet，这样内网的Linux服务器便无法直接连接到外部的yum服务器了，导致安装软件不太方便（毕竟有些软件的依赖包太多）。这里，我仅个人工作环境记录下CentOS服务器的yum及wget网络代理配置。一、yum代理配置如下：1. 修改/etc/yum.conf文件，尾部追加如下内容：sudo vi /etc/yu...
2018-10-31 14:37:38
387
原创 ELK 6.4 实时日志分析系统
ELK简介：ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功...
2018-09-06 22:00:20
213
原创 运维监控三剑客之Nagios
NagiosNagios是一款LInux上成熟的监视系统运行状态和网络信息的开源IT基础设施监控系统。Nagios能够监控所指定的本地或远程主机及服务，同时提供异常通知、事件处理等功能。它可以运行在Linux平台，同时还提供了基于浏览器的web界面，以方便系统管理人员查看系统的运行状态，网络状态，各种系统问题及日志异常等。工作原理Nagios的功能是监控服务和主机，但是其自身并不包含这些...
2018-08-30 22:53:45
414
原创 运维监控三剑客之Zabbix
zabbixzabbix是由 Alexei Vladishev开发的一种网络监视、管理系统，基于 Server-Client架构。可用于监视各种网络服务、服务器和网络机器等状态。使用各种 Database-end 如 MySQL, PostgreSQL, SQLite, Oracle 或 IBM DB2 储存资料。Server 端基于 C语言、Web 管理端frontend则是基于PHP所制...
2018-08-27 20:44:12
748
原创 【亲测】Marathon+Mesos+Zookeeper集群平台部署（实现多实例Docker）
Apache MesosApache Mesos能够在同样的集群机器上运行多种分布式系统类型，更加动态有效率低共享资源。提供失败侦测，任务发布，任务跟踪，任务监控，低层次资源管理和细粒度的资源共享，可以扩展伸缩到数千个节点。Mesos调度顺序Apache Mesos主从服务器调度资源的顺序为首先由Mesos主服务器查询可用资源给调度器，第二步调度器向主服务器发出加载任务，主服务器再传达...
2018-08-16 14:46:20
364
原创 通过Dockerfile创建docker镜像
创建镜像三种方法Docker镜像创建方法有三种，分别为基于已有镜像创建、基于本地模板创建以及基于Dockerfile创建。通过Dockerfile创建镜像这里主要记录下基于Dockerfile创建方法，Dockerfile是由一组指令组成的文件，其中每条指令对应Linux中的一条命令，Docker程序将读取Dockerfile中的指令生成指定镜像。Dockerfile结构大致分为四个部分...
2018-08-16 09:25:31
186
原创 Docker的安装与镜像、容器、仓库的管理
虚拟化技术虚拟化 一般分为硬件级虚拟化和操作系统级虚拟化。硬件级虚拟化 是运行在硬件之上的虚拟化技术，它的管理软件有Hypervisor或virtual machine monitor，它需要模拟的是一个完整的操作系统，例如：VMware、Xen、Virtual Box、AWS EC2和阿里云ECS。操作系统级虚拟化 是运行在操作系统之上的，它模拟的是运行在操作系统上的多个不同进程，并将其封装...
2018-08-12 16:41:41
124
原创 Docker镜像无法被删除的解决方法
1.查看当前所有镜像docker images2.删除镜像ubuntu，提示报错，如下图（这里提示镜像有被容器再使用中）Error response from daemon: conflict: unable to remove repository reference "ubuntu" (must force) - container 23107e15cef9 is using its ...
2018-08-09 17:02:24
2284
原创 Centos7构建KVM虚拟化平台，并通过KVM安装虚拟机
什么是虚拟化？虚拟化就是把硬件资源从物理方式转变为逻辑方式，打破了物理结构，使用户可以灵活管理这些资源，并且允许1台物理机上同时运行多个操作系统，以实现资源利用率最大化和灵活管理的一项技术。虚拟化的优势减少服务器数量，降低硬件采购成本；资源利用率最大化；降低机房空间、散热、用电消耗的成本等；硬件资源可动态调整，提高企业IT业务灵活性；高可用性；在不中断服务的情况下进行物理硬...
2018-08-09 11:43:00
308
原创 RabbitMQ消息队列集群
RabbitMQMQ（Message Queue，消息队列）是一款消息中间件，一般以集群方式部署，主要提供消息的接受和发送，实现各微服务之间的消息异步。集群原理rabbitmq 是依据erlang的分布式特性（RabbitMQ底层是通过Erlang架构来实现的，所以rabbitmqctl会启动Erlang节点，并基于Erlang节点来使用Erlang系统连接RabbitMQ节点，在连接过程...
2018-08-07 13:26:47
235
原创 自动化运维之Puppet服务部署
介 绍作为一名系统管理员，维护服务器正常运行是最基本的职责，在管理几台到几十台服务器时，大部分管理员喜欢自己写小工具来维护，但随着服务器的数量曾多，任务量也逐渐增多，这时就需要简洁的、强大的框架来完成系统管理的任务，为了实现这一目的，我们引入了一些工具，这些工具是可编程的，系统管理员只需要为这个工具写上几行代码，它便会自动的完成所有的工作，这批工具就是运维自动化puppet，它可以针对多台服务...
2018-08-03 22:33:11
365
原创 Ansible Ad-Hoc 常用命令
Ansible Ad-Hoc常用命令Ansible可以通过命令行形式使用它的模块，Ansible自带了很多模块，可以直接使用这些模块。目前Ansible已经自带了259个模块，可以通过ansible-doc -l 显示所有自带的模块，也可以通过ansible-doc -s 模块名 查看模块的介绍及使用示例。Ansible命令行的基本格式如下：ansible <host-patter...
2018-08-01 14:46:36
243
原创 自动化运维之Ansible服务部署
Ansible简介Ansible使用Python语言开发，巧妙的设计、实现了简单易用、功能强大的自动化管理工具。目前它已经广泛应用于各种规模、各个领域的企业。Ansible应用领域Ansible的编排引擎可以出色地完成配置管理、流程控制、资源部署等工作，与其他IT自动化产品比较，Ansible提供了一种不需要安装客户端软件、管理简便、功能强大的基础架构配置、维护工具。安装部署过程特...
2018-08-01 12:17:08
206
原创 SVN版本控制服务 搭建与使用
SVN简介SVN是一个开源的版本控制系统，SVN管理着随时间改变的数据。这些数据放置在一个中央资料档案库中，这个档案库很像一个普通的文件服务器，不过它会记住每一次文件的改动。SVN的概念：repository：源代码库，源代码统一存放的地方；checkout：提取，当电脑上没有源代码的时候，需要从仓库checkout一份- commit：提交，当有修改过的代码，需要commit到r...
2018-07-31 10:29:29
159
原创 Magent + Keepalived实现Memcached高可用群集
Memcached的特点：在Memcached中可以保存的item数据量是没有限制的，只要内存足够；Memcached单进程最大使用内存为2GB，要使用更多内存，可以分别在不同端口启动多个Memcached进程；Memcached是一种无阻塞的socket通信方式的服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快；Memcached分为服务器和客户端，可以配置多个服...
2018-07-30 15:55:40
222
原创 详解MFS分布式存储系统
分布式原理分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的优点是集中访问、简化操作、数据容灾，以及提高了文件的存取性能。MFS分布式文件系统MFS是一种半分布式文件系统，它是由波兰人开发的。MFS文件系统能够实现RAID的功能，不但能够更节约存储成本，而且不比专业的存储系统差，它还可以实现在线扩展。MFS原理...
2018-07-29 17:33:46
657
原创 LAMP架构中Memcached缓存应用
什么是Memcached ？Memcached是一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，进而提升系统性能。Memcache多数情况是作为数据库的前端Cache来使用，因为它比数据库少了很多sql解析、磁盘操作等开销，而且使用内存来管理数据，所以它可以提供比直接读取数据库更好的性能。缓存一般用来保存一些经常存取的对象或数据（例如，浏览器会把经常访问的网页缓存起来），通过缓存...
2018-07-25 23:18:04
134
原创 Varnish反向代理服务器综合应用
Varnish反向代理服务器Varnish是一个开源的轻量级Cache和反向代理软件，通常只为http提供缓存，与Squit相比，Varnish具有性能更高、速度更快、管理更方便等优点。Varnish的特点：基于内存进行缓存，重启后数据将丢失利用虚拟内存方式，IO性能好支持设置0-60秒的精确缓存时间VCL配置管理比较灵活32位机器上只能支持最大缓存文件大小为2GB，需要更大的缓...
2018-07-25 15:43:37
183
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人