天健胡马灵越鸟-CSDN博客

原创 Shell脚本实现进度条或时钟输出的小技巧

1、实现进度条，每秒输出一格进度#！/bin/bashfor i in {1..100}do echo -ne ">" sleep 1done#结果如下，每秒增加一个 '>'：#>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>&g

2020-12-23 21:54:26 1577

具体命令如下：1.使用ll /sys/block命令查看磁盘编号，确认需要拔出的磁盘的编号，如 0 0 1 0；# ll /sys/blocksda -> ../devices/pci0000:17/0000:17:02.0/0000:1c:00.0/host0/target0:2:2/0:2:2:0/block/sdasdb -> ../devices/pci0000:17/0000:17:02.0/0000:1c:00.0/host0/target0:2:3/0:2:3:0/

2020-10-12 19:51:53 4233

转载 Flask操作指南，留着练习

1. flask介绍Flask是一个基于Python实现的web开发的'微'框架中文文档地址Flask和Django一样，也是一个基于MVC设计模式的Web框架flask流行的主要原因：a）有非常齐全的官方文档，上手非常方便b) 有非常好的拓展机制和第三方的拓展环境，工作中常见的软件都有对应的拓展，自己动手实现拓展也很容易c) 微型框架的形式给了开发者更大的选择空间2. 安装flask2.1虚拟环境搭建virtualenv --no-site-pac..

2020-08-13 11:25:02 751

转载快照机制COW和ROW原理区别

一直对快照的两种模式cow和row区分不开，今天看到一篇文章讲的很清晰。转载过来，希望能给有同样困惑的同学以帮助。所谓快照，是指某数据集在某一时刻一个完全可用的拷贝。也叫即时拷贝。注意是一个完全可用的。如果是在window环境下，则要结合VSS 机制，把应用程序的buffer,文件系统的buffer,操作系统的buffer全部刷向磁盘后，再做快照。当前快照有两种实现，分别是COW（Copy on first write）和ROW(Redirect on first write).假如有一个卷8

2020-08-03 10:42:52 7274

转载 Docker架构简介命令详解

1.1、Docker的介绍 Docker是一个开源的应用容器引擎，使用Go语言开发，基于Linux内核的cgroup，namespace，Union FS等技术，对应用进程进行封装隔离，并且独立于宿主机与其他进程，这种运行时封装的状态称为容器。 Docker早起版本实现是基于LXC，并进一步对其封装，包括文件系统、网络互联、镜像管理等方面，极大简化了容器管理。从0.7版本以后开始去除LXC，转为自行研发的libcontainer，从1.11版本开始，进一步演进为使用ru

2020-07-20 17:29:34 1053

原创 MegaCli 处理raid阵列卡其他阵列配置磁盘混插的问题

常在河边走，哪有不湿鞋，之前再工作中经常会有热拔插磁盘的动作，习惯成自然。遇到一般问题都是热拔插，然鹅有一天发生了一些事情导致这篇文章的诞生，也希望对大家有些帮助事情是这样的：自己四台服务器都通过raid卡做了raid5，然后有一位同事说三块盘要写满服务器比较耗时，建议减少磁盘数量。减少磁盘数量，还用说？简单暴力直接拔盘，当把每台服务器上的两块盘拔下来抱在怀里的时候懵逼了，我的服务器是做了raid5的，当前插回去顺序也忘了，怎么办？插回去？好！当把磁盘都插回去的时候发现他们相会已经不认识了，raid

2020-07-02 15:15:05 2790 3

转载 Git常用命令及方法大全

Git常用命令及方法大全下面是我整理的常用 Git 命令清单。几个专用名词的译名如下。Workspace：工作区 Index / Stage：暂存区 Repository：仓库区（或本地仓库） Remote：远程仓库本地分支关联远程git branch --set-upstream-to=origin/分支名分支名代码库修改密码后push不上去怎么办？ // 重新输入密码 git config --system --unset c...

2020-06-18 21:00:42 448 1

转载 Python 模块加载原理解析

import在交互环境下，使用不带参数的dir()可以打印当前local命名空间的所有键>>> locals(){'__builtins__': <module '__builtin__' (built-in)>, '__name__': '__main__', '__doc__': None, '__package__': None}>>> dir()['__builtins__', '__doc__', '__name__', '__.

2020-06-16 20:52:46 754

原创 Git私有服务器搭建

一、服务器准备linux Centos7具体操作：1/ 安装Git：yum -y install git2/ 创建Git用户及用户组：groupadd git useradd git -g git3/ 在指定路径创建Git仓库路径如：/opt/mkdir /opt/gitrepocd /opt/gitrepo初始化项目分支git init --bare webp给项目目录赋予git用户及用户组权限chown -R git:git webp/4

2020-05-13 16:14:30 1149

转载 Linux服务启动项配置

systemd的开机自启动上面提到的两种方式适用于经典的system V控制系统启动和关闭的情况，但是目前(2018年10月)在大多数发行版上都开始使用了systemd的系统软件控制方式，包括Ubuntu16，centos.systemd系统管理着linux下的进程运行，属于应用程序，不属于linux内核的范畴。在systemd系统上设置开机自启动的方式也是非常简单的(尽管systemd这...

2020-04-22 11:51:07 1004

转载 multipath配置含义解析

默认情况下，multipath已经支持大部分常见的存储型号（可见multipath.conf.defaults），但不同的multipath版本可能都有些不同。这时，建议参考存储的官方文档，但有时候，同一台机器上如果连接了一个以上的存储时，可能默认规则并不完全适用。这时我们可以给特定的存储定制多路径符合的策略。　　配置文件的模板默认位于/usr/share/doc/device-mapper-...

2020-04-09 10:55:38 2697

转载 multipath多路径配置

很多存储厂商都有自己的多路径软件，像EMC的powerpath、华为有UltraPath，不过考虑到通用性和兼容性可能还是系统自带的multipath使用的是最多的。multipath除了兼容性比较好，配置也比较简单。multipath.conf的配置分为：defaults、blacklist、blacklist_exceptions、devices、multipaths几部分。default...

2020-03-30 21:07:58 5355

转载 Linux 下安装Python虚拟环境Virtualenv

什么是VirtualenvVirtualenv用于创建虚拟的Python环境，一个专属于项目的Python环境，不同的项目可以创建不同的Pthon环境（依赖项和版本等），各个环境之间完全隔离，不需要担心和其他项目的Python环境以及全局的Python环境发生冲突。安装Virtualenv一般情况下，系统自带的Python环境是Python2，并且没有安装pip，如需安装Pytho...

2020-03-30 16:14:08 2622

原创不同平台更新python pip源至国内镜像（pip高级用法）

之前安装了一次flask，使用python默认源，因为资源获取和网络原因各种time out的错误，如：raise ReadTimeoutError(self._pool, None, 'Read timed out.')发现是网络太慢加载文件超时导致的错误，所以找了些方法，更新pip源至国内，一劳永逸。国内pip源地址：1、豆瓣(douban)：http://pypi.douban...

2020-03-16 20:43:45 380

原创 python数据结构-列表操作

Python数据结构列表的操作方法，没有原理的介绍，其它基本操作查看这里：https://www.runoob.com/python/python-lists.htmlPython列表函数&方法Python包含以下函数:lista = [1, 2, 5, 7, 9, 8, 11]listb = [2, 4, 6, 8, 10, 11]1.len(list)列表元素个数...

2020-01-16 16:31:22 344

转载 Centos7下的zabbix安装与部署

1.Zabbix介绍 zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix由2部分构成，zabbix server与可选组件zabbix agent。 zabbix server可以...

2019-11-26 10:07:45 246

转载分布式理论(九) —— Paxos共识算法详解

在一个分布式系统中，由于节点故障、网络延迟等各种原因，根据CAP理论，我们只能保证一致性（Consistency）、可用性（Availability）、分区容错性（Partition Tolerance）中的两个。对于一致性要求高的系统，比如银行取款机，就会选择牺牲可用性，故障时拒绝服务。MongoDB、Redis、MapReduce使用这种方案。对于静态网站、实时性较弱的查询类数据库，会...

2019-11-13 11:40:30 586

转载分布式理论(八)—— Consistent Hash（一致性哈希算法）

前言在分布式系统中，常常需要使用缓存，而且通常是集群，访问缓存和添加缓存都需要一个 hash 算法来寻找到合适的 Cache 节点。但，通常不是用取余hash，而是使用我们今天的主角—— 一致性 hash 算法。今天楼主就来说说这个一致性 hash 算法。1. 为什么普通的 hash 算法不行？普通的 hash 算法通常都是对机器数量进行取余，比如集群环境中有 3 台 redis，...

2019-11-13 11:37:50 201

转载分布式理论(七)—— 一致性协议之 ZAB

前言在前面的文章中，我们说了很多一致性协议，比如 Paxos，Raft，2PC，3PC等等，今天我们再讲一种协议，ZAB 协议，该协议应该是所有一致性协议中生产环境中应用最多的了。为什么呢？因为他是为 Zookeeper 设计的分布式一致性协议！1. 什么是 ZAB 协议？ ZAB 协议介绍 ZAB 协议全称：Zookeeper Atomic Broadcast（Zookeeper ...

2019-11-13 11:36:47 279

转载分布式理论(六)—— Raft 算法

前言我们之前讲述了 Paxos 一致性算法，虽然楼主尝试用最简单的算法来阐述，但仍然还是有点绕。楼主最初怀疑自己太笨，后来才直到，该算法的晦涩难懂不是只有我一个人这么认为，而是国际公认！所以 Paxos 算法在 1990 就发表出来，但却得不到运用。真正的名声大噪还是在兰伯特使用 “更简单” 的方式重写了一篇论文才开始。这些和今天说的 Raft 有什么关系呢？答：Raft 也是一个...

2019-11-13 11:35:44 223

转载分布式理论(五)—— 一致性算法 Paxos

前言Paxos 算法如同我们标题大图：世界上只有一种一致性算法，就是 Paxos。出自一位 google 大神之口。同时，Paxos 也是出名的晦涩难懂，推理过程极其复杂。楼主在尝试理解 Paxos 算法的过程中历经挫折。今天，楼主不会讲推理过程，因为就算是尝试使用大白话来讲，也非常的难懂。当然更不会讲数学公式。而是从一个普通 Java 程序员的角度来理解 Paxos 算法。1...

2019-11-13 11:34:39 651

转载分布式理论（四）—— 一致性协议之 3PC

前言我们说为了实现 BASE 理论，需要在可用性和一致性之间找到一个合适的一致性理论，于是，我们在上篇文章中了解了 2PC 理论，也就是两阶段提交，二阶段提交原理简单，实现方便，但是缺点则是同步阻塞，单点问题，数据不一致，过于保守。而为了弥补二阶段提交的缺点，研究者们在他的基础上，提出了三阶段提交。1. 什么是三阶段提交3PC，全称 “three phase commit”，是 2...

2019-11-13 11:32:34 152

转载分布式理论（三）—— 一致性协议之 2PC

前言为了使系统尽量能够达到 CAP，于是有了 BASE 协议，而 BASE 协议是在可用性和一致性之间做的取舍和妥协。人们往往需要在系统的可用性和数据一致性之间反复的权衡。于是呢，就产生我们标题中的一致性协议，而且还不止一个呢。为了解决分布式问题，涌现了很多经典的算法和协议，最著名的就是二阶段提交协议，三阶段提交协议，Paxos 算法。本文重点介绍二阶段提交协议，简称 2PC。...

2019-11-13 11:31:18 212

转载分布式理论(二)——Base 理论

前言在前文分布式理论(一) —— CAP 定理中，我们说，CAP 不可能同时满足，而分区容错是对于分布式系统而言，是必须的。最后，我们说，如果系统能够同时实现 CAP 是再好不过的了，所以出现了 BASE 理论，今天就来讲讲 Base 理论。1. 什么是 Base 理论BASE：全称：Basically Available(基本可用)，Soft state（软状态）,和 E...

2019-11-13 11:29:43 121

转载分布式理论(一) —— CAP 定理

目录：什么是 CAP 定理为什么只能 3 选 2 能不能解决 3 选 2 的问题引用1. 什么是 CAP 定理2000 年的时候，Eric Brewer 教授提出了 CAP 猜想，2年后，被 Seth Gilbert 和 Nancy Lynch 从理论上证明了猜想的可能性，从此，CAP 理论正式在学术上成为了分布式计算领域的公认定理。并深深的影响了分布式计算的发展。CA...

2019-11-13 11:27:04 234 1

转载 Python jenkinsapi教程（四）

实践：前面分析了源码的一些接口和使用方法，下面用真实的环境来看下具体用法未完待续...

2019-11-11 15:28:43 1587

原创 Python jenkinsapi教程

Python jenkinsapi教程（一）用户API该模块是有用的高级功能的集合，这些功能可以自动执行常见任务。这些函数中的许多函数被设计为向命令行公开，因此它们具有简单的字符串参数Python jenkinsapi教程（二）Jenkins 构建Jenkins构建代表Jenkins Job的单次执行。可以将构建视为jobs之下jenkins体系的第二层。构建可以具有状态...

2019-11-07 10:26:03 859

原创 Python jenkinsapi教程（三）

使用 Jenkins APIJenkinsAPI 让你查询Jenkins服务的状态.也允许你改变配置和自动监控节点或job的状态。示例1: 获取jenkins版本Get version of Jenkinsfrom jenkinsapi.jenkins import Jenkinsdef get_server_instance(): jenkins_url = 'h...

2019-11-06 18:01:24 1301

原创 Python jenkinsapi教程（二）

Jenkins构建代表Jenkins Job的单次执行。可以将构建视为jobs之下jenkins体系的第二层。构建可以具有状态，例如它们是否正在运行。他们也可以有结果，例如他们通过还是失败。构建对象可以与Results和Artifacts.g相关联classjenkinsapi.build.Build（URL，buildno，job，depth = 1）表示在工作环境中执行的j...

2019-11-06 17:50:00 972

原创 Python jenkinsapi教程（一）

用户API该模块是有用的高级功能的集合，这些功能可以自动执行常见任务。这些函数中的许多函数被设计为向命令行公开，因此它们具有简单的字符串参数。等待所有任务完成：jenkinsapi.api.block_until_complete(jenkinsurl, jobs, maxwait=12000, interval=30, raise_on_timeout=True, username...

2019-11-06 17:19:11 2721

转载 Linux安装Jenkins

1、先安装jdk首先执行以下命令查看可安装的jdk版本：yum -y list java*选择一个版本安装yum install -y java-1.8.0-openjdk-devel.x86_64等待安装即可安装完成之后，查看安装的jdk版本，输入以下指令：java -version2、安装jenkinswget -O ：下载并以不同的文件名保存yum的rep...

2019-10-29 19:45:25 148

原创 IPMITOOL工具使用详解（待验证）

[root@localhost ~]# yum install -y ipmitool #安装这个包#service ipmi start#ipmitool -I open shell#### 可以直接进入本地BMC sh[root@localhost ~]# ipmitool -hipmitool version 1.8.18usage: ipmitool [options....

2019-10-29 19:38:08 4597

转载 python3支持ride RF

相信大家对robot framework并不陌生，它是一个基于Python语言，用于验收测试和验收测试驱动开发（ATDD）的通用测试自动化框架=，提供了一套特定的语法，并且有非常丰富的测试库。Python现在可以使用Python3.x了，因为距离Python2.x停止维护也只剩一年时间了。Robot framework基于Python的robot framework测试...

2019-10-12 10:53:00 490

原创 Ceph浅析-ceph从这里入门更好

在学习技术文章入门时候未免枯燥，如果能像读故事一样先全面了解下来龙去脉，然后在像去了解细节一样的学习技术明显会觉得学习的不是那么茫然，目的明确很多，这篇文章带给我的感觉就是这样，收益不小，“Ceph浅析”系列之(—)—Ceph概况“Ceph浅析”系列之(二)—Ceph的设计思想“Ceph浅析”系列之(三)—Ceph的结构“Ceph浅析”系列之(四)——Ceph的工作原理及流程“...

2019-10-09 10:21:35 1609

转载 “Ceph浅析”系列之(六)——关于Ceph的若干想法

本篇文章的内容，主要是笔者在调研分析Ceph过程中产生的一些思考。因为其中的内容比较自由发散，且大多是笔者的个人见解，故此另启一文进行讨论。7.1 关于Ceph的性能目前为止，本系列的文章中没有涉及到Ceph性能的详细讨论，也没有给出任何的Ceph性能数据。原因很简单：笔者本人没有机会进行详尽的Ceph性能分析研究，也没有见到比较全面的相关数据。因此，为了避免以...

2019-10-09 10:15:13 510 1

转载 “Ceph浅析”系列之(五)——Ceph与OpenStack

在《“Ceph浅析”系列之二——Ceph概况》中即已提到，关注Ceph的原因之一，就是OpenStack社区对于Ceph的重视。因此，本文将对Ceph在OpenStack中的价值进行简要介绍，并且对Ceph和Swift进行对比。6.1 Ceph在OpenStack中的地位对于一个IaaS系统，涉及到存储的部分主要是块存储服务模块、对象存储服务模块、镜像管理模块...

2019-10-09 10:13:00 630

转载 “Ceph浅析”系列之(四)——Ceph的工作原理及流程

本文将对Ceph的工作原理和若干关键工作流程进行扼要介绍。如前所述，由于Ceph的功能实现本质上依托于RADOS，因而，此处的介绍事实上也是针对RADOS进行。对于上层的部分，特别是RADOS GW和RBD，由于现有的文档中（包括Sage的论文中）并未详细介绍，因而本文或有语焉不详之处，还请读者多多包涵。本文将首先介绍RADOS中最为核心的、基于计算的对象寻址机制，然后说明对...

2019-10-09 09:48:41 887

转载 “Ceph浅析”系列之(三)—Ceph的结构

本文将从逻辑结构的角度对Ceph进行分析。4.1 Ceph系统的层次结构Ceph存储系统的逻辑层次结构如下图所示[1]。自下向上，可以将Ceph系统分为四个层次：（1）基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布...

2019-10-09 09:46:24 797

转载 “Ceph浅析”系列之(二)—Ceph的设计思想

分析开源项目，时常遇到的一个问题就是资料不足。有时间写代码的大牛们通常是都是没有时间或者根本不屑于写文档的。而不多的文档通常又是使用手册之类的东西。即便偶尔有设计文档通常也是语焉不详。在这种情况下，想从代码里反向把设计思想提炼出来，毕竟不是人人都能做到的。值得我们庆幸的是，Ceph是一个典型的起源于学术研究课题的开源项目。虽然学术研究生涯对于Sage而言只是其光辉事迹的短短一篇...

2019-10-09 09:44:14 807 5

转载 “Ceph浅析”系列之(—)—Ceph概况

本文将对Ceph的基本情况进行概要介绍，以期读者能够在不涉及技术细节的情况下对Ceph建立一个初步印象。2.1什么是Ceph？ Ceph的官方网站Ceph.com上用如下这句话简明扼要地定义了Ceph： “Ceph is a unified, distributed storage systemdesigned for excellent...

2019-10-09 09:42:39 959