mr_zhang2014-CSDN博客

原创通过java实现FastDFS的上传下载增删改查等操作

本次博客带大家来通过java来实现对分布式存储系统的上传下载增删改查等常见操作。（1）下载fastdfs-client-java文件：fastdfs-client-java（2）导入eclipse并且export成fastdfs_client.jar (3)cmd下安装fastdfs_client.jar到mvn环境 pom.xml如下，主要是依赖包那一块，其他的是系统生成的 win+Rc

2018-01-09 22:32:02 15564 3

原创 FastDFS安装与配置

简介：FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件

2018-01-08 21:04:12 942 2

原创 docker-compose编排动态配置的pbsPro容器集群

简介docker-compose是一种容器编排工具，可以将多个docker容器关联部署。通过yaml文件，可以描述应用的架构，如使用什么镜像、数据卷、网络、绑定服务端口等等，然后再用一条命令就可以管理所有的服务（如启动、停止、重启、日志监控等等），可以鼎泰扩展容器的规模等等，和docker swarm非常相似又有区别。本次博客将对前一节利用Dockerfile编排pbspro集群进行升级，

2018-01-04 22:18:39 1092

原创利用Dockerfile编排pbspro集群

简介pbs Pro的全称为“PBS Professional，可移植批处理系统 (PBS) 最初由 NASA 研发设计，被称作“计算机系统的交通灯”，是一种工作负载管理器和调度软件。可以使用它来简化作业提交、跨多个平台集群分布工作负载，以及扩展到数百甚至数千个处理器。PBS Pro的功能包括：接受批处理作业保持和保护作业，直到作业运行运行作业将输出交付给提交者本次博客将讲述

2018-01-03 22:36:48 643

原创 docker容器安装运维工具ansible和nginx安装

简介：本次博客讲解使用dockerfile编写在当前主流的自动化运维工具ansible和nginx的安装和配置。单机的ansible安装请参考我之前的多主机的ansible安装的文章步骤：（1）从基础镜像构建开始安装nginx和ansible的安装：代码如下vi dockerfile# Pull base imageFROM centos:latestMAINTAINE

2017-12-18 21:07:19 1170

原创基于docker-compose的多应用部署

简介： Docker Compose是Docker编排服务的有利工具，可以让用户在其它平台快速安装部署多个微服务和结合，可以让用户在集群中部署分布式应用。简单的说，Docker Compose属于一个“应用层”的服务，用户可以定义哪个容器组运行哪个应用，它支持动态改变应用，并在需要时扩展。（1）安装docker-composecurl -L http

2017-12-15 15:53:07 3701

原创使用nginx的反向代理，来定位多个应用或容器

简介：反向代理（Reverse Proxy）方式是指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器；并将从服务器上得到的结果返回给Internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。通常的代理服务器，只用于代理内部网络对Internet的连接请求，客户机必须指定代理服务器,并将本来要直接发送

2017-12-14 17:02:32 2600

原创 docker swarm model模式下的每个容器夸主机互通

简介：Docker swarm模式的overlay网络本次博客讲述通过自定义overlay网络，使docker swarm model模式下创建的容器集群相互连通。具体做法如下：（1）定义一个多主机的overlay网络docker network create \--driver overlay \--subnet 10.0.9.0/24 \my-

2017-12-13 16:55:14 3856 1

原创 docker远程api的使用

简介：Docker Remote API是指docker团队为了远程管理docker,允许通过unix socket通信操作Docker daemon，我们也可以通过HTTP调用其Rest API，完成容器的查询，创建、销毁等等操作。具体做法如下：（1）开放docker端口，对与centos7下的做法是：vi /etc/sysconfig/docker加上如

2017-12-11 15:18:19 5529 1

原创自动化运维工具ansible的安装与使用

一、简介 :ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。主要包括：(1)、连接插件c

2017-12-07 21:00:36 617

原创 secondnmaenode中错误：“Inconsistent checkpoint fields”的解决方案

当hadoop集群在运行是，出现SecondnameNode报错，字段为“Inconsistent checkpoint fields”不一致的检查点字段，如下图：导致错误的原因：secondnamenode的数据目录下的edit log一以前额度数据百衲本不一致导致解决方法：删除secondnamenode下的文件重启，即可。secondnamenode的路径可以

2017-12-07 15:38:38 442 1

原创 docekr可视化管理软件的使用

一、工具简介：图像化Docker管理工具现在已经成熟，如工具：portainer/portainer通过管理工具我们可以通过图形化管理界面来了解整个docker swarm集群的状态、应用的快速部署、集群的服务和管理、日志显示等等。二、搭建和使用(1)开启dockers的远程api的接口在centos7下的开启方式是vi /usr/lib/systemd/system/

2017-12-06 19:43:53 1906

原创 Nodejs环境安装和项目部署

（1）下载nodejs安装包到本机。安装包下载地址（2）一路next下去，默认安装在C:\Program Files\nodejs\目录下(3)部署nodejs的环境打开cmd控制台 cd到nodejs的安装目录输入npm install express -d npm install e

2017-12-06 11:51:37 8592

原创系统由Linux系统换回windows系统丢失主引导项的解决方案

相信很多像伙伴在使用U盘或PE装机时开机丢失主引导项的问题，下面介绍如何重建引导项目：首先主要分为两个步骤：（1）保证你的分区格式是MBR类型，否则在DiskGenius下无法重建主引导项如果不是MBR格式的分区，那么通过如下步骤转化：进入cmd命令界面list disk //查看磁盘信息。注意看磁盘容量来选择selec

2017-12-01 17:01:56 1804

原创基于虚拟机的slurm集群搭建

（1）原材料：一台纯净的centos7的主节点:worker,同样配置的两台节点worker1，worker2,安装包若干：munge_0.5.10.orig.tar.bz2，slurm-16.05.11.tar.bz2 （2）附加操作：为便于后面文件传输和节点间的交互，修改如下操作。2.1 修改每台节电的/etc/hosts文件如下：2.2 配置主节点work

2017-11-30 20:13:10 4491

原创宿主机与docker容器之间免密码ssh链接，容器与容器之间ssh免密码连接

（1）拉取一个新的centos镜像docker pull centos:7.2（2）运行一个容器，准备安装必要的环境docker run --privileged -p 8888:6817 -p 8889:6818 --dns 8.8.8.8 --dns 8.8.4.4 -h controler --name slurm_control -i -t -v /container_data

2017-11-30 17:35:36 12002

原创 docker下安装slurm集群搭建