夜的第七章-Boy-CSDN博客

原创 Swarm简介和使用教程-Docker-swarm和Docker-machine

Swarm简介和使用教程-Docker-swarm和Docker-machineSwarm介绍1 简介2 特性3 概念使用swarm模式1 不使用Docker Machine工具11 步骤12 创建swarm集群13 发布服务14 滚动升级15 DRAIN节点16 恢复node17 使用swarm mode路由网格18 添加全局的网络2 使用Docker Machine

2017-12-11 17:23:11 1326

原创 Docker-Compose简介安装使用

Docker-Compose简介安装使用Docker-Compose简介安装使用简介安装使用1 docker-compose命令2 docker-composeyml 文件imagebuildcommandcontainer_namedepends_ondnstmpfsentrypointenv_fileenvironmentexposeexternal_links

2017-12-08 17:07:27 532

原创 Docker Engine和Docker Machine介绍

Docker Engine和Docker Machine介绍Docker Engine和Docker Machine介绍Docker EngineDocker MachineDocker Machine 与 Docker Engine概念上的区别使用Docker Machine参考1 Docker EngineDocker Engine也就是“Docker”，Docker我们一般理解的，都

2017-12-08 14:14:42 4396 1

原创单机Docker-compose编排pbspro_maya

单机Docker-compose编排pbspro_maya单机Docker-compose编排pbspro_maya前提Compose编排配置文件pbs共享卷启动容器执行clustersh脚本过程Pbspro安装cluster_master_1cluster_worker_添加计算节点测试问题改进脚本登陆容器安装PBS1 添加卷2 重新创建容器3 Master自动化安

2017-12-07 15:46:47 370

原创 pbspro-maya多机Swarm编排(待续。。。)

1简介初始化SwarmSwarm编排swarmsh脚本启动的过程安装PBS1 master容器2 worker容器3 添加计算节点4 测试问题1简介前提，安装Docker，制作镜像centos+pbspro+maya镜像名称 IP manager 192.168.64.81 worker1 192.168.64.82建立ssh互信2 初始化Swarmman

2017-12-06 17:52:51 424

原创单机Compose编排pbspro_maya

单机Compose编排pbspro_maya单机Compose编排pbspro_maya前提Compose编排Pbspro安装cluster_master_1cluster_worker_1cluster_worker_2添加计算节点测试问题改进脚本登陆容器安装PBS1 添加卷2 重新创建容器3 Master自动化安装Pbspro4 批量化worker安装Pbspro5

2017-12-06 17:51:31 327

原创 Fastdfs 单节点安装使用教程整理

1 简介Fastdfs的具体介绍看这里：http://www.jianshu.com/p/af10e44b0fb62 安装准备名称版本地址作用系统 CentOS-7-x86_64-DVD-1708.iso 点击这里系统 Fastdfs Fastdfs_v5.11 点击这里分布式系统 libfastcommon libfastcomm

2017-11-22 21:58:52 709

1 FastDFS简介FastDFS是一款类Google FS开源的轻量级分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，Google FS以及FastDFS、mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统，而是应用级的分布式文

2017-11-22 21:55:58 304

原创 centos7 安装docker

直接用yum install docker -y安装的docker版本为1.12，但是docker发展很快，现在都17.09.0了。1 安装1 卸载老版本的 docker 及其相关依赖sudo yum remove docker docker-common container-selinux docker-selinux docker-engine2 安装 yum-utils，它提供了 yum-co

2017-11-22 19:16:44 577

原创 Centos7+Maya2017+Pbspro安装

Centos7Maya2017Pbspro简介制作镜像1 构建fpkmayabase-centos7镜像2 构建fpkmaya-mayabase镜像3 构建fpkpbspro-maya镜像开启容器1 创建容器2 安装Pbspro参考资料Centos7+Maya2017+Pbspro1 简介1 在Centos7基础上，编写Dockerfile，安装各种依赖库，build成mayab

2017-11-22 15:44:34 3593

原创 Docker容器安装-多节点PbsPro

Docker容器安装-多节点PbsPro简介1 Docker简介2 PBS简介安装Docker建立SSH互信安装配置PbsPro1 配置管理节点2 配置计算节点3 启动PBS添加计算节点3 测试PBS命令1 qsub 命令2 qstat 命令3 qdel 命令4 qmgr 命令用于队列管理5 基本脚本写法和选项可能出现的问题总结相关博客参考资料 Docke

2017-11-21 08:56:47 2537 1

原创 Docker容器安装-单节点PbsPro

Docker容器安装-单节点PbsPro1 前提1.1 Docker介绍：简介Docker 是一个开源的应用容器引擎，基于 Go 语言并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重

2017-11-20 15:55:05 1268

原创 Centos7安装-多节点Torque

Centos7安装-多节点Torque1 简介PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有

2017-11-20 15:53:46 8002 7

原创 Centos7安装-多节点PbsPro

Centos7安装-多节点PbsProCentos7安装-多节点PbsProPBS 是公开源代码的作业管理系统，pbspro是著名的open PBS的商业版。其相关的介绍请看我写的相关博客。1：准备1.1 机器准备两个机器(centos7)，机器名分别为pbs

2017-11-20 15:53:00 4312 1

原创 Centos7安装-单节点Torque

Centos7安装-单节点TorqueCentos7安装-单节点Torque1 简介PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，

2017-11-20 15:51:21 5810 2

原创使用ssh在Docker容器间建立互信

使用ssh在容器间建立互信前提1 关闭防火墙sudo systemctl stop firewalld.service #停止firewallsudo systemctl disable firewalld.service #禁止firewall开机启动2 更换下载源3 安装Docker1 自定义网络由于容器的网络是在启动时由docker engine配置的，所以造成容器的IP地

2017-11-20 09:29:34 2488

超清版Spark核心技术与高级应用 ,于俊等著作超清版

超清版Spark核心技术与高级应用 ,于俊等著作超清版个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除！本书共分为四大部分：, 基础篇（1～10章）介绍了Spark的用途、扩展、安装、运行模式、程序开发、编程模型、工作原理，以及SparkSQL、SparkStreaming、MLlib、GraphX、Bagel等重要的扩展；, 实战篇（11～14）讲解了搜索结果的排序、个性化推荐系统、日志分析系统、自然语言处理、数据挖掘等方面的案例；, 高级篇（15～18）则讲解了Spark的调度管理、存储管理、监控管理、性能优化、最佳实践以及重点算法的解读；, 扩展篇（19～20）讲解了Sparkjob-server和Tachyon。

2018-07-24

Spark核心技术与高级应用 ,于俊等著作

Spark核心技术与高级应用.pdf 个人收集电子书，仅用学习使用，不可用于商业用途，如有版权问题，请联系删除！本书共分为四大部分：, 基础篇（1～10章）介绍了Spark的用途、扩展、安装、运行模式、程序开发、编程模型、工作原理，以及SparkSQL、SparkStreaming、MLlib、GraphX、Bagel等重要的扩展；, 实战篇（11～14）讲解了搜索结果的排序、个性化推荐系统、日志分析系统、自然语言处理、数据挖掘等方面的案例；, 高级篇（15～18）则讲解了Spark的调度管理、存储管理、监控管理、性能优化、最佳实践以及重点算法的解读；, 扩展篇（19～20）讲解了Sparkjob-server和Tachyon。

2018-07-17

深入理解Spark：核心思想与源码分析

　本书对Spark源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐，阿里巴巴资深Java开发和大数据专家撰写。本书对Spark的核心模块、部署和协作模块的实现原理与使用技巧进行了深入的剖析与解读。　　本书分为三篇：　　准备篇（第1～2章），介绍了Spark的环境搭建、设计理念与基本架构，帮助读者了解一些背景知识。　　核心设计篇（第3～7章），着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容，读者可以通过源码剖析更加深入理解Spark的核心设计与实现，以便在实际使用中能够快速解决线上问题并对性能进行调优。　　扩展篇（第8～11章），主要讲解基于Spark核心的各种扩展及应用，包括SQL处理引擎、Hive处理、流式计算框架Spark Streaming、图计算框架GraphX、机器学习库MLlib等内容。通过阅读这部分内容，读者可以扩展实际项目中对Spark的应用场景，让Spark焕发活力。

2018-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

u012460749的博客