zgustb-CSDN博客

原创 Node.js的安装和使用NPM安装Vue.js

一.Node.js的安装配置1.1 Node.js的下载和安装在Node.js官网的首页（https://nodejs.org/en/）下载安装Windows 64位的安装包，下载完后双击安装文件，安装步骤中的选项都默认选择，一路点击下一步进行安装。1.2 NPM国内镜像的配置1、临时使用npm --registry https://registry.npm.taobao.o...

2020-01-09 21:06:05 246

原创 Java编写MapReduce实例

一.准备工作参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven二.测试代码2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...

2020-01-02 17:17:26 644

原创 Java操作HDFS的文件和文件夹实例

一.准备工作参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven二.测试代码2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...

2019-12-30 18:12:35 228

原创 Hadoop简介和架构分析

一.Hadoop简介hadoop是一个具有分布式存储和分布式计算能力的分布式软件系统hadoop基本特点可靠性(数据冗余) 成本低(把数据存储在普通的计算机上) 效率高(把计算分发到多个节点) 可扩容(根据需求, 动态的调整节点集群的大小)解决的问题海量数据可靠存储海量数据分析与计算二.Hadoop架构分析hadoop主要有三个模块：HDFS（Hadoop分布式文...

2019-12-26 22:33:23 545

原创 Hadoop的生态系统介绍

一. Hadoop生态系统架构二. 生态系统介绍2.1 HDFS（分布式文件存储系统）Hadoop分布式文件系统是Hadoop项目的两大核心之一，是针对谷歌文件系统（GoogleFileSystem,GFS)的开源实现。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问...

2019-12-25 21:20:27 3381

原创 DevOps介绍和Jenkins环境搭建

一. DevOps介绍持续开发:这是DevOps生命周期中软件不断开发的阶段。与瀑布模型不同的是，软件可交付成果被分解为短开发周期的多个任务节点，在很短的时间内开发并交付。这个阶段包括编码和构建阶段，并使用Git和SVN等工具来维护不同版本的代码，以及Ant、Maven、Gradle等工具来构建/打包代码到可执行文件中，这些文件可以转发给自动化测试系统进行测试。持续测试：在...

2019-12-25 11:30:39 2565

原创 CentOS下安装MongoDB并与SpringBoot集成

一. 下载和安装MongoDB1.1 下载MongoDBhttps://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.11.tgz 下载然后解压1.2 添加配置文件在MongoDB的bin目录添加mongodb.confport=27017 #端口dbpath=/root/mongodb/db #数据库存文件存放目录l...

2019-12-25 11:27:49 218

原创 CentOS下Docker的安装和常用镜像安装

一.Docker的简介Docker 是一个开源的应用容器引擎，可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，更重要的是容器性能开销极低。Docker 从 17.03 版本之后分为 CE（社区版）和 EE（企业版），我们用社区版就可以了。概念说明...

2019-12-25 11:22:29 204

原创 CentOS下Hadoop3.2的伪分布式和集群安装

一.安装需求jdk-13.0.1_linux-x64_bin.tar.gzhadoop-3.2.1.tar.gz二.环境准备准备三台CentOS虚拟机，一台Master，两台Slave。192.168.108.130 hadoop-master 192.168.108.131 hadoop-slave1 192.168.108.132 hadoop-slave2备注：如果是...

2019-12-25 11:14:02 424 1

原创 Mycat数据库中间件介绍和安装使用

一. Mycat数据库中间件的介绍什么是Mycat，Mycat的官方介绍是：一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据...

2019-12-06 13:20:01 245

原创 Kafka简介、安装和SpringBoot整合使用

一. Kafka简介1. Kafka Topic&Partition 消息发送时都被发送到一个topic，其本质就是一个目录，而topic由是由一些Partition Logs(分区日志)组成,其组织结构如下图所示：我们可以看到，每个Part...

2019-12-02 11:32:52 187

zgustb的专栏