xfyimengweima1314-CSDN博客

原创 spark学习之旅----spark基础scala

本篇文章是学习了课程中scala的相关知识点之后，对本人认为比较重点的知识做一些总结和记录，供日后学习使用。第一点：scala有两种变量类型：val var 。val 变量类型：不可变变量也就是常量，声明常量的时候使用。var 变量类型：可变变量也就是变量，声明变量的时候使用。在spark的RDD数据集开发中，大部分情况下都是使用val 不可变变量，所以val声明用的较多。...

2018-06-22 14:28:55 172

翻译 Git使用操作

简明一句介绍Git：分布式版本控制系统，充当项目或者笔记、代码等等文档的版本记录者。（粑粑再也不用担心你找不到兄弟姐妹啦~）Git安装Linux上安装git：命令行输入：git 系统会检测你有没有安装git，并且还会提醒你怎么安装gitapt-get install git root用户安装，非root用户前面加上 sudo或者通过git源码安装，下载g...

2018-04-27 18:48:52 150

原创 Docker镜像是什么、包含什么、能做什么

镜像是Docker容器的基石，容器是镜像的运行实例，有了镜像才能启动容器。base镜像----提供了一个基本的操作系统环境，用户可以根据需要安装和配置软件base镜像通常是各种Linux发行版的Docker镜像比如ubuntu、Debian、centos等。base镜像只是在用户空间与发行版一致，kernel版本与发行版是不同的。比如说虚机系统是ubuntu14.04，运行一个容器是cen

2018-01-12 18:00:47 17973

原创有关容器的what、why、how的问题

what---什么是容器？容器是一种轻量级、可移植、自包含的软件打包技术，为应用提供封装和隔离，创建并测试好的容器无需任何修改就能够在生产系统的虚拟机、服务器或者公有云主机上运行。容器比虚拟机的优势在于：体积上比虚拟机小很多—-所有的容器共享同一个HostOS；容器比虚拟机部署和启动速度更快、开销更小、更容易迁移。why---为什么需要容器？超强的可移植能力容器的优势

2018-01-10 17:17:14 264

原创 Docker学习第一章---学习环境和运行第一个容器

安装Docker运行第一个容器全部操作均在root权限下进行1.安装Docker安装前准备：容器需要管理工具、runtime和操作系统。管理工具：Docker Engine；runtime:runc ，Docker默认的runtime；操作系统：centos6.9根据自己的环境选择对应的安装https://docs.docker.com/engine/install

2018-01-08 17:48:46 302

原创我的集群---前提准备

搭建hadoop+spark集群之前，先配置好系统基础环境centos6.5系统root权限下操作1 vi /etc/selinux/config修改selinux=disabled2 关闭防火墙 service iptables stop chkconfig iptables off3 网络配置 vi /etc/sysconfig/network-scripts/if

2018-01-04 11:18:05 241

原创 kafka学习记录集

kafka笔记一（本人是kafka小白，想把自己的笔记记录下来，慢慢学习，逐渐成长）一、首先安装kafka集群，最近最新版本是1.0，下载kafka1.0安装包，解压缩，修改配置文件，安装，测试，详见另一篇博客笔记：kafka集群安装部署二、完成kafka消息订阅三剑客：producer生产者、broker中间件、consumer消费者三、利用kafkaAPI编写生产消费demo（1）建立m

2017-12-01 14:40:13 212

xfyimengweima1314的博客