- 博客(7)
- 收藏
- 关注
RSS订阅原创 Spark集群的部署及运行
1.Spark运行模式Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。1.local(本地模式)：常用于本地开发测...
2018-01-06 15:53:00
170
原创 Hive的安装和使用
1 .安装Hive:sudo tar xvfz apache-hive-2.1.0-bin.tar.gzsudo cp -R apache-hive-2.1.0-bin /usr/local/hivesudo chown -R hadoop:hadoop /usr/local/hive2. 修改/etc/profile加入HIVE_HOME的变量:export HIVE_HOM...
2018-01-02 11:03:00
124
原创 HBase集群环境部署
HBase官方网站： http://hbase.apache.org/官网使用向导：http://hbase.apache.org/book.html1.上传hbase安装包：版本：hbase-1.2.4-bin.tar.gz2.解压：sudo tar zxvf hbase-1.2.4-bin.tar.gzsudo mv hbase-1.2.4 /data/sudo cho...
2018-01-02 11:00:00
117
原创 Hadoop多节点的集群部署（源码安装）
Hadoop多节点的集群部署（源码安装） 一、部署环境：我的测试环境：centos7 64bit 3台node1 192.168.1.8 master slavenode2 192.168.1.9 slavenode3 192.168.1.11 slave 软件版本：hadoop2.7.3 jdk1.8二、...
2018-01-02 10:57:00
184
原创 Ambari部署hadoop集群环境
一、Ambari介绍1.介绍： Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。Ambari提供了一个直观的，易用的Hadoop管理web界面。 Ambari 自身也是一个分布式架构的软件， 采用的是Server/Client的模式，主要组件：ambari-age...
2018-01-02 10:54:00
1237
原创 一、Linux基本管理命令
1.关机重启命令（1）shutdown命令：shutdown [选项] 时间 选项：-c 取消前一个关机命令 -h 关机 -r 重启 例：shutdown -h now #立刻关机，root...
2018-01-02 10:49:00
97
原创 Docker
1.获取镜像：#docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]Docker 镜像仓库地址：地址的格式一般是 <域名/IP>[:端口号] 。默认地址是 Docker Hub。仓库名：如之前所说，这里的仓库名是两段式名称，即 <用户名>/<软件名> 。对于 Docker Hub，如果不给出用户名，则...
2018-01-02 10:13:00
56
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人