- 博客(8)
- 问答 (1)
- 收藏
- 关注
原创 linux学习笔记
Spark的安装以及配置1、官网下载安装Scala:scala-2.12.8.tgzhttps://www.scala-lang.org/download/tar -zxvf scala-2.12.8.tgz -C /opt/modulemv scala-2.12.8 scala测试:scala -version启动:scala2、官网下载安装Spark:spark-2.4.2-bi...
2019-05-26 13:16:16 142
原创 linux学习笔记
HIVE的安装以及配置1、MySQL安装①官网下载mysql-server(yum安装)wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用,下载安装wget:yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.no...
2019-05-26 13:07:06 73
原创 linux学习笔记
**NoSQL数据库Redis在Linux系统下的安装和运维**一、安装1、下载redis-5.0.3.tar.gzhttps://redis.io/download2、上传到linux里面put E\大数据软件\redis-5.0.3.tar.gz3、解压(解压在module文件内)tur -zxvf redis-5.0.3.tar.gz -C/opt/module4、编译...
2019-05-26 12:54:01 140
原创 linux学习笔记
第四章:Hbase安装以及配置1、下载下载hbase压缩包官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。2、下载zookeeper-3.4.6.tar.gz3、将压缩包从Windows传输到Linux当前目录下Secure...
2019-05-22 17:37:22 78
原创 linux学习笔记
第三章MapReduce,架包MapReduce架包、调试WordCount程序一、在上一个发布的hdfs的基础上运行架包package hdfs.files;import java.io.IOException;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apa...
2019-05-22 16:46:31 62
原创 linux学习笔记
第二章:HDFS1、安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。③配置JDK的环境变量,Pat...
2019-05-22 16:36:36 86
原创 linux学习笔记
第一章:用为分布式搭建hadoop1、Linux基本环境配置1.1、首先修改主机名为自己虚拟机的主机名:vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=wsk # 主机名1.2、关闭防火墙#查看防火墙状态running/not running#关闭防火墙firewall-cmd --state#关闭防火墙开机启动syst...
2019-05-22 16:13:15 131
原创 大数据技术与应用
## 第一章:大数据概论1.1大数据简介大数据是继物联网之后IT产业又一次颠覆性的技术改革。1.1.1 IT产业发展史20世纪八十年代为首的IT公司:DEC、IBM、Data General等1.1.2 大数据的主要来源(1)信息管理系统(2)网络信息系统(3)物联网系统(4)科学试验系统1.1.3 数据生成的3种主要方式(1)被动式生成数据(2)主动...
2019-03-04 20:10:07 412
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人