- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark安装
1. spark安装与使用(在Hadoop已经安装的基础上)参考厦门大学大数据实验室的博客安装1.1. 安装环境Ubuntu 20.04Hadoop 3.1.3Java JDK 1.8Spark 3.0.0 preview21.2. 安装Hadoop(伪分布式) 在我之前的博客中有1.3. 安装Spark1.3.1. 下载Spark压缩包1.3.2. 解压压缩包并为Spark配置文件解压压缩包sudo tar -zxf ~/下载/spark-3.0.0-preview2-
2020-05-15 18:51:43
433
原创 Hadoop的高可用性
1. Hadoop的高可用性1.1. 问题引入对于单一的namenode1或者联邦（Federation）HDFS2无法解决单点失效问题。如果namenode失效了，那么会造成所有客户端，包括MapReduce作业，均无法读写和列举文件。1.2. 新的namenode响应服务的条件现在来考虑一下如果旧的namenode失效后，启动一个新的namenode需要满足什么条件？ 假设...
2020-04-23 19:33:29
533
原创 Hadoop的数据类型和自定义Hadoop数据类型
Hadoop的数据类型在学习了Hadoop的基本架构以后,就可以试着编写Map和Reduce的来处理数据但是,编写之前我们需要来了解一下Hadoop的基本数据类型1. 为什么Hadoop有自己的数据类型 hadoop由各个节点构成一个集群，分布式储存就要考虑到数据在节点之间来回传递的问题。为了解决这一问题，hadoop采用了java中的序列化和反序列化概念1。在Hadoop中，位...
2020-04-19 19:03:49
1452
1
原创 安装 hadoop3.1.3 for ubuntu19.10 伪分布模式
1.下载hadoop，https://hadoop.apache.org/releases.html不想自己编译就下载Binary download（不过编译也就是一个命令的事）2.JAVA JDK的选择与安装吐槽一下：网上那些教程都是什么鬼，一点都不细节（花了我整整一天的时间）,也是因为我太菜了1.安装java8（就安装java8，不要整那些花里胡哨的）安装其他版本可能用不了hado...
2020-02-29 01:10:51
640
原创 Shell脚本的执行
Shell脚本的执行1.创建模拟脚本test.shcat > test.sh #<==编辑test.sh脚本文件echo ‘I am LYJ’ #按回车键后再按Ctrl+d组合键结束编辑2.显示文件内容cat test.sh3用第一种方式命令执行sh test.sh #sh命令bash test.sh #bash命令4用第二种方法命令执行ls -l tesh....
2019-10-12 11:59:17
188
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人