诗卿°-CSDN博客

原创 Hadoop——期末考试大作业：Hadoop集群部署与MapReduce程序关键点个性化开发

任务1：Hadoop集群部署关键点个性化（45分）（实验报告三）基于ubuntukylin16.04(4)或者从新安装Ubuntu镜像，完成集群部署个性化。相关代码和数据请参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/关键点包括但不限于主机名（ubuntu）、用户名（hadoop）、文件名、数据名等。...

2021-09-18 17:36:39 2236

原创 Hadoop——实验七：MapReduce编程实践

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(7)版本，安装hadoop-eclipse-kepler-plugin-2.6.0.jar 1.1 安装hadoop-eclipse-plugin 1.2 配置hadoop-eclipse-plugin 2. 基于ubuntukylin14.04(8)版本，通过eclipse完成MapReduce编程实践 2.1 通过eclipse操作HDFS文件 2.2 通过eclipse创建MapReduce项目

2021-06-18 18:35:53 2389 2

原创 Hadoop——实验六：HBASE编程实践

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 创建hbasexgcz项目 2. 运行编程程序 2.1 创建代码文件 2.2 运行代码文件一. 实验目的掌握HBASE编程实践技术。二. 实验内容基于ubuntukylin14.04(7)版本，通过Eclipse完成HBASE编程实践。参考：http://dblab.xmu.edu.cn/blog/install-hbase/三. 实验步骤及结果分析 1. 创建hbasexgcz项目版本说明：eclipse在

2021-06-18 17:35:40 1431

原创 Hadoop——实验五：HBASE单机部署、伪分布部署

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(5)版本，完成HBASE单机式配置部署 1.1 下载安装HBase 1.2 配置HBase环境变量 1.3 检查HBase 1.4 HBase单机模式配置 1.5 启动HBase 2. 基于ubuntukylin14.04 (6)版本，完成HBASE伪分布式配置部署 2.1 配置hbase-env.sh文件 2.2 配置hbase-site.xml文件 2.3 运行HBase 3. 基于ubuntuky

2021-06-16 20:17:42 1004 5

原创 Hadoop——实验四：建立Eclipse开发环境

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装eclipse 1.1 下载并解压安装 1.2 创建eclipse桌面图标 2. 完成shell HDFS练习 2.1 目录相关操作 2.2 文件相关操作 3. 基于Eclipse完成HDFS程序开发 3.1 创建mcf14HDFSExample项目 3.2 导入项目所需JAR包 3.3 编写检测HDFS存在文件应用程序 3.4 运行mcf14HDFSFileIfExist.java代码程序 3.5 在Hadoop集群平台运行应用程序

2021-06-14 13:29:55 2696 9

原创 Hadoop——实验三：Hadoop集群安装部署

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例一. 实验目的掌握Hadoop集群集群安装部署技术。二. 实验内容参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste

2021-06-14 11:08:44 2640

原创 Hadoop——实验二：Hadoop集群单节点非分布和伪分布安装

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装ssh、配置ssh无密码登录 1.1 更新apt 1.2 修改主机名为K1 1.3 安装SSH 1.4 配置SSH无密码登录 2. 安装Java 3. 安装Hadoop单节点非分布式和伪分布式 3.1 安装Hadoop单节点非分布式 3.2 安装Hadoop伪分布式 3.3 启动Hadoop一. 实验目的掌握Hadoop集群单节点非分布和伪分布安装部署技术。二. 实验内容 1）安装SSH、配置SSH无密码登录。 2）安

2021-06-13 21:49:50 876 2

原创 Hadoop——实验一：Ubuntu与Windows文件共享

一.实验目的掌握虚拟机安装方法，完成Ubuntu与windows的共享文件设置。二.实验内容1.在VMware-workstation虚拟机软件上安装ubuntu虚拟机14.04（64）位2.安装VMware Tools3.实现虚拟机ubuntu和宿主机windows文件共享三.实验步骤及结果分析...

2021-06-13 20:12:52 627

原创 Spark——期末考试大作业：求top值、文件排序、二次排序程序个性化

文章目录任务1：求top值程序个性化（30分） 1. 创建工作项目mcf14gzxm 2. 创建eclipse应用程序 3. 导入mcf14gzxm项目 4. 创建数据样本文件mcf14TopN.txt 5. 创建程序代码文件mcf14TopN.scala任务2：文件排序程序个性化（30分） 1. 创建数据样本目录mcf14file及文件mcf14file1.txt、mcf14file2.txt、mcf14file3.txt 2. 创建程序代码文件mcf14FileSort.scala任务3：二次排序程序个

2021-06-06 16:40:17 4319

原创 Spark——实验四：从HBASE建立RDD

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(16)通过命令行建立hbase程序 1.1 创建hbase表 1.2 配置Spark 1.3 编写程序读取HBase数据 1.4 编写程序向HBase写入数据 2. 基于ubuntukylin14.04(16)通过eclipse平台运行hbase程序 2.1 创建Hbase程序 2.2 在Eclipse运行HBase程序一. 实验目的学习从hbase库建立RDD数据结构的主要技术。二. 实验内

2021-06-05 11:56:44 1220

原创 Spark——实验三：搭建基于eclipse的Spark开发环境

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(14)完成eclipse的安装 1.1 下载Scala IDE for eclipse4.7.0 1.2 安装Scala IDE for eclipse4.7.0 1.3 配置eclipse环境变量 1.4 sbt eclipse插件全局安装 2. 基于ubuntukylin14.04(16)完成求top值，文件排序和二次排序等三个实例练习 2.1 创建eclipse应用程序 2.2 求top值实例练习

2021-06-05 10:06:03 1359

原创 Spark——实验二：Spark安装与验证

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(10)，安装spark，形成ubuntukylin14.04(11) 1.1 下载spark-2.1.0-bin-without-hadoop.tgz 1.2 安装Spark 1.3 修改Spark配置文件spark-env.sh 1.4 验证Spark 2. 基于ubuntukylin14.04(11)，安装sbt0.13.15，形成ubuntukylin14.04(14) 2.1 下载sbt0.13

2021-06-04 22:35:31 2990

原创 Spark——实验一：Scala安装与验证

文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(7)版本安装scala2.11.8 1.1 在官网下载Scala2.11.8 1.2 安装Scala2.11.8 1.3 配置Scala命令的环境变量 1.4 验证Scala 2. Scala实例练习 2.1 创建统计单词文本 2.2 创建词频统计Scala程序代码 2.3 运行词频统计代码 2.4 在Scala解释器中运行代码一. 实验目的学习scala语言的安装，掌握其主要语法和应用技术

2021-06-04 20:45:45 833

原创 C语言——第十章：文件

文章目录一．文件1.文件的基本概念2.文件打开函数fopen二．fclose函数1.读字符函数fgetc2.写字符函数fputc3.读字符串函数fgets4.写字符串函数fputs5.数据块读写函数fread和fwrite6.格式化读写函数fscanf和fprintf三．文件的随机读写四．文件检测函数五．Ｃ库文件六．总结一．文件1.文件的基本概念所谓“文件”是指一组相关数据的有序集合。这个数据集有一个名称，叫做文件名。实际上在前面的各章中我们已经多次使用了文件，例如源程序文件、目标文件、可执行

2021-02-28 16:23:54 550

原创 C语言——第九章：预处理

文章目录一．预处理1.概述2.宏定义3.无参宏定义4.带参宏定义5.文件包含6.条件编译二．总结一．预处理1.概述在前面各章中，已多次使用过以“#”号开头的预处理命令。如包含命令# include，宏定义命令# define等。在源程序中这些命令都放在函数之外，而且一般都放在源文件的前面，它们称为预处理部分。所谓预处理是指在进行编译的第一遍扫描(词法扫描和语法分析)之前所作的工作。预处理是Ｃ语言的一个重要功能，它由预处理程序负责完成。当对一个源文件进行编译时，系统将自动引用预处理程序对

2021-02-28 14:55:24 333

原创 C语言——第八章：枚举、位运算

文章目录一．枚举1.枚举类型的定义和枚举变量的说明2.枚举类型变量的赋值和使用二．位运算1.位域2.位域的使用3.类型定义符typedef三．总结一．枚举在实际问题中，有些变量的取值被限定在一个有限的范围内。例如，一个星期内只有七天，一年只有十二个月，一个班每周有六门课程等等。如果把这些量说明为整型，字符型或其它类型显然是不妥当的。为此，Ｃ语言提供了一种称为“枚举”的类型。在“枚举”类型的定义中列举出所有可能的取值，被说明为该“枚举”类型的变量取值不能超过定义的范围。应该说明的是，枚举类

2021-02-28 13:57:47 845

原创 C语言——第七章：结构与联合

文章目录一．结构类型定义和结构变量说明1.结构的定义2.结构类型变量的说明3.结构变量的赋值4.结构变量的初始化5.结构数组6.结构指针变量7.结构指针变量作函数参数8.topoic=动态存储分配二．联合1.联合的定义2.联合变量的说明3.联合变量的赋值和使用三．总结一．结构类型定义和结构变量说明在实际问题中，一组数据往往具有不同的数据类型。例如，在学生登记表中，姓名应为字符型；学号可为整型或字符型；年龄应为整型；性别应为字符型；成绩可为整型或实型。显然不能用一个数组来存放这一组数据。因为数

2021-02-28 13:16:25 347

原创 C语言——第六章：指针

文章目录一．指针简介1.指针变量的类型说明2.指针变量的赋值3.指针变量的运算二．指针变量的运算1.赋值运算2.加减算术运算三．数组指针变量的说明和使用1.数组名和数组指针变量作函数参数2.指向多维数组的指针变量3.多维数组的指针变量4.使用字符串指针变量与字符数组的区别四．函数指针变量1.指针型函数2.指针数组作指针型函数的参数3.main函数的参数4.指向指针的指针变量五．总结一．指针简介指针是Ｃ语言中广泛使用的一种数据类型。运用指针编程是Ｃ语言最主要的风格之一。利用指针变量可以表示各种数

2021-02-27 19:47:14 451

转载 C语言——第五章：函数

文章目录一．概述1.从函数定义角度可分为库函数和用户定义函数2.从函数兼容性角度可分为有返回值函数和无返回值函数3.从主调和被调函数的数据传送角度可分为无参函数和有参函数4.库函数可从功能角度作出分类二．函数定义的一般形式1.无参函数的一般形式2.有参函数的一般形式三．函数的参数和函数的值1.函数的参数2.函数的值四．数组名作为函数参数五．函数的嵌套调用六．函数的递归调用七．变量的作用域1.局部变量2.全局变量八．变量的存储方式可分为静态存储和动态存储1.自动变量的类型说明符为auto2.外部变量的类型说明

2021-02-27 18:14:49 561

原创 C语言——第四章：数组

文章目录一．数组数组元素的表示方法二．二维数组1.二维数组元素的表示方法2.二维数组的初始化3.字符数组4.字符串常用函数5.程序举例三．总结1.数组的类型2.数组的维度3.数组类型说明4.数组的赋值一．数组数组在程序设计中，为了处理方便，把具有相同类型的若干变量按有序的形式组织起来。这些按序排列的同类数据元素的集合称为数组。在Ｃ语言中，数组属于构造数据类型。一个数组可以分解为多个数组元素，这些数组元素可以是基本数据类型或是构造类型。因此按数组元素的类型不同，数组又可分为数值数组、字符数组、指针

2021-02-27 17:15:55 926

原创 C语言——第三章：C语言程序设计

文章目录一．Ｃ语言程序设计二．Ｃ程序的语句1.表达式语句2.函数调用语句3.控制语句4.复合语句5.空语句三．赋值语句四．数据输出语句1.printf函数调用的一般形式2.格式字符串五．字符输出函数putchar 函数六．数据输入语句1.scanf函数的一般形式2.格式字符串3.键盘输入函数七．分支结构程序1.关系运算符和表达式2.逻辑运算符和表达式3.if语句4.在使用if语句中还应注意以下问题5.if语句的嵌套6.条件运算符和条件表达式7.switch语句八．循环结构程序1.while语句2.do-wh

2021-02-27 16:38:35 1137

原创 C语言——第二章：数据类型、运算符、表达式

文章目录一．Ｃ语言的数据类型1.基本数据类型2.构造数据类型构造数据类型3.指针类型4.空类型二．整型量1.整型常量2.整型变量三．实型量1.实型常量2.实型变量四．字符型量1.字符常量2.转义字符3.字符变量4.字符串常量5.符号常量五．变量的初值和类型转换1.变量赋初值2.变量类型的转换3.自动转换4.强制类型转换六．基本运算符和表达式1.运算符的种类2.优先级和结合性3.算术运算符和算术表达式基本的算术运算符4.自增１，自减１运算符5.算术表达式6.赋值运算符和赋值表达式7.复合赋值符及表达式8.逗号

2021-02-26 22:22:47 356

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

maochaofei的博客