JackZhao666-CSDN博客

原创 Spark课后实验报告

Spark实验报告一、兼容问题二、下载安装Scala和Spark1、Scala的下载安装2、Spark的下载安装三、使用Spark Shell命令编写代码四、分享参考资料一、兼容问题Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼...

2019-05-20 17:28:26 1977

原创 hive实验的学习实验报告

hive实验报告Linux下的MySQL安装配置与卸载MySQL安装配置MySQL卸载Hive的安装与配置Hive安装对Hive进行配置MySQL Connector/J安装启动Hive与Wordcount程序启动HiveWordcount应用实例学习资料分享Linux下的MySQL安装配置与卸载MySQL安装配置①官网下载mysql-server（yum安装）wget http://de...

2019-05-20 17:04:05 5145

原创 NoSql课堂学习总结

NoSql课堂学习总结一、关系型数据库和非关系型数据库1、关系型数据库2、非关系型数据库二、非关系型数据库的优势1、优点2、典型的NoSQL数据库三、Redis和MongoDB常用命令1、Redis命令2、MongoDB命令一、关系型数据库和非关系型数据库1、关系型数据库关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以...

2019-05-19 21:18:22 1239

原创 HBase实验报告

HBase的学习总结一、HBase和zookeeper的安装解压安装环境变量配置修改配置信息HBase配置（伪分布式）二、Eclipse配置添加HBase依赖项目conf配置三、进入HBase数据库1、创建表2、添加数据3、查看数据4、删除数据删除表HBase的学习资料一、HBase和zookeeper的安装解压安装和前面一样HBase和zookeeper需要从官网下载，从Windows上传...

2019-05-19 20:26:57 4109

原创 MapReduce分布式编程实验报告

MapReduce分布式编程一、分布式编程的介绍二、什么是MapReduce三、运行wordcount程序WordCountMapper类WordCountReduce类WordCountDriver类导出jar包一、分布式编程的介绍可在分布计算机系统的几台计算机上同时协调执行的程序设计方法,分布式程序设计的主要特征是分布和通信。采用分布式程序设计方法设计程序时，一个程序由若干个可独立执行的程...

2019-05-19 18:01:31 2188

原创 HDFS实验报告

HDFS实验报告一、安装配置JDK+Eclipse+Maven1、安装配置jdk2、安装配置Eclipse3、安装Maven4、Eclipse配置Maven二、2.Eclipse里新建Maven Project三、HDFS命令和Java API-课堂内容hdfs的shell命令hdfs的Java程序一、安装配置JDK+Eclipse+Maven1、安装配置jdk①官网下载Java开发工具安装...

2019-05-19 16:26:48 4354

原创 Jdk+Hadoop三种安装模式实验报告

1.JDK+Hadoop安装配置、单机模式配置jkd对我来说以及是老朋友了，这里没什么是陌生的，虽然Hadoop没有学习过，但是它和jdk大同小异，都是实现一定功能，下面就开始jdk和Hadoop的安装。首先呢连接上SecureCRT，关闭Linux的防火墙，firewall-cmd --state，传输jdk和Hadoop的安装包到linux下，SecureCRT【File】→【Con...

2019-05-19 15:43:46 846

原创学习使用大数据数据采集工具（python）

大数据采集工具1、神箭手云爬虫官网：https://www.shenjian.io/简介：神箭手云是一个大数据应用开发平台，为开发者提供成套的数据采集、数据分析和机器学习开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。优点：功能强大，涉及云爬虫、API、机器学习、数据清洗...

2019-03-11 20:49:38 5633 1

转载数据采集的技术方法

1.系统日志采集方法很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等。这些系统采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求，例如，Scribe是Facebook开源的日志收集系统，能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS、分布式文件系统等）上，以便于进...

2019-03-04 19:52:49 10621