- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 分别用Java和Scala求PV,UV测试程序
求 PV,UV的程序还是比较简单 ,在mapreduce阶段也有相应的Java代码,其实本质都是一样的, 首先要准备一下要分析的数据,这里就不把数据贴上去了 !//Java代码package com.zyf.myhadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apa
2017-08-27 17:23:49
1124
原创 Spark的安装配置以及初步测试
简单来说Spark就是专为大规模数据处理而 设计的快速通用计算引擎spark伪分布式安装配置 1、解压 $ tar -zxvf /opt/softwares/spark-1.6.1-bin-2.5.0-cdh5.3.6.tgz2、配置，添加属性 $ mv spark-env.sh.template spark-env.sh JAVA_HOME=/opt/modules/jdk1.7.0_79
2017-08-24 19:17:09
342
原创 Spark的MapReduce
Spark的MapReduce相对是比较简单的,步骤如下: 先编写测试文件[zyf@hadoop ~]$ vi b.txt[zyf@hadoop ~]$ cat b.txt aaa bbbccc fffaaa bbbbbb fff（1）、将本地文件或者HDFS上的文件通过sc.textFile(“/input/b.txt”)加载到RDD中 （2）、可以将RDD文件通过filter（）函
2017-08-24 17:52:39
536
原创 scala隐式转换函数
定义: 1.只要在程序可见的范围内定义了隐式转换函数,就会被scala自动调用 2.隐式转换函数的名字可以任意,建议名为”xxx2yyy” 3.以implicit开头,而且最好定义函数返回类型 eg:object Test{ def main(args:Array[String]): Unit ={ class Student(val name: String) c
2017-08-23 22:11:21
442
原创 hadoop集群CDH系统搭建(二)
接着上面继续 三、CM的安装 首先安装第三方依赖包 （所有服务器）# yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsbComplete! 表示安装成功 1）在zyf1.
2017-08-23 18:31:06
936
原创 hadoop集群CDH系统搭建(一)
首先,要问一下,cm是什么? 要安装部署100甚至1000台服务器的hadoop集群,还要包i括Hive,Hbase,Flume…组件,一天内搭建完成,还有就是考虑以后系统的更新问问题,那就需要CDH了CDH版本的优点： 版本划分清晰 版本更新速度快 支持Kerberos安全认证 文档清晰（官方文档 ） 支持多种安装方式（Clou
2017-08-23 13:57:32
733
原创 scala代码求质数
思路:1. 质数是只能被1和自己整除也就是如果求余数的话那就是0 2.可以把需要判断的这个数从1开始到自己本身每一次取余的值记录 到一个不定长的数组中 3.如果这个数为质数那么他的取余也就只有两个0,对应的就是在数组 中元素为0 的个数也就只有两个package myscalaimport scala.collectio
2017-08-22 20:14:01
3002
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人