飞鸿踏雪泥--CSDN博客

原创初级案例

Hadoop MapReduce 手机流量统计1）分析业务需求：用户使用手机上网，存在流量的消耗。流量包括两部分：其一是上行流量（发送），其二是下行流量（接收）。每种流量在网络传输过程中，有两种形式说明：包的大小，流量的大小。使用手机上网，以手机号为唯一标识进行记录。这个记录包括很多信息，需要的信息字段：实际需要的字段：手机号码，上行数据包数，下行数据包数，上行总流量，下行总流量2）自定义数

2015-11-09 21:16:44 425

序列化所谓序列化（serialization），是指将结构化对象转化为字节流，以便在网络上传输或写到磁盘进行永久存储。反序列化（deserialization）是指将字节流转回结构化对象的过程。序列化在分布式数据处理的两大领域经常出现：进程间通讯和永久存储。在Hadoop中，系统中多个节点上进程间的通信是通过“远程过程调用”（RPC）实现的。RPC协议将消息序列化成二进制流后发送到远程节点，远程节点

2015-11-08 22:54:27 1577

原创 MapReduce架构

MapReduce定义源自 Google的MapReduce论文发表于2004年12月 Hadoop MapReduce是Google MapReduce的克隆版MapReduce特点易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理MapReduce编程模型一种分布式计算模型框架，解决海量数据的计算问题MapReduce将整个并行计算过程抽象到两个函数 ——>Map（映

2015-11-08 14:37:27 3200

原创 HDFS课程

HDFS定义源自于Google的GFS论文发表于2003年10月 HDFS是GFS的克隆版Hadoop Distributed File System 易于扩展的分布式文件系统运行在大量普通廉价机器上，提供容错机制为大量用户提供性能不错的文件存取服务HDFS设计目标非常巨大的分布式文件系统万个以上的节点，亿份以上文件，10PB的容量以上 1 ZB = 1024 EB 1

2015-10-24 10:41:16 957

原创 HDFS应用

HDFS实际应用场景之文件合并场景合并小文件，存放到HDFS上。例如：当需要分析来自许多服务器的Apache日志时，各个日志文件可能比较小，然而Hadoop更适合处理大文件，如果将所有的文件合并，再复制上传到HDFS上的话，需要占用本地计算机大量的磁盘空间。采取在向HDFS复制上传文件过程中将小文件进行合并，效果会更好。开发程序开发一个PutMerge程序，用于将合并文件后放入HDFS。命令getm

2015-10-24 10:29:42 659

翻译欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2015-10-24 10:04:43 307

原创 Hadoop基础知识（二）

Hadoop Shell介绍bin目录下的Hadoop脚本是最基础的集群管理脚本，用户可以通过该脚本完成各种功能，如HDFS文件管理、MapReduce作业管理等。该脚本的使用方法为： hadoop[–config confdir]COMMAND 其中，–config用于设置Hadoop配置文件目录，默认目录为 ${HADOOP_HOME}/conf 而COMMAND是具体的某个命令。常用的

2015-10-17 22:41:06 346

原创 Hadoop基础知识

Hadoop对于海量数据的操作：1）存储：分布式，集群的概念，管理（主节点，从节点），HDFS（Hadoop Distributed FileSystem ） 2）分析：分布式，并行，离线计算框架。管理（主节点，从节点），MapReduceHDFS + MR 思想尽可能移动计算到数据端，而非移动数据到计算端。(图中上面是将数据移动到计算端，下面是将计算移动到数据端 ) 硬件和组件的故障是

2015-10-17 15:12:54 604

原创 Hadoop内容提纲

hadoop生成环境都是在Linux环境下，不过Hadoop2.x已经开始支持Windows环境。1）Linux 环境搭建：使用的VMware虚拟机搭建的环境。 2）Linux基本命令操作和基本常识 3）Linux系统环境的基本配置，配置IP地址，配置主机名，关闭防火墙 4）远程链接Linux系统的工具：FTP 工具，命令行工具，桌面化工具配置主机网络右击“电脑”标志，选择编辑 ……Li

2015-10-12 23:20:23 433

原创 java 正则表达式——day25

正则表达式符合一定规则的表达式作用：用于专门操作字符串。特点:用一些特定的符号来表示一些代码操作，这样就简化了书写。所以学习正则表达式就是学习一些特殊符号的使用。好处：可以简化对字符串的复杂操作。弊端：符号定义越多，正则越长，阅读性越差。正则表达式特殊字符的含义：正则表达式的方法package day25;/* * 具体操作功能： * * 1，匹配：String类

2015-10-05 19:15:35 418

原创 java 网络编程——day24

需求：上传图片客户端： 1，端点 2，读取一个图片文件 3，通过socket输出流将数据发给服务端 4，读取服务端的反馈信息 5，关闭package day24;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStream;import java.io.Outpu

2015-10-03 19:21:44 381

原创 java 网络编程——day23

找到本机主机名和IP地址package day23;import java.net.InetAddress;import java.net.UnknownHostException;public class IPDemo { public static void main(String[] args) throws UnknownHostException { InetAd

2015-10-03 10:40:44 419

原创 java GUI--day22

GUIGUI Graphical User Interface(图形用户接口) 用图形的方式，来显示计算机操作的界面这样更方便更直观。CLI Command line User Interface(命令行用户接口) 就是常见的Dos命令行操作。需要记忆一些常用的记忆，操作不直观。java为GUI提供的对象都存在java.Awt和javax.Swing两个包中。Awt： jav

2015-09-19 22:32:35 408

原创 java IO流 ObjectStream PipedStream 随机访问文件字符编码--21

ObjectStream操作对象 ObjectInputStream和ObjectOutputStream 被操作的对象需要实现Serializable（标记接口）ObjectOutputStream 将 java 对象的基本数据类型和图形写入OutputStream。可以使用ObjectInputStream读取（重构）对象，通过在流中使用文件可以实现对象的持久存储。java会根据对象自定

2015-09-04 11:56:16 671

原创 java IO流 File类，Properties--20

File类用来将文件或者文件夹封装成对象方便对文件与文件夹的属性信息进行操作 File对象可以作为参数传递给流的构造函数File类中的常见方法： 1，创建 boolean createNewFile(); 在指定位置创建文件，如果文件已经存在，返回false，不创建文件和输出流不一样，输出流对象一建立就会创建文件，而且如果文件已经存在，会覆盖boolean mkdir

2015-08-31 18:04:26 445

原创 Java IO流装饰字节流--19

缓冲区缓冲区的出现是为了提高流的操作效率而出现的所以在创建缓冲区之前，必须要现有流对象。该缓冲区提供了一个跨平台的换行符newLine();import java.io.*;class BufferedWriterDemo{ public static void main(String[] args) throws IOException { //创建一个字符写入

2015-08-19 19:26:49 502

原创 Java 集合Map --16

Map集合该集合存储键值对。一对一对往里存，而且要保证键的唯一性 1.添加元素 2.删除 clear() 3.判断 containsKey(Object key) containsValue(Object value) 4.获取 get(Object key) size() values()entrySet() keySe

2015-08-18 17:03:43 523

原创 Java 其他对象 IO流字符流--18

SystemSystem:类中的方法和属性都是静态的。 out：标准输出，默认是控制台 in:标准输入，默认是键盘描述系统的一些信息。获取系统属性信息：Properties getProperties();import java.util.*;class SystemDemo{ public static void main(String[] args) { P

2015-08-18 16:41:32 341

原创 Java 集合框架工具类--17

集合框架的工具类Collections Arraysimport java.util.*;class CollectionsDemo{ public static void main(String[] args) { sortDemo(); maxDemo(); binarySearchDemo(); } //二分查

2015-08-18 16:22:39 774

原创 java 集合框架泛型--15

TreeSetSet：无序，不可重复元素 ——|–hashSet:数据结构是哈希表。线程是非同步的 ————保证元素唯一性的原理：判断元素的hasCode值是否相同 ————如果相同，还会继续判断元素的equals方法，是否为true——|–treeSet:可以对Set集合中的元素进行排序。 ————底层数据结构是二叉树 ————保证元素唯一性的依据： ————compareto方法re

2015-08-08 16:57:46 399

原创 java 集合框架--14

集合框架（体系概述）为什么会出现这么多的容器呢？因为每一个容器对数据的存储方式都有不同。这个存储方式称之为数据结构。Collectionimport java.util.*;/*1，add方法的参数类型是Object，以便于接受任意类型的对象2，集合中存储的都是对象的引用（地址）。什么是迭代器呢？其实就是集合的取出元素的方式把取出方式定义在集合的内部，这样取出方式就可以直接访问

2015-08-06 19:17:35 398

原创 java String功能--13

String功能介绍class StringDemo{ public static void main(String[] args) { String s = new String();//跟下面的一回事 String s1 = "abc";//s1是一个类类型变量，"abc"是一个对象 //字符串

2015-08-04 17:08:07 362

原创 java多线程--12

线程间通讯其实就是多个线程在操作同一个资源，但是操作的动作不同notifyAll();wait: notify(); notifyAll();都使用在同步中，因为要对持有监视器（锁）的线程操作所以要使用在同步中，因为只有同步才具有锁为什么这些操作线程的方法要定义object类中呢？因为这些方法在操作同步中线程时，都必须要标识它们所操作线程持有的锁。只有同一个锁上的被等待线程，可以被同

2015-08-02 13:09:18 279

原创 java多线程--11

多线程进程：是一个正在执行的程序每一个进程执行都有一个执行顺序，该顺序是一个执行路径，或者叫一个控制单元线程：就是进程中的一个独立的控制单元线程在控制着进程的执行一个进程中至少有一个线程如何自定义线程？通过对API的查找，java已经提供了对线程这类事物的描述。就是Thread类创建线程的第一种方式就是继承Thread类 1，定义类继承Thread 目的：将自定义的代

2015-07-31 18:50:41 284

原创 java异常，包--10

异常finallyfinally代码块：定义一定执行的代码通常用于关闭资源。class FuShuException extends Exception{ FuShuException(String msg) { super(msg); }}class Demo{ int div(int a,int b)throws FuShuExcepti

2015-07-28 19:19:43 521

原创 java内部类，异常--09

内部类内部类的访问规则： 1，内部类可以直接访问外部类中的成员，包括私有格式：外部类名.this2，外部类要访问内部类，必须建立内部类对象。访问格式： 1，当内部类定义在外部类的成员位置上，而且非私有，可以在外部其他类中直接建立内部类对象。格式：外部类名.内部类变量名 = 外部类对象.内部类对象； Outer.Inner in = new Outer().new In

2015-07-27 21:09:22 319

原创 java多态--08

多态可以理解为事物存在的多种体现形式人：男人，女人动物：猫，狗猫 x = new 猫(); 动物 x = new 猫();1，多态的体现父类的引用指向了自己的子类对象。父类的引用也可以接收自己的子类对象 2，多态的前提必须是类与类之间有关系，要么继承，要么实现。通常还有一个前提，就是存在覆盖。 3，多态的好处多态的出现，提高了

2015-07-26 18:19:14 296

原创 java面向对象--07

继承继承： 1，提高代码的复用性 2，继承让类与类之间产生了关系，有了这个关系，才有了多态的特性。注意：不可以为了简化代码，获取其他类的功能无脑继承必须有所属关系才可以继承。class Person{ String name; int age;}class Student extends Person{ void study() {

2015-07-25 17:41:50 267

原创 java面向对象--06

static关键字静态：static 用法：是一个修饰符，用于修饰成员（成员变量，成员函数）(只能修饰成员，不能修饰局部) 当成员被静态修饰后，就多了一个调用方式，除了可以被对象调用外，还可以直接被类名调用。类名.静态成员static的特点： 1.随着类的加载而加载也就是说，静态会随着类的消失而消失。说明它的生命周期最长 2.优先于对象存在所以才会直接用类名调用，当时对象

2015-07-24 20:09:37 237

原创 java面向对象--05

面向对象概念面向对象是相对面向过程而言，面向对象和面向过程都是一种思想。面向过程：强调的是功能行为。代表语言：C语言。例子：把大象装进冰箱 1. 打开冰箱。 2. 存储大象。 3. 关上冰箱。 “打开”、”存储”、”关上”都是功能行为，在代码中的直观体现就是函数或者方法，这就是一种面向过程的以功能行为为主体的思想体现。面向对象：将功能封装进对象，强调具备了功能的对象。代表语言：Jav

2015-07-24 13:37:03 363 1

原创 java数组--04

数组概念同一种类型数据的集合。其实，数组就是一个容器。数组的操作数组类型是引用数据类型的一种获取数组中的元素.通常要用到遍历定义数组的三种形式： int[] arr = new int[]{2,4,5}; int[] arr = new int[3];（容量为3的数组） int[] arr = {1,3,5,4,343}; 数组脚标越界异常(ArrayIndexOutOfBoun

2015-07-22 20:46:19 514

原创 java函数--03

什么是函数？函数就是定义在类中的具有特定功能的一段独立小程序函数也成为方法函数的格式：修饰符返回值类型函数名(参数类型形式参数1，参数类型形式参数2， ……) { 执行语句; return 返回值； } 返回值类型：函数运行后的结果的数据类型参数类型:是一个变量，用于存储调用函数时传递函数的实际参数实际参数：传递给形式参数的具体数值 ret

2015-07-22 09:53:10 305

原创 java基础语法--02

1. while:先判断条件，只有条件满足才执行循环体。 do while：先执行循环体，再判断条件，条件满足，再继续执行循环体。简单一句话，do while：无论条件是否满足，循环体至少循环一次int x = 1; do { System.out.println("do : x="+x);

2015-07-21 23:33:26 291

原创 java基础语法--01

Java语言是强类型语言，对于每一种数据都定义了明确的具体数据类型，在内存中分配了不同大小的内存空间： byte 1个字节 short 2个字节 int 4个字节 long 8个字节 float 4个字节 double 8个字节 char 2个字节赋值运算符 += -= *= %=

2015-07-21 19:11:48 249

原创 java概述

软件：系统软件 |–DOS，windows，Linux 应用软件 |–扫雷，迅雷，QQ系统软件和应用软件都是用计算机语言编写出来的，计算机语言调用底层指令处理数据。JRE：java运行环境JDK：java开发工具包JVM：java虚拟机JDK里有JRE，JRE里有JVMDOS： /**作者：王版本：V1.0'这个类是用于演示我的第一个小程序*/class Dem

2015-07-21 16:13:02 254

原创进制间相互转化，优化版

class ArrayTest7{ public static void main(String[] args) { //toBin(-12); toHex(60); } /* 十进制转化二进制 */ public static void toBin(int num) { trans(num,1,1); } /* 十进制转化八进制 */ public

2015-04-09 22:57:01 369

原创数组的查找，插入元素保证数组有序

/*数组的查找操作。有一个有序的数组，将一个数插入到该数组中，还要保证该数组是有序的。如何获取该元素在数组中的位置。*/class ArrayTest4{ public static void main(String[] args) { //int[] arr = {2,3,8,7,8,6,9}; //int index = getIndex(arr,8); //Sys

2015-04-09 12:04:39 402

原创 !=小知识点

class OperateDemo{ public static void main(String[] args) { //int x = 4270; //x = x /1000 * 1000; //int a = 3,b; //b = ++a; //System.out.println("a="+a+",b="+b); //System.ou

2015-04-09 10:14:06 290

原创打印矩形跟99乘法表

/*1 定义一个功能，用于打印矩形2 定义一个打印99乘法表功能的函数*/class FunctionTest{ public static void main(String[] args) { //draw(4,5); //printhr(); //draw(8,7); //printhr(); print99(); } public static

2015-04-09 10:10:56 672

原创函数Demo2

class FunctionDemo2{ public static void main(String[] args) { int sum = getsum(8,0); //System.out.println("sum="+sum); //boolean sum = compare(0,4); System.out.println(sum); } /*

2015-04-09 10:08:52 676

空空如也

空空如也