一个扑向大数据的pre北漂-CSDN博客

转载四种常见的MapReduce设计模式

四种常见的MapReduce设计模式使用MapReduce解决任何问题之前，我们需要考虑如何设计。并不是任何时候都需要map和reduce job。整个MapReduce作业的阶段主要可以分为以下四种：Input-Map-Reduce-OutputInput-Map-OutputInput-Multiple Maps-Reduce-OutputInput-Map-Combiner-Reduce-O...

2018-04-08 11:29:09 695

原创阿里云学生机搭建spark、hadoop集群（踩坑之路）

服务器：三台阿里云学生机（三个账号，都在华南1c）系统：ubuntu一、通过外网ip登录服务器需要修改安全组,出入方向都一样，都加入这两条。为何加这两条后续慢慢说明。第一条安全组功能之一就是为了能够本地ssh到服务器。（网上第一条几乎所有的端口配置都是22/22，后续解释为何改成1/65000）授权策略协议类型端口范围授权类型授权对象描述优先级创建时间操作允许自定义 TCP1/65000地址段访问...

2018-04-04 16:56:53 2856 5

原创 Spark学习-本地模式-2

spark项目打成jar运行需要去掉 setMaster("local")因为在参数中会指定。(1) 运行在本地模式的spark集群中：./spark-submit--class FirstScala --master local /Users/zfj/sparktesttwo/out/artifacts/sparktesttwo_jar/sparktesttwo.jar(2）运行在远端的spa...

2018-02-27 17:27:39 274

原创 Spark学习-本地模式-1

Spark Shell下载完spark安装包，解压后进去bin目录，运行./spark-shell即可打开scala版本的Spark Shell。书上或者网上举得的例子都是如图：接下来介绍一些简单的spark shell函数(1)flatMap,collectflatMap把每一行进行指定操作返回对象，然后把返回的所有对象合并成一个对象(2)map,collectmap把每一行输入进行指定操作，...

2018-02-27 11:27:10 617

转载进程通信篇

刚刚做到美团的一道笔试题，因为之前在中科院信息工程研究所的笔试中也遇到过，所以特意补充下这歌空缺。进程间通信主要包括管道, 系统IPC(包括消息队列,信号量,共享存储), SOCKET.　　管道包括三种:1)普通管道PIPE, 通常有种限制,一是半双工,只能单向传输;二是只能在父子进程间使用. 2)流管道s_pipe: 去除了第一种限制,可以双向传输. 3)命名管道:name_pipe

2017-04-26 18:12:14 164

原创 Java学习--day10

枚举1.枚举的定义及简单使用【public】 enum 枚举类型名称{枚举对象1，枚举对象2....枚举对象n；}例：public enum Color{RED,GREEN,BLUE;}public class GetColor(){public static void main(String [] args){Color c = Col

2017-04-26 17:20:48 243

原创 Java学习--day9-parttwo

Java IO9、BufferedReader类用于从缓冲区中读取数据，所有的输入字节数据都将放在缓冲区中。BufferedReader只能接收字符输入流的实例。所以必须将字节输入流System.in通过InputStreamReader转换为字符流。BufferedReader buf = new BufferedReader(new InputStreamReader(Sy

2017-04-03 15:50:20 185

原创 Java学习--day9-partone

Java IO1、操作文件的类File整个IO包中，唯一与文件本身有关的类就是file类。文件操作会存在延迟，因为操作都需要通过JVM完成。最好使用以下格式，可以在任意操作系统中使用File.pathSeparator(); //返回路径分隔符 windows返回\String path ="d:"+File.pathSeparator()+"text.txt";File f

2017-04-03 15:48:45 170

原创 Java学习--day8

JAVA类集1、Collection接口Collection接口一般方法中很少用，基本使用其子接口。它是存放一组单值的最大父接口，单值一般指对象。子接口主要有:List（可以存放重复内容）Set（不能存放重复内容，所有存放内容考hasCode()和equals()两个方法区分）Queue（队列接口）SortedSet（可以对集合中的数据进行排序）2、List

2017-03-30 14:15:33 183

原创 Java学习--day7

Java常用类库1、StringBuffer类String类不能改变内容，只能改变字符串的地址。频繁修改字符串就要用到StringBuffer类，append()方法追加内容。StringBuffer类大部分方法和String类相同。字符串连接：append()StringBuffer buf = new StringBuffer();buf.append("hel

2017-03-22 15:27:29 196

原创二叉树排序

二叉树排序给出数字8，3，1，6，4，7，10，14，13进行排序。原理：先把一个数字作为根节点，后面数字比根节点小的放在左子树，大的放在右子树。然后用中序遍历（左子树-->根节点-->右子树）即可排序最后输出1，3，4，6，7，8，10，13，14

2017-03-22 15:16:40 324

原创 Java学习--day6

泛型1、泛型即“参数化类型”。泛型可以解决数据类型安全性的问题，其主要原理实在类声明时通过一个标识表示类中某个属性的类型或者某个方法的返回值及参数类型。这样在类声明或实例化时只要指定好需要的具体类型即可。加入泛型的最大好处就是避免了类转换异常（ClassCastException）的发生，这样会使程序更加安全。例：class Point{private T var;

2017-03-20 16:07:32 152

原创 Java学习--day5

多线程1、进程和线程进程是程序的一次动态执行过程，从代码加载到代码执行再到执行完毕。多进程：由于CPU是分时机制，每个进程都是循环获得自己的CPU时间片，但由于CPU执行速度非常快，所以看起来像是进程同时执行。真正可以同时执行的是线程。线程是比进程更小的执行单位。多线程是指一个进程在执行过程中可以产生多个更小的程序单元，这些更小的单元称为线程，这些线程可以同时存在同时运行。（例如w

2017-03-19 16:25:53 208

原创 Java学习--day4-parttwo

包级访问的控制权限包实际上就是一个文件夹，需要定义多个类或者接口的时候，为了避免名称重复而采用的措施。单词所有字母都要小写。系统常见包：java.lang（基本包，自动导入）、java.lang.reflect（反射机制包，lang的子包）、java.util（工具包，常用类库、日期操作等，最好精通）、java.text（国际化显示的处理类库）、java.sql（数据库操作包）

2017-03-16 18:33:27 158

原创 Java学习--day4-partone

异常的捕获和处理1、异常基本概念异常：异常是一种导致程序中断运行的指令流。一旦产生异常，首先会产生一个异常类的实例化对象try{//对异常对象进行捕捉//有可能出现的异常}catch(异常类异常对象){//匹配到对象//进行异常处理操作}[catch(){}...](catch注意点：波或范围小的异常必须放在前面)[finall

2017-03-16 17:01:23 216

原创 Java学习--day3

面向对象高级1、继承（1）父类和子类关系及构造方法Java只允许单继承，不允许多重继承，即一个子类只能有一个父类。子类不能直接访问父类的私有方法，可以通过setter、getter等方法间接访问。子类在实例化的时候，先调用父类的构造方法，再调用自己的构造方法。super()调用父类无参构造（但必须放在子类构造的首行）。（2）方法覆写覆写即子类中定义了与父类同名的方法，但被子

2017-03-15 19:00:40 216

原创 Java学习--day2-parttwo

第五章：面向对象基础1、基本概念封装性：两个含义，一是指把对象的属性和行为封装成在一个对象中。二是指信息隐蔽.封装的好处1、良好的封装能够减少耦合。2、类内部的结构可以自由修改。3、可以对成员进行更精确的控制。4、隐藏信息，实现细节。继承性：用户开发类去继承类库，子类可以使用父类所定义的变量和方法，继承所有成员，并相应的增加自己的成员。（如果父类方法为pri

2017-03-14 21:06:44 216

原创 Java常见4种排序

排序看到数据排序这节所以把排序的常见方法都整理下。（一）冒泡排序：从最左边开始对两个数进行比较，如果第ｉ个数大于第ｉ＋１个数，两个数就交换，不断重复。最好时间复杂度O(n)最坏时间复杂度O(n²)平均时间复杂度O(n²)public class ArrayDemo06{public static void main (String [] args){int

2017-03-14 20:11:17 3439

原创 Java学习--day2-partone

第四章：数组与方法1、一维数组为何数组为引用类型？int score[] = null；申明整型数组score，编译器仅会在栈内存中分配一块内存空间给它，用来保存指向数组实体的地址名称。score = new int[3];在堆内存中开辟3个可供保存整数的内存空间，并把堆内存的操作地址赋给数组名称score。就是因为数组变量score保存的不是数组实体，而是数组堆内存的参考地

2017-03-14 20:10:27 210

原创 Java学习--day1

自从前几天的面试被Java经理鉴定为Java入门级水平之后，打算好好学一遍Java。因为基础有一些，预计速度应该还可以。今天刚到Java开发实战经典书，在这记录下每天的学习体会以及注意点（多针对于自己的不足）。愿与光同学互相监督，共同进步！今天看的是前三章。第一章：Java概述及环境搭建1、几个Java语言重要的特性。（一）适合分布式计算，也是我补强Java的重要目

2017-03-13 21:40:39 193

bigdatar的博客