qq_39923024的博客

原创 一张图解决hadoop的job形成，job数据划分，split划分--你们别害怕哦

原创 干货：Flink在IDEA上配置并且运行

Flink在IDEA中开发是一件比较困难的事情，网上没有参考资料，就算就业说的太过笼统，不知道是会了不说还是不会瞎说，为了解决flink这个问题，本人特别做了一遍开发的简单说明。主要考虑两个问题，1、语言环境的搭建。2、flink代码编译通过并运行首先解决第一个问题：创建一个maven环境，maven的配置方式不在介绍。也就是说看本文之前首先应该确保IDEA下的maven正常：1、创建一个m...

原创 myeciplise远程连接Hadoop集群，运行调试配置错误集锦

在我们学习或者工作中开始hadoop程序的时候，往往会遇到一个问题，我们写好的程序需要打成包放在集群中运行，这无形中在浪费我们的时间，因为程序可以需要不断的调试，然后把最终程序放在集群中即可。为了解决这个问题，现在我们配置远程连接hadoop，远程调试的方法。一段程序如下：当我们在运行的时候会有如下众多的错误：1、基础环境配置：首先需要注意自己使用的hadoop的版本：这说明是2...

原创 Myecilipse远程运行mapreduce运行日志不显示解决方法

使用myeclipse开发hadoop的mapreduce运行日志不全，会给我们的开发造成很大的困扰，1、看不到一些运行逻辑的错误。导致不能远程拍错，只能打成jar包放到集群拍错。2、看不到详细的运行日志过程，给我们一种困扰，到底程序运行完没有，是正确还是错误。且看本人如何解决：归根揭底这是log4j的问题，log4j:WARN No appenders could be found f...

原创 大数据源码hadoop------redceu阶段的输入和输出

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114");

原创 大数据源码hadoop---shuffle至Reduce的merge

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114");

原创 大数据源码hadoop---MapReduce的Mapper输入

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114"); }}深入了解hadoop系统，我们

原创 大数据Spark-----spark代码源码解析

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114"); }}SPARK源码解析首先看一段使用scala编写的spark代码：pac

原创 大数据Saprk----spark的RDD使用文档

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114"); }}1、算子分类Spark 算

原创 大数据Saprk----Spark基础-scala的隐式转换

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114"); }}1、隐式转换通常在处理两个

原创 大数据Saprk----Spark基础--Scala的样例类和模式匹配

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114"); }}1、简单示例首先我们先做一

原创 大数据Saprk----Spark基础--Scala的组合和继承

first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData："+"--"+"947967114");

原创 大数据Saprk----Map终结和Spill文件合并

当Mapper没有数据输入，mapper.run中的while循环会调用context.nextKeyValue就返回false，于是便返回到runNewMapper中，在这里程序会关闭输入通道和输出通道，这里关闭输出通道并没有关闭collector，必须要先flush一下。首先运行我吧！！！public class QQ { public static void main(String[]...