南弥陀-CSDN博客

原创 pom.xml

maven开发大数据相关作业的pom.xml的maven 配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoc...

2018-11-02 15:25:06 570

原创大数据之小文件

小文件小文件指的是远小于hdfs块大小的文件，在hdfs 上任何一个文件都有其相应的元数据信息，小文件太多，相应的元数据就会多，namenode维护起来不方便小文件太多，相应的启动的maptask 就会很多，会增加开销hive小文件问题输入的小文件太多sethive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInp...

2018-10-26 16:01:27 811

原创数据结构——线性表

线性表从数据的逻辑结构上来分，数据元素之间存在的关联关系被称为数据的逻辑结构，应用程序中的数据大致分为如下4类基本的逻辑结构集合：数据元素之间只有“同属于一个集合”的关系线性结构：数据结构之间存在一对一的关系树形结构：数据元素之间存在一对多的关系图状结构或网状结构：数据元素之间存在多个对多个的关系对于不同的逻辑结构，计算机在磁盘上通常有2种物理机构顺序存储结构...

2018-08-07 17:15:37 223

原创基于数组实现的简易栈

基于数组实现的简易栈/** * 基于数组实现的简易栈 * Created by aura-zll on 2018/8/6. */public class MyStack&lt;E&gt; { private Object[] data=null; private int maxSize=0; private int top=-1; MyStack(){...

2018-08-07 11:51:30 131

原创 kafkaApI的简单使用

kafka生产者public class Producer { public static void main(String[] args) { Properties props=new Properties(); props.put("bootstrap.servers","bigdata-pro-001:9092,bigdata-pro-002:...

2018-08-07 11:48:38 307

原创 Git 命令

一版本库创建1 创建本地仓库（版本库）,选择一个合适的位置创建新目录，目录名就是仓库名，进入这个目录$ mkdir myrespon$ cd myrespon2 通过git init命令把这个目录变成Git可以管理的仓库,当前目录下多了一个.git的目录，这个目录是Git来跟踪管理版本库的,一般不要乱改git init二文件版本管理1 创建一个文件 readme...

2018-05-25 15:05:28 96

原创 spark性能调优之开发调优

（1）尽量不要重复的创建RDD我们在运行一个spark程序时候，就是对RDD的各种转换，多次使用到同一个RDD的时候要避免创建重复的RDD。例如：object sparkcore { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("sparkcore").setMaster(

2017-10-26 14:28:09 177

原创 spark学习之spark基本架构和运行模式（初初级）

一　spark的基本架构Cluster Manager：用来管理资源，随着资源管理者身份的不同而改变，在standalone 模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。Driver：程序入口，负责申请资源和后续整个application执行的管理Executor：执行

2017-10-25 21:22:25 364

原创 spark常用算子的简单使用

Scala开发import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDD/** * Created by Administrator on 2017/10/21. */object TransFormation { def main(args: Array[String]): Uni

2017-10-21 18:16:17 368

原创模仿NameNode和ＤataNode之间通信

供自己查看。。。。。。。。。。。。。。。。。。。。。。。 //这是NameNoｄe节点package scalaimport akka.actor.{Actor, ActorSystem, Props}import com.typesafe.config.{Config, ConfigFactory}import scala.collection.mutableimport scala.con

2017-10-19 20:24:49 610

南弥陀的博客