叶子不落-CSDN博客

原创大数据介绍及hadoop简介

1、什么是大数据？大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据的特征4V特征：Volume(大数据量)：90% 的数据是过去两年产生Velocity(速度快)：数据增长速度快，时效性高Variety(多样化)：数据种类和来源多样化结构化数据、半结构化数据、非结构化数据Value(价值密度低)：需挖掘获取数据价值固有特征：时效性不可变性2、分布式计算分布式计算将较大的数据分成小的部分进行处理** **传统分布式计算新的分布式

2020-07-17 16:13:22 284

转载 elasticsearch语法简介

2020-07-17 15:36:19 185

原创 logstash安装及使用

#解压logstash包tar -zxf logstash-6.2.2.tar.gz#移到soft文件下创建logstash622文件夹mv logstash-6.2.2 soft/logstash622#进去至bin目录cd soft/logstash622/bin/#空白输入输出./logstash -e ‘input { stdin {} } output { stdout {} }’#环境变量./logstash -e ‘input { stdin {} } output { st

2020-07-17 15:16:56 196

原创 Linux环境下安装elasticsearch和elastic-head

Linux环境下安装elasticsearch和elastic-head首先安装好jdk1.8版本。elasticsearch安装：我所使用的是elasticsearch6.2.2版本1、解压安装包： tar -zxvf 移动解压后的文件到自己习惯存放的文件夹中mv elasticsearch-6.2.2 soft/elasticsearch2、切换用户su xxx（elasticsearch不能在root用户下启动）如果需要增加用户和设置密码useradd xxxpasswd xxx

2020-07-17 15:08:15 509

原创 scala语言入门-安装及语言简介

一、scala简介和环境的搭建scala简介scala是一门小众语言，和java是兼容、互通的，可以在java虚拟机上执行程序代码，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。scala这个语言特色就是特别的飘逸，属于多范式编程，既是面向对象编程语言，又结合了命令式编程和函数式编程风格。在spark中采用了scala语言设计，提供更优雅的API设计，并且基于JVM（java虚拟机）的语言更容易融入Hadoop生态圈。环境安装要求：先安装jdk，和java互通兼容，要

2020-07-09 14:45:10 183

原创 MapReduce详细流程介绍（图文并茂）

详解：整个数据处理流程分为map task 和reduce task 两部分，map task负责map阶段的数据处理，reduce task负责reduce阶段的数据处理。map task 读文件的时候通过InputFormat中将文本进行切片，再通过RecordReader中的read方法将文件内容读取，返回键值对，key是文本的行号，value是对应的该行的值，然后我们使用Mapper中的map方法对键值对进行处理形成新的键值对，每个键值对都会调用一次map方法。然后通过context的wr.

2020-06-10 23:10:40 592

原创基于Hadoop的数据仓库解决方案-Hive简介

1、什么是Hive？Hive简单用一句话概括就是基于Hadoop的数据仓库解决方案，它始于2007年的FaceBook，官方网站是hive.apache.org。Hive的作用主要是作为一种数据仓库用来存储数据，它可以将结构化的数据文件映射为数据库表，提供类sql的查询语言HQL（Hive Query Language），虽然Hive基于Hadoop生态环境，但是Hive的强大也让更多的人使用起了Hadoop。在这里我要重点提一个地方，什么是数据仓库，和数据库只有一字之差，它们之间有啥区别呢？数据库

2020-06-10 22:54:36 340

原创基于Linux系统的HIVE安装

在安装HIVE之前需要在Linux上安装好mysql、hadoop和zookeeper。在这里我介绍一下zookeeper和hive的安装。zookee安装没有安装包的可以评论私发你，或者自己去网上找安装包。1、下载安装包通过xftp将安装包放到Linux中的opt文件夹中。2、安装包解压tar -zxf /opt/zookeeper-3.4.5-cdh5.14.2.tar.gz3、将解压文件放到opt下的soft文件夹中，我把我的软件基本都放在了这个文件夹，你们随意。mv zookeepe

2020-06-09 20:15:55 297

原创基于Linux系统的hadoop安装教程

1、hadoop安装包下载：直接百度搜索hadoop进入官网选择自己想要的版本下载即可。2、将hadoop安装包通过xftp拉到自己创建的虚拟机中，我是放在了opt文件夹中，并且在opt文件夹下建了一个soft文件夹,将解压后的hadoop放到soft文件夹中，便于以后使用，在这里我是将解压包放到soft下并且改名为hadoop260。tar -zxf hadoop安装包mv /opt/hadoop解压包 /opt/soft/hadoop2603、修改hadoop的配置文件（1）先进入hado

2020-06-09 15:26:16 360

原创常用的简单正则表达式

一、校验数字的表达式1 数字：1$2 n位的数字：^\d{n}$3 至少n位的数字：^\d{n,}$4 m-n位的数字：^\d{m,n}$5 零和非零开头的数字：^(0|[1-9][0-9])$6 非零开头的最多带两位小数的数字：^([1-9][0-9])+(.[0-9]{1,2})?$7 带1-2位小数的正数或负数：^(-)?\d+(.\d{1,2})?$8 正数、负数、和小数：^(-|+)?\d+(.\d+)?$9 有两位小数的正实数：2+(.[0-9]{2})?$10 有1~3位小

2020-06-09 14:04:40 144

原创 java基础-方法重写和多态

一、方法重写方法的重写又称方法的覆盖，一般用于子类根据需要可以对父类中的方法进行重新编写。重写的前提是：必须在继承体系下，也就是必须存在继承关系。方法重写的原则：1、方法名相同2、参数列表相同3、返回值类型相同或者是其子类4、访问权限不能严于父类注意：1、一般不会去改变返回值和访问权限2、父类的私有方法不能被重写public class Pet { private String name; private int age; public void show(Strin

2020-06-02 20:19:30 329

原创 java基础-继承与封装

一、Java特性-继承继承理解：汽车，电动车，自行车和车。无论哪种车，都有具备车的特性。都具有载人的功能，也都需要人去操作，这些相似的方法与属性如果一直重复的写就是在浪费世间并且会让代码变得复杂。因此我们可以使用继承来解决这些问题，比如，通过车作为父类来写一些共有的属性以及方法，由车的子类来继承父类，从而继承那些属性和方法。Java中的继承使用的是extends关键字，继承的类叫做子类（扩展类），被继承的类叫做父类（超类或者基类）。凡是这种可以有包含关系的类都能实现继承关系。1、类：类是具有共同属性和

2020-06-01 20:19:39 181

原创 java基础-方法和方法重载

一、方法方法是Java中一个很重要的部分，Java中的封装属性，主要就是指方法的封装。首先我们要知道方法的五个要素：修饰符、返回值类型、方法名、参数列表、方法体。一般的方法书写格式如下所示：访问修饰符返回类型方法名(参数列表) {//方法的主体}例子：public void show(String name,int age){System.out.println(“姓名：” + name + “，年龄：” + age);}访问修饰符常用有public、private。public

2020-06-01 15:37:14 205

原创 java基础编码规范

1、class命名: 每个单词首字母大写，而且不能和关键字冲突(同名)2、编码书写和写作文不一样，顾头顾尾3、缩进：以一对花括号为一个缩进单位，同一个缩进单位中的代码左对齐{XxxXxxxxx}4、Java语句以分号结尾, 且一般每一条语句独占一行。5、运算符前后各追加一个空格6、同一个作用域内不能出现重名7、+号的运算规则：从第一个字符串开始执行拼接，之前执行加法8、命名规范：变量驼峰，常量所有字母大写9、一句指令中同时包含中英文，保持英文输入法，输入完成所有英文内容后，切换为

2020-06-01 14:19:52 583

FAN_1998的博客