hi枫林客-CSDN博客

原创【Hive从入门到精通之基础篇】Hive的分区表（比较重要，开发必用）

1、何为分区表（1）基本概念：在Hive中，分区表的意思就是相当于在该表对应的文件夹目录下创建子目录来存储不同该表分区字段对应的数据（简单一句话总结就是hive中的分区表就是分目录存储数据，将一个表的所有数据根据业务来切分成一个个小的数据集来存储）。（2）分区表数据的查询通过where关键字来指定分区字段来进行查询，这样可以提高查询的效率。2、分区表的基本操作（1）创建分区表的语法...

2019-09-17 00:06:42 571

原创【Hive从入门到精通之基础篇】Hive的内部表与外部表区别与使用场景

1、Hive的内部表（管理表）（1）基本概念：在Hive中，默认创建的表都是管理表（内部表），它与表的原始数据息息相关，Hive默认情况下会将管理表的数据存储在由配置参数hive.metastore.warehouse.dir指定的HDFS目录下（/user/hive/warehouse/），当删除管理表时，会删除表的元数据并连同表的原始数据一起删除（所以管理表不适合与其它工具来共享数据）。...

2019-09-16 23:14:33 697

原创【Flink学习笔记】Flink Local和Standalone模式的安装部署

1、Flink Local模式安装1）安装最新的flink-1.9版本（1）解压安装包tar -zxf flink-1.9.0-bin-scala_2.11.tgz -C /opt/module/（2）由于是单机模式，所以可以不需要进行任何配置直接启动即可（这里我启动1个jobManager服务进程和3个taskManager服务进程）# 执行该脚本会启动flink的1个j...

2019-09-02 16:19:29 980

原创【Flink学习笔记】Flink DataStream API之Transformation算子小结

1、map算子1）理解：通过对DataStream对象调用其map方法，对数据流中的每一个元素进行转换逻辑操作，最终返回每一个输入元素转换后的结果数据继续封装成一个DataStream对象返回（输入多少个元素，就会返回多少个元素，中间过程可以进行一系列的数据结构转换操作）2）map算子使用入门代码示例（1）java API代码package com.flink.datastrea...

2019-08-31 23:29:26 650

原创【Hive从入门到精通之基础篇】Hive的数据类型分类

1、基本数据类型1）Hive的基本数据类型对比Java的数据类型Hive的数据类型 Java的数据类型长度 tinyint byte 1个字节，有符号整数 smalint short 2个字节，有符号整数 int int 4个字节，有符号整数 bigint long 8个字节，有符号整数 boolean ...

2019-08-29 01:07:51 446

原创【Hive从入门到精通之基础篇】配置通过远程Jdbc方式连接之HiveServer2

1、首先需要配置hive-site.xml文件（1）hive.server2.thrift.port --端口号:10000（2）hive.server2.thrift.bind.host --绑定主机名称为hive安装的那台节点主机名（3）hive.server2.long.polling.timeout -- 超时时间为5000，去掉L<!-- 配置hive serve...

2019-08-29 00:42:05 837

原创【Hive从入门到精通之基础篇】Hive的基本命令行操作和常用的交互命令

1、Hive的基本命令行操作（1）启动hive默认的命令行客户端bin/hive（2）查看数据库列表show databases;（3）使用默认数据库use default;（4）查看该数据库下有几张表show tables;（5）这里我们可以在default数据库下面创建一张表studentcreate table if not exis...

2019-08-29 00:27:02 482

原创【Hive从入门到精通之开门篇】Hive的安装配置

1、Hive的来源与介绍1）Hive是由Facebook开源用于解决海量结构化日志的数据统计。2）Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。3）总结一句话，Hive的本质是：将HQL转化成MapReduce程序。4）Hive处理的数据我们一般存储在分布式文件系统HDFS上，由于其执行底层会转换成MapReduce程序，...

2019-08-28 23:35:05 404

原创一、spring boot从入门到放弃系列之hello world

1、spring boot，总结就是以下三点:①简化了使用spring 框架来开发软件应用的一个框架。②整合了多种技术框架，默认提供了自动化的配置，让开发人员更加专注于业务的实现。③J2EE开发的一站式解决方案。2、环境准备①JDK至少1.7以上；②maven版本3.3以上版本；③IntelliJ IDEA2018.1.3；④spring boot版本1.5.9；3、可以事先配置maven的set...

2018-06-15 09:12:36 133

原创在IDEA中创建父工程和子模块module

1、右键选择你所创建的空文件夹，然后new，再点击Module2、依次选择maven，这里不要点击“create from archetype”点击next3、填写你想要的GroupId和ArtifactId,然后点击next4、Module name给父工程起个名字，点击next5、删除src目录，当然你也可以留着不用删6、创建一个子模块项目，在父工程上右键点击new Module,依次点击ma...

2018-06-11 18:39:51 58219 10