- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ClickHouse
ClickHouse一、入门1.1、DBMS（列式存储数据库）a、列式存储数据库，列存存储效率高：列的数据类型一致，可以按照列的数据类型选取更优的存储方式；频繁的修改使用行存更优；b、覆盖SQL大部分语法，包含DDL和DML1.1.1 DDL和DMLDML(Data Manipulation Language)数据操纵语言：适用范围：对数据库中的数据进行一些简单操作，insert,delete,update,selectDDL(Data Definition Language)数据定义语言：
2021-03-03 18:55:32
336
1
原创 Spark入门、SparkCore、SparkSQL基础知识点概述
Spark知识点总结一、Spark入门基础知识1.1、什么是Spark Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2、Spark内置模块 a、Spark Core：包含任务调度、内存管理、错误恢复、与存储系统交互等模块，含了对弹性分布式数据集RDD的API b、Spark SQL：Spark用来操作结构化数据的程序包 c、Spark Streaming：Spark提供对实时数据进行流式计算组件。提供数据流的API，与Spark Core中的 RDD API高
2020-12-11 20:47:03
589
原创 Redis常用数据类型命令行实操
Redis命令行操作一、基本操作1、select切换库，默认是0号库（共16个库）127.0.0.1:6379> select 1 #切换1号库2、dbsize查看数据库长度（数据库中存放多少数据）127.0.0.1:6379> dbsize(integer) 3二、key操作1、查找符合格式的key127.0.0.1:6379> key * #查看所有的key，等同于show tables；127.0.0.1:6379> key a??? #查
2020-12-06 09:53:10
961
原创 Flink基础知识及基本使用
Flink基础知识及基本使用一、Flink简介Flink项目的理念是：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”1.1、Flink的重要特点 a、支持事件时间（event-time）和处理时间（processing-time）语义 b、精确一致性和状态一致性 c、低延迟，每秒处理百万个事件、毫秒级延迟 d、与众多常用存储系统的连接 e、高可用，状态扩展，实现7*24小时全天候运行1.1.1、事件驱动型(Event-driv
2020-12-06 09:49:11
721
原创 Redis主从复制机制整理笔记
Redis主从复制机制一、搭建主从复制1、修改redis.conf文件中的daeminize 为yes2、修改redis.conf文件中dir的路径/opt/module/redis/cluster3、在redis根目录下创建cluster文件夹并进入文件夹4、将redis.conf文件复制3份至cluster文件夹并修改端口号6000、7000和8000[atguigu@hadoop102 redis]$ cp redis.conf ./cluster/[atguigu@hadoop102
2020-10-31 08:31:57
91
原创 Action行动算子总结
Action行动算子总结1、reduce（）聚合f函数聚集RDD中所有元素，先聚合分区内数据，再聚合分区间数据函数签名：def reduce(f: (T, T) => T): Tval rdd : RDD[Int] =sc.makeRDD(List(1,2,3,4))val reduceResult:Int = rdd.reduce(_+_)2、collect（）以数组的形式返回数据集以Array的形式返回数据个数函数签名：def collect(): Array[T]val rd
2020-10-23 21:01:03
230
原创 Spark转换算子总结
Spark常用转换算子总结一、Value类型1、map()相关①map()映射分区不变，数据类型可能会变，将RDD中每个数据一对一进行map计算存入新的分区中函数签名：val rdd = sc.makeRDD(1 to 4,2) val mapRdd:RDD[Int] = rdd.map((x:Int)=>{x*2})//创建一个mapRdd返回值是int型=rdd.map（（原有数据及数据类型）=>{计算函数}//简化val mapRdd:RDD[Int] = rdd.
2020-09-27 08:22:40
504
原创 整理MySQL《葵花宝典》
MySql数据库的使用MySQL 数据是C/S架构必须通过客户端(mysql) 才能使用到服务器(mysqld)D:cd /d D:\MyWork\MySQL\mysql-5.7.28-winx64\binmysql -h127.0.0.1 -P3306 -uroot -p"123456"/d 后面的路径是你真实的安装路径.查看服务器中有哪些个数据库show databases;创建新的数据库create database company;切换当前工作数据库use company;
2020-08-18 13:02:39
713
1
原创 JAVASE整理知识点
基础知识计算机的组成 :硬件 : 能看得见, 摸得着的电子元器件.软件 : 存储在硬件中的数据(可以执行) : 指令+数据的集合.系统软件 : 操作系统 OS, 让用户能够方便的使用电脑硬件.(没有国产OS)应用软件 : 为了完成某种功能的软件. 学习java目标就是应用软件.人机交互 : 人通过OS来使用电脑.GUI ：图形化界面CLI ：命令行, 只有一个控制台(console).在windows中启动控制台 :Win+r => cmd 回车(动令)目录 : 用于管理批量
2020-08-14 18:08:07
832
hive学习总结 思维导图.xmind
2020-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人