- 博客(103)
- 收藏
- 关注
RSS订阅转载 hive知识点整理
hive知识点整理1. 你知道哪些窗口函数及应用场景？1.1 分析函数1.2 窗口函数1. 你知道哪些窗口函数及应用场景？1.1 分析函数rank()：返回数据项在分组中的排名，排名相等会在名次中留空位dense_rank()：返回数据项在分组中的排名，排名相等不会在名次中留空位ntile()：返回分片后的值row_number()：编号，从1开始，为每条记录返回一个数字row_number() over (partition by col1 order by col2)根据col1分组
2021-03-03 16:49:19
312
原创 数据仓库知识点整理
数据仓库知识点整理1. 维表和宽表的考查（主要考察维表的使用及维度退化手法）1.1 宽表1.2 维度退化2. 数仓表命名规范3. 拉链表的使用场景2.1 全量表2.2 增量表2.3 拉链表2.4 如何选择4. 一亿条数据查的很慢,怎么查快一点5. 有什么维表6. 数据源都有哪些7. 你们最大的表是什么表,数据量多少8. 数仓架构体系9.数据平台是怎样的，用到了阿里的那一套吗？10. 你了解的调度系统有那些？，你们公司用的是哪种调度系统11. 你们公司数仓底层是怎么抽数据的？12. 为什么datax抽数数要比
2021-02-03 21:55:23
675
原创 数据仓库-外围系统建设
数据仓库-元数据管理系统元数据管理系统是外部了解数仓的门户入口，一个好的元数据系统至少包含如下信息：1. 表信息表英文名、中文注释、表状态（在线/下线）2. 字段信息字段类型、英文名、中文名、字段注释、保密级别（机密/保密/一般）、统计逻辑说明3. 负责人信息业务/开发负责、所在部门4. 分区信息分区名、分区大小、分区记录条数、生成分区的时间5. 血缘信息表上游、下游节点信息6. 代码信息生成该表对应的代码地址超链接7. 存储信息总表大小、波动情况8. 热度信息标识被下游依
2021-01-11 13:30:55
517
原创 天池龙珠计划Python训练营——Task02：Python基础练习：数据结构大汇总
天池龙珠计划Python训练营——Task02：Python基础练习：数据结构大汇总一、数据类型1. 简单数据类型2. 容器数据类型二、列表1. 列表的定义2. 列表的创建2.1 普通创建2.2 利用range()创建2.3 利用推导式创建列表2.4 创建一个混合列表2.5 创建一个空列表一、数据类型1. 简单数据类型整型<class ‘int’>浮点型<class ‘float’>布尔型<class ‘bool’>2. 容器数据类型列表<class
2020-12-22 22:04:41
235
原创 天池龙珠计划Python训练营——Task01
天池龙珠计划Python训练营——1.Python基础入门：从变量到异常处理运算符运算符is, is not 对比的是两个变量的内存地址==, != 对比的是两个变量的值比较的两个变量，指向的都是地址不可变的类型（str等），那么is，is not 和 ==，！= 是完全等价的。对比的两个变量，指向的是地址可变的类型（list，dict，tuple等），则两者是有区别的。...
2020-12-19 21:53:49
110
原创 【遍历二叉树】-前序、中序、后序及层次遍历（java实现）
【遍历二叉树】-前序、中序、后序及层次遍历（java实现）一、前中后序遍历二、层次遍历一、前中后序遍历前中后序遍历是基于深度遍历（DFS）思想，一般用递归或者栈来实现package binaryTree;import java.util.Stack;/** * @Description: 遍历二叉树，前序、中序、后序 * 每种排序都有两钟实现方式：递归、非递归 * 非递归：...
2019-09-02 19:01:35
433
原创 【排序】——冒泡排序（Java实现）
冒泡排序一、 基本原理：二、实例：三、代码实现：一、 基本原理：比较两两相邻的关键字，如果反序则交换；重复此过程，直到没有反序为止假设一个数组按照升序排列，经过第一轮比较之后，最大的数就被放到最后，位置固定，不再参与比较第二轮比较时，第二大数字被放在倒数第二的位置需要两层循环：外层控制比较的轮数，和数组元素的个数有关；内层控制需要参与比较的元素个数，和外层循环的轮数有关二、实...
2019-08-28 17:18:39
173
原创 《剑指offer》刷题——【抽象建模能力】面试题61：扑克牌中的顺子（java实现）
@TOC2一、题目描述从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的。2~10为数字本身，A为1，J为11，Q为12，K为13，大小王可以看成任意数字二、题目分析5张牌看成5个数字组成的数组，其中大小王是特殊数字，定义为0，与其他数字区分，问题即转化为判断5个数字是不是连续。 如何判断5个数字是否连续：(0可以当成任意数字，可以用0去补满数组的空缺)——数组排序；若...
2019-07-27 23:33:54
232
转载 大数据之spark集群架构
大数据之spark集群架构采用主/从（Master-Slave）结构Mater = Driver(驱动器)：负责中央协调，调度各个分布式工作节点，控制器，负责整个集群的正常运行Slave = worker(工作节点)：计算节点，接收主节点命令、进行状态汇报Executor(执行器)：负责任务的执行...
2019-07-27 14:50:54
422
原创 《剑指offer》刷题——【面试中的各项能力】面试题59：队列的最大值（java实现）
《剑指offer》刷题——【面试中的各项能力】面试题59：队列的最大值（java实现）一、题目描述：二、题目分析：三、代码实现：一、题目描述：给定一个数组和滑动窗口的大小，找出所有滑动窗口里数值的最大值。例如，如果输入数组{2,3,4,2,6,2,5,1}及滑动窗口的大小3，那么一共存在6个滑动窗口，他们的最大值分别为{4,4,6,6,6,5}； 针对数组{2,3,4,2,6,2,5,1}的滑...
2019-07-27 00:03:01
187
原创 大数据之spark数据分区
大数据之spark数据分区1. 为什么要分区2. 举例说明：1. 为什么要分区spark可以通过分区来减少网络通信开销：分区并非对于所有场景都是有好处的：若给定RDD只被扫描一遍，那么完全没必要做分区，只有当数据多次在诸如链接这种基于键的操作时，分区才会有帮助。2. 举例说明：假设我们有一份不变的大文件userData，以及每5分钟产生的小数据events，现要求：每5分钟产...
2019-07-26 14:34:04
380
原创 《剑指offer》刷题——【面试中的各项能力】面试题58：翻转字符串（java实现）
《剑指offer》刷题——【面试中的各项能力】面试题58：翻转字符串（java实现）（一）题目一：翻转单词顺序一、题目描述二、题目分析方法一：两次翻转字符串方法二：借助字符串数组（一）题目一：翻转单词顺序一、题目描述输入一个英文句子，翻转句子中单词的顺序，但单词内字符的顺序不变。为简单起见，标点符号和普通字母一样处理。例如输入字符串“I am a student”，则输出“student ...
2019-07-25 23:37:01
216
原创 大数据之spark面试题
大数据之spark面试题一、RDD1. 什么是RDD? "弹性"体现在哪里？RDD存在的缺陷？2. RDD支持几种常见操作？分别是什么？有和区别？举例3. RDD有多少种持久化方式？memory_only如果内存存储不了，会如何操作？一、RDD1. 什么是RDD? "弹性"体现在哪里？RDD存在的缺陷？（1）RDD(Resilient Distributed Dataset, 弹性分布式数据...
2019-07-25 19:39:58
684
原创 《剑指offer》刷题——【面试中的各项能力】面试题57：和为s的数字（java实现）
《剑指offer》刷题——【面试中的各项能力】面试题57：和为s的数字（java实现）（一）题目一：和为s的两个数字一、题目描述二、题目分析方法一：双循环-O(n^2)方法二：双指针-O(n)代码实现（一）题目一：和为s的两个数字一、题目描述输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。二、题目分析方法...
2019-07-24 00:20:38
171
原创 《剑指offer》刷题——【面试中的各项能力】面试题56：数组中只出现一次的数字（java实现）
《剑指offer》刷题——【面试中的各项能力】面试题56：数组中只出现一次的数字（java实现）一、题目描述一、题目描述一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字...
2019-07-23 16:03:16
207
转载 大数据之hive文件格式（三）
大数据之hive文件格式（三）一、hive文件存储格式分类：1. 列式存储和行式存储（1）行式存储（2）列式存储2. textfile3. sequencefile4. rcfile5. orcfile6. Hive ROW FORMAT三、hive写入数据的方式1. 从本地文件系统中导入数据到hive表2. 从hdfs上导入数据到hive表3. 从别的表查询出相应的数据并导入到hive表中4. ...
2019-07-23 14:25:01
213
转载 大数据之hive各种表（二）
大数据之hive各种表（二）一、外部表和内部表1. 内部表（managed table）2. 外部表（external table）二、分区表和桶表1. 分区（partioned）2. 分桶（clustered）一、外部表和内部表1. 内部表（managed table）默认创建的是内部表 create table xxx(xx xxx)存储位置在 hive.metastore.ware...
2019-07-23 11:38:23
239
翻译 大数据之hive（一）
大数据之hive（一）一、hive简介1. Hive是什么？2. hive的优缺点（1）优点：（2）缺点：3. hive架构原理一、hive简介1. Hive是什么？hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。它所有的数据都存储在hadoop兼容的文件系统中。hive在加载数据过程不会对数据进行任何修改，只是将数据移动到hdf...
2019-07-22 18:12:30
201
原创 AOP与OOP的区别
AOP与OOP的区别1. AOP（Aspect Oriented Programming）2. OOP（Object Oriented Programming）1. AOP（Aspect Oriented Programming）面向切面编程spring 框架利用AOP可以对业务逻辑的各个部分隔离，使得业务逻辑各部分的耦合性降低主要功能：日志记录、性能统计、安全控制、事务处理、异常...
2019-07-19 13:43:10
361
原创 《剑指offer》刷题——【面试中的各项能力】面试题55：二叉树的深度（java实现）
《剑指offer》刷题——【面试中的各项能力】面试题55：二叉树的深度（java实现）（一） 题目一：二叉树的深度一、题目描述二、题目分析三、代码实现（二）题目二：平衡二叉树一、题目描述二、题目分析方法一：递归——重复遍历方法二：每个节点只遍历一次（一） 题目一：二叉树的深度一、题目描述输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的...
2019-07-18 23:44:20
275
原创 《剑指offer》刷题——【面试中的各项能力】面试题54：二叉搜索树的第k大节点（java实现）
《剑指offer》刷题——【面试中的各项能力】面试题54：二叉搜索树的第k大节点（java实现）一、题目描述二、题目分析三、代码实现一、题目描述给定一棵二叉搜索树，请找出其中的第k小的结点。例如，（5，3，7，2，4，6，8）中，按结点数值大小顺序第三小结点的值为4。二、题目分析中序遍历二叉搜索树，{2，3，4，5，6，7，8}，递增排序中序遍历过程中，累加计算访问过的节点数目...
2019-07-18 00:06:43
163
原创 《剑指offer》刷题——【时间效率与空间效率的平衡】面试题53：数字在排序数组中出现的次数（java实现）
《剑指offer》刷题——【时间效率与空间效率的平衡】面试题53：数字在排序数组中出现的次数（java实现）一、题目描述二、题目分析方法一：遍历方法二：二分法一、题目描述统计一个数字在排序数组中出现的次数。二、题目分析方法一：遍历遍历一边数组比较每一个数字统计指定数字出现的次数时间复杂度：O(n)public class Solution { public int ...
2019-07-15 23:55:16
147
原创 《剑指offer》刷题——【时间效率与空间效率的平衡】面试题52：两个链表的第一个公共结点（java实现）
《剑指offer》刷题——【时间效率与空间效率的平衡】面试题52：两个链表的第一个公共结点（java实现）一、题目描述二、题目分析方法一：双循环，O(n^2)方法二：Hash法一、题目描述输入两个链表，找出它们的第一个公共结点。二、题目分析方法一：双循环，O(n^2)/*public class ListNode { int val; ListNode next = ...
2019-07-15 23:08:59
130
原创 《剑指offer》刷题——【时间效率与空间效率的平衡】面试题51：数组中的逆序对（java实现）
《剑指offer》刷题——【时间效率与空间效率的平衡】面试题51：数组中的逆序对（java实现）一、题目描述二、题目分析方法一：遍历-O(n^2)方法二：归并思想，时间负责度O(nlogn)，空间复杂度O(n)三、代码实现一、题目描述在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的...
2019-07-15 15:41:24
227
原创 《剑指offer》刷题——【时间效率与空间效率的平衡】面试题50：第一个只出现一次的字符（java实现）
《剑指offer》刷题——【时间效率与空间效率的平衡】面试题50：第一个只出现一次的字符（java实现）一、题目描述二、题目分析方法一：遍历-O(n^2)方法二：借助哈希表-O(n)三、代码实现一、题目描述在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1（需要区分大小写）.二、题目分析方法一：...
2019-07-13 13:29:57
149
原创 《剑指offer》刷题——【时间效率与空间效率的平衡】面试题49：丑数（java实现）
《剑指offer》刷题——【时间效率与空间效率的平衡】面试题49：（java实现）一、题目描述二、题目分析方法一：逐个判断每个整数是不是丑数方法二：借助数组保存已找到的丑数，空间换时间三、代码实现一、题目描述把只包含质因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含质因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。...
2019-07-13 11:36:49
208
原创 《剑指offer》刷题——【时间效率】面试题45：把数组排成最小的数（java实现）
《剑指offer》刷题——【时间效率】面试题45：把数组排成最小的数（java实现）输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。...
2019-07-12 10:14:47
196
原创 《剑指offer》刷题——【时间效率】面试题44：数字序列中某一位的数字（java实现）---待做
《剑指offer》刷题——【时间效率】面试题44：数字序列中某一位的数字（java实现）一、题目描述一、题目描述
2019-07-12 10:12:50
144
原创 《剑指offer》刷题——【时间效率】面试题43：1~n整数中1出现的次数（java实现）
《剑指offer》刷题——【时间效率】面试题43：1~n整数中1出现的次数（java实现）一、题目描述二、题目分析方法一：不考虑时间效率一、题目描述输入一个整数n,求1~n这n个整数的十进制表示中1出现的次数，例如，输入12,1~12这些整数中包含1的数字有1,10,11,12，1一共出现5次二、题目分析方法一：不考虑时间效率累加1~n中每个整数1出现的次数（每次通过对10求余数判...
2019-07-11 09:40:49
258
原创 《剑指offer》刷题——【时间效率】面试题42：连续子数组的最大和（java实现）
《剑指offer》刷题——【时间效率】面试题42：连续子数组的最大和（java实现）一、题目描述二、题目分析方法一：枚举所有子数组求和O(n^2)方法二：举例分析数组的规律一、题目描述输入一个整型数组，数组里有正数也有负数。数组中的一个或者多个整数组成一个子数组。求所有子数组的和的最大值。要求时间复杂度为O(n)二、题目分析方法一：枚举所有子数组求和O(n^2)枚举数组的所有子数组...
2019-07-09 09:13:08
201
原创 《剑指offer》刷题——【时间效率】面试题41：数据流中的中位数（java实现）
《剑指offer》刷题——【时间效率】面试题41：数据流中的中位数（java实现）一、题目描述二、题目分析1. 数据结构选取（1）数组（2）排序的链表（3）二叉搜索树（4）平衡二叉搜索树（AVL）一、题目描述如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值，那么中位数就是所有数值排序之后中间两个数的平均值。...
2019-07-08 11:26:05
346
1
原创 《剑指offer》刷题——【时间效率】面试题40：最小的K个数（java实现）
《剑指offer》刷题——【时间效率】面试题40：最小的K个数（java实现）一、题目描述二、题目分析方法一：O(nlogn)方法二：基于Partition函数O(n)-允许修改输入的数组一、题目描述输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4,。二、题目分析方法一：O(nlogn)把输入的n个整数排序最前...
2019-07-04 14:54:11
239
原创 《剑指offer》刷题——【时间效率】面试题39：数组中出现次数超过一半的数字（java实现）
《剑指offer》刷题——【时间效率】面试题39：数组中出现次数超过一半的数字（java实现）一、题目描述二、题目分析方法一：方法二：基于Partition函数的时间复杂度为O(n)方法三：根据数组的特点时间复杂度为O(n)一、题目描述数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次，...
2019-07-04 14:30:49
231
原创 《剑指offer》刷题——【分解让复杂问题简单化】面试题38：字符串的排列（java实现）
《剑指offer》刷题——【分解让复杂问题简单化】面试题38：字符串的排列（java实现）一、题目描述二、题目分析三、代码实现一、题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。二、题目分析把一个字符串看成两部分：1）第一个字符；2）后面所有的字符先...
2019-07-03 16:08:36
162
原创 《剑指offer》刷题——【分解让复杂问题简单化】面试题37：序列化二叉树（java实现）
《剑指offer》刷题——【分解让复杂问题简单化】面试题37：序列化二叉树（java实现）一、题目描述二、题目分析三、代码实现一、题目描述请实现两个函数，分别用来序列化和反序列化二叉树二、题目分析序列化：前序遍历根节点开始，左子树，右子树遍历二叉树碰到null指针，将null指针序列化为一个特殊的字符$节点间以 ,隔开递归反序列化：根反序列，第一个读出来的字符...
2019-07-03 11:32:36
170
原创 《剑指offer》刷题——【分解让复杂问题简单化】面试题36：二叉搜索树与双向链表（java实现）
《剑指offer》刷题——【分解让复杂问题简单化】面试题36：二叉搜索树与双向链表（java实现）一、题目描述二、题目分析三、代码实现一、题目描述输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。二、题目分析二叉搜索树：左子节点的值总是小于父节点的值，右子节点总是大于父节点的值双向链表：每个节点有两个指针，分别指向前一...
2019-07-02 18:40:00
228
原创 《剑指offer》刷题——【分解让复杂问题简单化】面试题35：复杂链表的复制（java实现）
《剑指offer》刷题——【分解让复杂问题简单化】面试题35：复杂链表的复制（java实现）一、题目描述二、题目分析方法一：普通方法 O(n^2)方法二、借助辅助空间的O(n)解法方法三、不借助辅助空间的O(n)解法三、代码实现一、题目描述输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出...
2019-07-02 17:36:55
176
原创 《剑指offer》刷题——【举例让抽象问题具体化】面试题34：二叉树中和为某一值的路径（java实现）
《剑指offer》刷题——【举例让抽象问题具体化】面试题34：二叉树中和为某一值的路径（java实现）一、题目描述二、题目分析三、代码实现一、题目描述输入一棵二叉树的根节点和一个整数，打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。(注意: 在返回值的list中，数组长度大的数字靠前)二、题目分析前序遍历当遍历到某一...
2019-07-01 18:14:53
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人