- 博客(7)
- 收藏
- 关注
RSS订阅原创 Hive 计算新用户留存
使用hive计算用户留存率。问题描述：留存率是一个常见的数据分析需求，即某日新增用户，计算这些用户在后5天内的获取数。使用到的hive函数：datediff：返回两个日期相差的天数，日期格式为 yyyy-MM-ddunix_timestamp：将指定格式的字符串类型日期转换成时间戳from_unixtime：将时间戳转换成指定格式的字符串日期参数博客：https://blog.csdn.net/chenpe32cp/article/details/85068184代码实现：
2020-08-13 16:00:22
1035
原创 Flink 自定义source 读取redis 实现 RichParallelSourceFunction
Flink自定义source 需要实现SourceFunction（并行度1） ，ParallelSourceFunction（多并行），RichParallelSourceFunction（多并行）。这里使用的RichParallelSourceFunction（多并行）。代码实现：public class ReidsSourceFunctionRm7896Top0 extends RichParallelSourceFunction<String> { private .
2020-07-07 15:51:27
2261
1
原创 Flink SQL编程套路（学习笔记三）
Flink版本1.8.0，DataStream获取执行环境； 创建一个TableEnvironment； 读取数据源； 数据转换； DataStream转成Table，定义字段名称； 注册table，定义table名称； SQL计算查询； table转成DataStream； 提交执行。package FlinkDemo.flink_table;import org.apache.flink.api.common.functions.MapFunction;impor
2020-05-22 11:42:51
306
原创 Flink编程套路（学习笔记二）
对于一个Flink任务来说，都是由Source（数据源），transformation（转换算子），Sink（数据输出）三个部分组成；编程套路也主要由5个步骤组成。1.创建运行环境Flink提供了两种创建环境的方式，DataStream（数据流）和DataSet（数据集），两种的创建方式没什么太大的区别。//DataStream 数据流StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionE...
2020-05-20 19:06:54
340
原创 Flink运行时架构（学习笔记一）
摘要 本文主要对Flink程序运行时的架构做一个简单的总结，主要涉及到Flink任务的提交流程，运行流程，以及提交和运行时用到一些组件之间的关系，包括：JobManager，TaskManager，Client；以及运行时task，sub task，operator，operator chain，slot之间的关系。提交流程 Flink任务提交时主要涉及到Client，JobManager，TaskManager几个概念。Client：即客户端，提交Flink任务到yar...
2020-05-20 14:25:00
223
原创 Java 常见排序算法（冒泡，插入，选择，快速，归并，希尔，堆排序，基数）
面试中经常会遇到一些排序的问题，在此总结一下java中常见的几种排序算法，快速，归并，冒泡，插入，希尔，基数，选择，堆排序。参考：https://www.cnblogs.com/chengxiao/p/6194356.html排序算法在线演示图：http://tools.jb51.net/aideddesign/paixu_ys冒泡排序冒泡排序个人认为是最简单最容易理解的一种排序算法，它的基本原理是依次比较数组中相邻的两个元素，从前到后，如果后面的元素大于前面的元素，就交换两个元素的位置，
2020-05-16 22:44:44
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人