- 博客(16)
- 收藏
- 关注
RSS订阅原创 Flink面试题（施工中）
可以使用自定义触发器，解决事件时间，没有数据到达，窗口不触发计算问题，还可以使用持续性触发器，实现一个窗口多次触发输出结果，详细看连接。窗口的创建：当属于某个窗口的第一个元素到达，Flink就会创建一个窗口，并且放入单例集合。窗口什么时候触发：如基于事件时间的窗口 watermark >= end - 1ms。（Flink保证只删除基于时间的窗口，而不能删除其他类型的窗口，例如全局窗口）。窗口的销毁：时间进展 >= 窗口最大时间戳 + 窗口允许延迟时间。窗口的划分：如，基于事件时间的滚动窗口。
2023-08-10 11:10:10
92
1
原创 Kafka 系统的 CAP 保证（HW，Leader-Epoch）
为了解决 HW 更新时机是异步延迟的，Kafka 引入了 leader epoch 机制；在每个副本日志目录下都创建一个 leader-epoch-checkpoint 文件，用于保存 leader 的 epoch 信息，。它的格式为 (epoch offset)，epoch 指的是 leader 版本，它是一个单调递增的一个正整数值，每次 leader变更，epoch 版本都会 +1，offset 是每一代 leader 写入的第一条消息的位移值，比如：(0,0)(1,300)
2023-08-09 14:57:23
262
1
原创 Hive基础知识点
重点集合类型：row format delimited fields terminated by ‘,’ 字段分隔符collection items terminated by ‘_’ 集合元素分隔符map keys terminated by ‘:’ map的kv分隔符行分隔符。
2023-07-29 12:01:23
94
1
原创 解决Hive表的中文注释乱码
把 character_set_server=utf8 加入/etc/my.cnf 的 [mysqld] 下方 ，systemctl restart mysqld 重启mysql。之前创建过的表的注释乱码改不回来了，只能删了重建表喽。进入mysql下的metastore库执行。重启hive的相关进程即可。
2023-07-28 15:19:37
42
1
原创 Hadoop配置参数优化
（1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。（2）需求分析：1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster平均每个节点运行10个 / 3台 ≈ 3个任务（4 3 3）
2023-07-21 11:55:53
230
1
原创 SQL连续问题(窗口函数构造等差数列）
step2: 对差值做group by，特殊地，这里用了sum(if())做count(*)，方便用win筛选，最后对sum求最大值就可以了。step2:两个连续值相减为定值的部分即为连续座位，对定值进行groupby，再对count进行筛选即可。step2:两个连续值相减为定值的部分即为连续数字，对定值进行groupby，再对count进行筛选即可。从 2022-01-17 到 2022-01-25, player 1连续赢了三场比赛。step1：Id本身是连续值，再对相同num做窗内排序构造连续值。
2023-05-26 19:33:43
454
1
原创 OpenCV入门学习笔记（ 查找表，扫描图像和计时）
官方文档：http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/core/how_to_scan_images/how_to_scan_images.html#howtoscanimagesopencv1.查找表 以一种颜色缩减算法为例，颜色值0到9可取为新值0，10到19可取为10。公式为：/10后...
2018-09-08 14:48:58
237
原创 OpenCV入门学习笔记（Mat的介绍和常见使用）
官方文档：http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/core/mat%20-%20the%20basic%20image%20container/mat%20-%20the%20basic%20image%20container.html#matthebasicimagecontainerMat是一个类，主要成员...
2018-09-06 16:25:35
210
原创 OpenCV入门学习笔记（加载，显示，储存图片，以及将图片从RGB转换为灰度）
官方文档：http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/introduction/load_save_image/load_save_image.html#load-save-image#include <opencv2/opencv.hpp>#include <iostream>...
2018-09-06 16:22:12
1157
原创 C++矩阵类中的运算符重载和二维数组动态申请内存
C++矩阵类中的运算符重载学校的题3、矩阵（三） 编写C++程序完成以下功能： （1）用类来实现矩阵，定义一个矩阵的类，属性包括： 1.矩阵大小，用 lines, rows（行、列来表示）； 2.存贮矩阵的数组指针，根据矩阵大小动态申请（new）。 （2）矩阵类的方法包括： 1.构造函数，参数是矩阵大小，需要动态申请存贮矩阵的数组； 2.析构函数，需要释放矩阵的数组指针； 3.拷贝构
2017-09-09 14:10:38
5091
3
原创 C++检测输入是否是整数
学校一道zz题但是检测合法性输入这里费了好大功夫。1、猜价格游戏编写C++程序完成以下功能：（1）假定有一件商品，程序用随机数指定该商品的价格（1-1000的整数）；（2）提示用户猜价格，并输入：若用户猜的价格比商品价格高或低，对用户作出相应的提示；（3）直到猜对为止，并给出提示。（提示及要求：1，要求使用C++的输入输出方式（cin, cout），不能使用
2017-09-06 16:12:17
14925
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人