- 博客(8)
- 收藏
- 关注
RSS订阅原创 Structured Streaming 窗口聚合Demo
1、事件时间窗口操作滑动事件时间窗口上的聚合对于结构化流而言非常简单，并且与分组聚合非常相似。在分组聚合中，在用户指定的分组列中为每个唯一值维护聚合值（例如，计数）。在基于窗口的聚合的情况下，将Event事件时间所属的每个窗口维护聚合值。让我们通过下图来了解这一点。想象一下我们的快速示例已被修改，并且流现在包含行以及生成行的时间。而不是运行字数统计，我们希望在10分钟的窗口内对字数进行计数，每5分钟更新一次。也就是说，在10分钟的窗口12:00-12：10、12：05-12：15、12：10-12:2
2021-04-07 17:01:00
267
1
原创 HBase知识点
一、HBaseHbase是一个高可靠、面向列、高性能、可伸缩的分布式存储系统具有海量存储、列式存储、极易扩展、稀疏二、名称解释HLog：宕机数据恢复，记录数据的变更ZK：Master选举、Root表位置、RegionServer状态、HBase的SchemaMaster：为RS分配Region、RS的负载均衡、Table的元数据信息RegionServer：委会Region、处理IO请求、Split操作Region：分布式存储与负载均衡的最小单元Store：存储一起访问的数据，有M
2021-03-03 16:43:42
103
2
原创 JPA刷写数据没有更新
JPA、Hibernate偶尔采坑系列今天发现个有意思的问题，使用@LastModifiedDate作为更新时间，但通过saveAll保存，这个字段竟然没有自动获取更新时间，实体类代码如下： //实体类里面部分代码 @CreatedDate @Temporal(TemporalType.TIMESTAMP) private Date createdAt; @LastModifiedDate @Temporal(TemporalType.TIMESTAMP)
2020-07-27 14:21:53
1342
原创 记一次Mysql隐式转换带来的坑
记一次Mysql隐式转换带来的坑1. 创建表2. **插入数据**3. **全表扫描**4. **出现Bug(隐式转换)的语句**5. **出现问题的情况**6. **为什么多了两条记录**7. 总结最后，附上生产问题语句截图为了复现生产环境产生的Bug，造了几条数据记录：1. 创建表CREATE TABLE `test` ( `id` bigint(20) NOT NULL AU...
2019-12-26 11:41:06
498
原创 Hbase中不宜有多个列簇的原因
我们都知道，在Hbase官网有这么一句话：“A typical schema has between 1 and 3 column families per table. HBase tables should not be designed to mimic RDBMS tables.”，中文意识大概是：一个典型的模式每个表有1到3个列族。HBase表不应设计为模拟RDBMS表。Hbase中当...
2019-04-10 13:49:26
1517
原创 阿里校招(数据开发)一面总结
阿里数据开发面试总结上来就是问你最近做的一个项目上来就是问你最近做的一个项目对项目中使用的组件提出了一些问题两个人掷筛子一个人赢的概率；TopN算法知道哪些？分布式事务了解吗；HashMap和ConcurrentHashMap的区别；Hash和一致性Hash的优缺点；一个文件中多个单词，需要对某个前缀出现多少次进行查询；SQL里面对a,b,c添加了索引，查a,b会通多索引吗？查...
2019-03-20 21:28:08
342
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人