- 博客(18)
- 收藏
- 关注
RSS订阅原创 如何看懂Apache Pulsar？（究极缝合）
Apache Pulsar官方文档直达，快速移步，本文基于pulsar2.8版本apache/pulsar: Apache Pulsar - distributed pub-sub messaging system (github.com)Set up a standalone Pulsar locally · Apache Pulsar简介Pulsar 是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。 Pulsar 最初由 Yahoo 开发，目前由 Apache 软件基金会管理。
2021-08-16 16:27:47
1392
原创 flink-流上的join (1.12.2)
flink-流上的join (1.12.2)一、简介本篇主要围绕flink table & sql进行实践。其中文章中大部分内容官方文档有详细记载。由于环境和代码编写问题，官方示例并不能完全用于代码实践，所以此篇文章通过kafka+mysql进行简单实践。环境：kafka 2.4flink 1.12.2mysql57java8二、时间属性首先对于实时join来说，第一个要讨论的就是时间属性。在flink sql中，给出了两种时间属性，一个是系统处理时间，一个是数据本身的自
2021-07-06 10:35:34
664
原创 flink读取Hive数据写入Kafka（Hive Connector 和 kafka connector）
flink读取Hive数据写入Kafka由于需要将kafka的数据读取出来并和hive中的数据进行join操作，突然发现flink1.12.0后实现了批流统一，所以学习了一下心得Hive Connector，并编写了一个读取Hive插入到kafka的小例子（感觉没什么好写的流水账）。参考：https://www.jianshu.com/p/01c363f166c2https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/t
2021-04-02 12:14:37
4989
原创 flink算子split、select、connect、union、project示例代码
对flink相关算子的总结归纳参考： flink1.10官方文档github大数据flink知识点当前maven配置为：<properties> <flink.version>1.10.0</flink.version></properties><!-- Flink dependencies --> <dependency> <groupId>org..
2020-11-04 15:57:25
637
原创 flink无状态转换算子map() flatMap()
Apache Flink常见的一些场景为数据的ETL（抽取、转换、加载）管道任务。从一个或多个数据源获取数据，进行一些转换操作和信息补充，将结果存储起来。无状态转换无状态的转换：包括map()和flatmap()map()调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加1处理，并且将数据输出到下游数据集。map()基本是一对一服务
2020-08-25 15:10:31
13424
原创 《Debezium系列》Debezium-SqlServer的配置踩坑
之前有过关于其他debezium数据库的配置，现在带来sqlServer的配置和踩坑。话不多说，整起。。。。。首先，按照惯例，先官方地址（毕竟有了官方才有了我这个。。。。）官方传送门：debezium环境：kafka2.4 zookeeper3.5.6 sqlserver2017standard1.数据库配置需要为监控的数据库开启cdc功能以便debezium连接器能够获取日志文件。例如：USE MyDBGOEXEC sys.sp_cdc_ena
2020-08-21 15:20:06
7052
9
原创 Clickhouse Engine kafka 将kafka数据同步clickhouse
起因由于需要做各种数据库摆渡到kafka的组件研究。其中clickhouse和kafka间的数据摆渡，根据官方给出的kafka引擎文档，便有了我这篇实践记录。这边对数据库和kafka不再累述。一、版本特性
2020-06-28 11:08:16
13810
24
原创 《Debezium系列》Debezium连接器使用Avro序列化
官方文章参考：https://debezium.io/documentation/reference/1.1/configuration/avro.html1. 简介
2020-04-30 15:44:52
1934
4
原创 Windows Oracle11g OGG to kafka
本文主要参考文档和博客如下：https://dongkelun.com/2018/05/23/oggOracle2Kafka/https://www.jianshu.com/p/b1e1fb623f15一、开发环境源端：Oracle Database 11g Enterprise Edition Release 11.2.0.1.0Oracle GoldenGat...
2020-04-18 10:06:13
1417
1
原创 《Debezium系列》Debezium-Connector-MongoDB副本集
目录一、简介1.1 起因1.2 Debezium1.3 使用场景2. 搭建实践2.1 版本说明2.2 芒果（mongodb）DB配置2.3 kafka connect配置2.4 提交2.5 测试3. 总结4. 后记一、简介1.1 起因这段时间在进行数据库的实时接入方面的工作，并且要求在kafka上进行数据的发布和接入，所以在领导的介绍下g...
2020-01-20 16:49:53
3755
4
原创 JS页面数据懒加载
页面数据懒加载。Div移动到可视区域再去ajax加载内容。最近有需求做页面的多个table用于加载数据，但是用户浏览页面的时候不需要一次将页面所有的东西加载出来，比如页面上3个table就占满了，用户点进去第一眼也就只能看到3个。为了防止一次加载拖慢了页面的速度，所以之后的table我们要懒加载。即该table移动到了可视区域再去异步请求加载数据。以下为目前实现的方法：<...
2019-03-08 21:55:54
5413
原创 Thymeleaf中th:include和th:replace的使用和区别
Thymeleaf一般基于springboot来使用，其实是springmvc。其实在日常中我们编写网页代码，常常会编写网页头和底部。但是不可能每个页面都Ctrl+C，Ctrl+V。这样会反复的代码编写。另外涉及到一些多重复的代码：如对于thymeleaf分页的代码很多都是重复的，所以不可能都是几个页面全是重复的代码。所以我们最好将重复的代码写在多个html中，需要的时候放进页面中...
2018-09-03 10:57:20
9224
原创 SpringMVC入门（基于xml的配置）
在写spring入门博客之后，今天我来写写关于SpringMVC入门姿势。环境：IDEA、Tomcat8.5、jdk1.8 Spring MVC 是一个模型 - 视图 - 控制器（MVC）的Web框架建立在中央前端控制器servlet（DispatcherServlet），它负责发送每个请求到合适的处理程序，使用视图来最终返回响应结果的概念。Spring MVC 是 Spring 产品...
2018-07-31 16:48:10
526
原创 在IntelliJ IDEA中Spring项目的入门
在此篇博客中，我将简单的使用IDEA创建简单的maven项目用于实现spring环境的搭建和一个<bean>对于我们spring的测试好的，现在开始我们的spring之旅。(*^▽^*)1.新建项目file-->new-->project..填写groupid和artifictIdmaven的使用，可以查看我的文章或者去网络搜索。。。（学...
2018-07-30 17:03:48
20783
10
原创 Eclipse下的Hibernate入门（MySql）
Hibernate是一个开放源代码的对象关系映射框架，它对JDBC进行了非常轻量级的对象封装，它将POJO与数据库表建立映射关系，是一个全自动的orm框架(对象关系映射，英语：(Object Relational Mapping，简称ORM，或O/RM，或O/R mapping）），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换)，hibernate可以自动生...
2018-07-30 09:40:30
236
原创 SpringBoot的文件上传
这几天通过学习springboot教程，学习了文件的上传，在此说一下如何上传文件。(为了更好的显示效果我们这里用上传图片为例)在此就不讲如何创建项目等知识了，直接上代码。1.创建UploadFileController.java控制器package com.project.springboot.web;import org.springframework.data.domai...
2018-07-26 10:51:54
246
原创 关于SpringBoot的持久层的一些支持（JPA）
最近开始学习springboot，通过上网找资料和看视频学会了许多，下面就是博主的学习过程。。。开发环境：jdk1.8、开发工具IDEA2016、Tomcat9.0.8，MySQL版本5.1.2 首先来说一下关于JPA，百度是这么说的：JPA是Java Persistence API的简称，中文名Java持久层API，是JDK 5.0注解或XML描述对象－关系表的映射关系，并...
2018-07-25 11:30:17
1072
原创 SpringBoot项目的创建和jar、war方式的部署
一、创建项目 项目开发用的是IDEA、java版本为1.8、Tomcat版本为9.0.8新建项目选择Spring Initializr，下一步填写group和artifact信息，下一步选择Web中的Web，下一步选择存放路径，例如我的是F:\SpringMVCshizhan\springboot目录下好的，目前一个springboot项目就创建好了...
2018-07-22 11:37:08
13183
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人