- 博客(16)
- 收藏
- 关注
RSS订阅
原创 Doris on K8s部署
最后一段注释掉，因为使用了serviceaccount，所以访问k8s的时候直接使用serviceaccount的，不需要配置.kube/config。# 修改点2： 镜像地址修改为真实doris镜像，可在https://hub.docker.com/r/apache/doris/tags找到需要的镜像版本。# 修改点1： 镜像地址修改为真实doris镜像，可在https://hub.docker.com/r/apache/doris/tags找到需要的镜像版本。发现是301重定向了。
2023-11-23 10:02:53
1276
原创 关于PermGenSpace内存溢出解决方案
关于PermGenSpace内存溢出解决方案内存溢出分为Heap Space和PermGen Space两种异常。正巧的是我这次就碰到了PermGenspace异常，为了解决这个异常花了我 半天的时间，所以今天写这个方案就是做一种笔记。 刚开始碰到这个内存溢出的问题的时候，我一直没有去管他，因为开发时间紧我不得不放弃这些系统抛出的异常。 废话不多说了，先来看看这次内存溢出到底是
2017-09-06 22:38:13
19575
10
原创 docker安装定制gocd-agent
一、定制gocd-agent很多人会想为什么要把openjdk8、maven、make等命令打包到docker容器里面，因为docker容器里面是不带这些命令的，但是我们在打包部署的时候需要用到这些命令。所以需要把这些命令一起打成镜像，一起部署。上面打了两个镜像一个是openjdk8，一个是openjdk17的，但是在打openjdk17的时候会报如下的错。
2024-02-02 14:08:14
442
原创 docker安裝gocd-server，并配置gitlab授权登录
进来之后就是这个页面，Name是可以随便填写的，Redirect URL到底填写什么呢？后面还要创建一个access token，点击左边的“Access Tokens”,再点击右边“Add new token”点击“save”之后，就有了ApplicationID和Secret，保存好，后面要用。下面有下载地址，下载完之后，通过挂载的方式挂载到docker，使用dockers -v。配置好之后，再次进入gocd，已经有gitlab图标了，点击gitlab的图标。点击头像，选择“Preferences”
2024-01-07 20:08:44
1156
原创 FlinkCDC报错解决
如果利用FlinkCDC在同步的时候报这个错误，说明server_id需要指定一个；出现的原因是因为你监听的mysql的表时，有多个相同的server_id监听同一个binlog日志。如果不指定，Flink默认是给到server_id：5400-6400。
2023-12-26 15:22:06
684
原创 FlinkCDC（三）同步mysql的binlog到doris
另外一种使用jdbc的方式，直接读取mysql的表结构信息，然后通过jdbc的方式连接doris创建表结构；1、在同步的时候，怎么实现在doris里面自动创建表结构。如果不是自动创建表结构，那么每次同步一个表都需要手动去创建表结构，这样的话会很累；使用jdbc的方式，直接读取mysql的表结构信息，然后通过jdbc的方式连接doris创建表结构；2、多个表或者整库同步的时候，怎么通过只连接一次，就可以监听多个表或者整库的数据变动；所以呢，这篇文章先解决第一个问题，如何自动同步表结构到doris；
2023-12-26 14:42:49
918
原创 FlinkCDC（二）同步mysql的binlog到doris
前面一章使用flink sql的方式来做数据的同步，但是有一个问题，如果我们一个库里面有100多张表或者更多，那就要写100多个create table来连接，mysql的连接数也会一下子暴涨，所以对于多个表或者整个库或者多库的数据同步，只能使用datastream来同步。这个项目部需要用到spirng、springboot和springclound，直接在main方法里面实现逻辑；先创建一个project，取名flinkcdc-mysql-doris。第一步先创建flink datastream的环境。
2023-12-25 17:03:23
547
原创 Flinkcdc（一）同步mysql的binlog到doris
现在使用第一种方式来实现，通过在flink的client里面进行sql方式的执行。在flink的bin目录下有一个./bin/sql-client.sh，进入到这里面可以执行sql语句。flink利用mysql-cdc从mysql读取binlog日志；一种使用的是datastream的方式；一种是直接使用sql的方式；
2023-12-25 15:41:21
536
原创 Flink On Kubernetes报错解决
如果一个pod运行一段时间之后，不断的重启，并且报错java.io.IOException: Size of the state is larger than the maximum permitted memory-backed state. Size=9985820, maxSize=5242880. Consider using a different checkpoint storage, like the FileSystemCheckpointStorage.
2023-12-25 09:49:10
496
原创 Flink On Kubernetes（四）Flink Kubernetes Operator Application模式
如果没有设置checkpoint的存储地址，flink默认会把checkpoint的存储地址放到内存里面，这个时候就会出现一个问题，任务一开始是可以正常运行的，等运行到一定时候就会报错，从日志上看不出任务的问题。所以checkpoint也需要设置存储的地点，这里通过pvc挂载的方式来设置存储点，一、jar包要挂载可以使用华为云的obs或者阿里云的oss，或者disk磁盘来挂载都可以；设置的这些pvc名称一定要和flinkcdc-mysql-doris.yaml文件里面的名称是一致的。
2023-12-22 14:43:48
467
原创 Flink On Kubernetes（三）Flink Kubernetes Operator安装
前面讲了Flink On Kubernetes如何进行技术的选型，这边的话目前选用的是Flink On Kubernetes Application模式，这种模式最好的是资源隔离，就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源，不会影响其他任务。Flink Operator主页： https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/API，使其具有管理和操作的能力 Flink 部署。
2023-11-27 16:14:46
1086
原创 Flink On Kubernetes（二）
现在开始都是基于Kubernetes的Flink，其实Flink On Kubernetes里面还有2中模式，4中作业提交方式。
2023-11-24 17:14:16
444
原创 Flink On Kubernetes（一）
Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为Flink On YARN模式；还可以使用Flink自带的资源调度系统，不依赖其他系统，称为Flink Standalone模式。还有将Flink部署到Kubernetes的模式，称为Flink On Kubernetes模式。standalone模式有有一个缺点就是只有4个槽，一次只能跑两个Flink任务，一个Flink任务占2个槽；
2023-11-24 16:31:14
416
原创 Docker容器部署Doris
这个ip到底是什么呢，如果你在宿主机上使用了虚拟机，到底是用哪一个IP，可能很多人会搞不明白，如果宿主机上的本地ip和虚拟机上的ip是一样的，那么就用本地ip；如果不一样假设你宿主机的ip是：192.168.1.15，虚拟机的IP是192.168.1.56，那么一定要虚拟机的IP。这里是一个很大的坑。是不可能成功的，因为还要看你的电脑是否支持AVX2指令集，怎么看自己的电脑是否支持AVX2指令集，通过命令cat /proc/cpuinfo |grep avx2如果什么都没有返回说明是不支持的。
2023-11-22 16:43:05
628
原创 springmvc+mybatis+maven多数据源集成
在搭建多数据源集成的时候主要注意两个方面：一个就是数据源切换的问题，另外一个就是事务的问题。数据切换可以分为手工切换和aop自动切换。我们现在使用spring aop来自动切换。首先配置一下数据源： <beans xmlns="http://www.springframework.org/schema/beans" xmlns:tx="http://www.springfr
2018-01-22 11:32:34
523
原创 事务引发的tomcat重启
最近我们的online系统出现了一个很奇怪的问题，国外的客户导入订单之后，在查询页面找不到。必须重启tomcat之后，才能查询到。但是国内的客户不会出现这种情况。一开始认为是线程阻塞了，出现死锁的情况。但是开启jconsole并没有发现有线程死锁。后来又去查询是不是数据库连接池满了，没有释放连接，结果还是不是，并且把连接池c3p0换成了阿里的druid。打开所有的监控，突然间，突然
2017-10-12 14:03:17
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人