wengad-CSDN博客

原创 OLLAMA部署qwen:7b,与fastgpt集成

它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。

2024-04-18 16:31:04 992 1

原创 FLink-CDC部署（S4:flink-cdc配置）

如果没什么异常，那么可以登录doris里面，看app_db下有新生成了表，且已经将数据同步过来，接着可以在mysql中做数据更新、删除、插入等操作，会发现，数据会同步更新到doris中。其中table.create.properties.replication_num设置成1，默认是3，因为这里的doris BE只有一个节点。在flink-cdc下执行如下，提交CDC任务，其中的cdcjob.yaml即为CDC的配置文件，可以使用绝对路径。具体的日志，也可以在flink的log目录下去查看。

2024-03-26 16:44:07 577

原创 FLink-CDC部署（S3:Flink部署）

在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。

2024-03-26 16:19:31 399 1

原创 FLink-CDC部署（S2:mysql复制配置）

在使用 Flink CDC 进行同步时，你还需要在 Flink SQL 客户端或作业中提供相应的 MySQL 连接参数，包括 URL、用户名、密码以及可能的表过滤规则等。这样，Flink CDC 就能通过 JDBC 接口连接到 MySQL 并开始监听指定表的变更事件。binlog-format=row # 使用 ROW 格式，以便记录每行数据的更改。log-bin=mysql-bin # 开启二进制日志，并设置日志文件前缀。注意，这里创建的表要有主键，不然同步的时候不能成功。创建用于同步的数据库和表。

2024-03-26 16:04:28 679

原创 FLink-CDC部署（S1:Doris部署）

这里使用flink-cdc 3.0.1+flink 1.8.1+doris 2.1.0+mysql来实现，从mysql同步到doris。flink不要使用1.9.X，因为1.8.x的配置和1.9.x的配置不一样，导致flink-cdc无法兼容。

2024-03-26 15:56:20 572 1

原创 flume采集日志文件的问题

使用flume1.9.0采集滚动日志，配置：ag1.sources = s1ag1.channels = c1ag1.sinks = k1ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log"ag1.channels.c1.type=memo...

2019-05-18 11:56:53 1480 1

wengad的博客