- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 银河麒麟系统（ARM）Apache Doris 集群搭建
需要在信创平台（鲲鹏ARM CPU 和 银河麒麟V10操作系统）部署Apache Doris 存储日志数据，使用社区编译好的 ARM 安装包，同时配置好ARM 版本的JDK即可。Doris社区本身文档很齐全，整个部署过程就是在官方文档的指引下进行的，这里只是对过程的记录。
2023-10-26 20:16:47
317
原创 银河麒麟系统（ARM）Seatunnel (Zeta引擎)集群部署
需要在信创平台（鲲鹏ARM CPU 和 银河麒麟V10操作系统）部署Apache Seatunnel 实时同步kafka数据到 实时数仓 Apache Doris，需要注意的是只需要配置好ARM 版本的JDK即可。
2023-10-26 14:19:28
443
1
原创 银河麒麟系统（ARM）Kafka 集群 Kraft模式部署
需要在信创平台（鲲鹏ARM CPU 和 银河麒麟V10操作系统）部署Kafka存储实时采集的日志数据，需要注意的是只需要配置好ARM 版本的JDK即可。
2023-10-24 22:17:53
469
原创 银河麒麟系统（ARM）Filebeat 编译部署
需要在信创平台（鲲鹏 ARM CPU 和 银河麒麟 V10 操作系统）部署 Filebeat 进行系统日志的采集，但是官方没有提供 ARM 版本的安装包，所以只有自行从源码进行构建。以下为源码编译过程的记录，仅供参考。
2023-10-24 07:51:04
264
原创 SeaTunnel-JDBC Connector 多表离线同步
离线同步 Doris 多张数据表 到 MySQL 数据库。这里 同步 两张 Doris数据表 到 MySQL数据库同一张表，多对多，多对一 实际 做法也是完全相同的，在 SeaTunnel 里 只需要分别在 在 source、transform、sink中创建相应数量的 配置代码块即可。
2023-10-11 22:16:16
530
原创 SeaTunnel-Doris离线同步数据到MySQL（非主键Upsert模式）
需要定时同步 Doris 源表数据到 MySQL 目标表。 但是 MySQL 表使用自增主键，为防止 MySQL 产生重复数据，需要把数据按照 Doris 的 unique key 以 UPSERT 模式写入 MySQL。在 MySQL 中 使用 INSERT ... ON DUPLICATE KEY UPDATE 语句来实现 UPSERT 操作，但是前提需要为 MySQL 设置唯一索引（这里使用 Doris unique key）。
2023-10-10 22:42:01
401
1
原创 Nginx-socket() failed (24: Too many open files) while connecting to upstream
Nginx-socket() failed (24: Too many open files) while connecting to upstream 问题解决
2023-10-08 22:11:34
554
原创 Kyuubi Docker 镜像构建
Kyuubi Docker镜像构建，基于 Spark 3.3.0的镜像进行构建，主要用于 Kyuubi on Kubernetes 部署
2022-08-01 19:01:44
734
原创 Spark Docker 镜像构建
Spark Docker 镜像构建，spark源码编译支持Volcano 调度器，并集成 Iceberg 和hadoop-aws相关依赖。构建的镜像主要用于 Spark on Kubernetes 部署并读写 基于S3 的Iceberg数据湖
2022-08-01 18:52:40
950
1
原创 Hive Standalone Metastore Docker 镜像构建
本文主要内容为 构建 Hive standalone metastore docker镜像，并添加 Iceberg相关依赖，构建的镜像用于 Hive metastore on Kubernetes 模式部署并集成Iceberg
2022-08-01 18:47:59
933
原创 Java IO流 学习笔记（三）—— RandomAccessFile
RandomAccessFile 允许来回读写文件，也可以替换文件中的某些部分。一、创建一个RandomAccessFile在使用RandomAccessFile之前，必须初始化它，// 第二个参数 “rw”表名你以读写的方式打开文件RandomAccessFile file = new RandomAccessFile("/opt/file.txt", "rw");二、在Rando...
2020-06-09 15:47:19
150
1
原创 Java NIO 学习笔记（三）—— 字符集
一、字符集基础Character Set (字符集)字符的集合，带有特殊语义的符号。Coded character set (编码字符集)一个数值赋给一个字符的集合。Character-encoding schema （字符编码方案）编码字符集成员到八位字节（8bit字节）的映射。编码方案定义了如何把字符编码的序列表达为字节序列。Charset （字符集）编码字符集和字符编码方案的...
2020-06-09 15:46:42
93
原创 Java 网络编程学习笔记（三）—— URL 和 URI
一、URI统一资源标识符，是一种采用特定语法标识一个资源的字符串。URI的语法由一个模式和一个模式特定部分组成，用冒号分隔：模式：模式特定部分二、URLURL是一个URI，除了标识一个资源，还会为资源提供一个特定的网络位置。然而通用的URI可以告诉你一个资源是什么，但是无法告诉你它在哪里以及如何得到这个资源。URL的语法：protocol://userInfo@host:port/p...
2020-04-29 06:15:33
255
原创 Java NIO 学习笔记(一) —— 基本概念
一、缓冲区新的Buffer类是常规Java类和通道之间的纽带。原始数据元素组成的固定长度数组，封装在包含状态信息的对象中，存入缓冲区。通道既可以在缓冲区中写数据，又可以从缓冲区中读取数据。还有一种特殊的缓冲区，用于内存应黑色文件。二、通道Channel对象模拟了通信连接，管道既可以是单向的(进或出),也可以是双向的(进或出).三、文件锁定和内存映射文件在多个进程协同工作的情况下，要协调各...
2020-04-24 05:46:11
72
原创 Java 网络编程学习笔记(二)—— Internet地址
一、InetAddress类1、InetAddress对象// InetAddress 类没有公共构造函数，而是通过一系列静态工厂方法InetAddress address = InetAddress.getByName("www.editor.csdn.net")// 调用getByName()并提供一个IP地址作为参数时，会为所请求的IP地址创建一个InetAddress对象，而不检查...
2020-04-23 22:44:08
174
原创 Java网络编程学习笔记 (一)—— 基本网络概念
一、TCP/IP 分层模型1、应用层向用户传送数据的层称为应用层。HTTP(WEB)、SMTP(电子邮件)、POP、IMAP、FTP（文件传输）等都属于应用层协议。2、传输层（TCP、UDP）传输层负责确保各包以发送的顺序接收，并保证没有数据丢失或破坏。这一层主要有两个协议：TCP，传输控制协议。这是一个开销很高的协议支持对丢失或破坏的数据进行重传，并按照发送时顺序进行传送。...
2020-04-23 21:43:55
246
原创 java I/O流学习笔记（四）—— ObjectInputStream和ObjectOutputStream
一、ObjectInputStreamObjectInputStream 能够从输入流中读取Java对象，而不是每次读取一个字节。ObjectInputStream input = new ObjectInputStream(new FileInputStream("odaject.data"));MyClass object = (MyClass) input.readObject();...
2020-04-23 07:00:38
143
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人