- 博客(25)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅
1原创 Zookeeper报错记录
4、使用 deleteall /brokers/topics/【topic name】命令进行删除；3、删除topic： rmr /brokers/topics/【topic name】启动zookeeper失败提示8080端口被占用，这是zookeeper3.5的特性。2、找到topic所在目录查看topic列表：ls /brokers/topics。** adminServer的相关配置可以查看zookeeper源码了解 **修改后再次启动zookeeper，查看启动日志，启动成功。
2023-12-20 18:58:12
508
原创 Scaleph——可视化拖拉拽构建Seatunnel任务
Scaleph项目具有数据集成，开发，作业调度和编排功能，旨在在云环境中运行。它致力于提供一站式数据平台，简化数据应用的开发。Scaleph希望帮助人们聚集和分析数据，释放数据的内在价值，并从中获利。为每一位数据开发者轻松提供Flink生态系统。Jar用户使用DataStream或Table API开发flink jar作业，并将其打包为jarSQL 用户通过SQL Gateway在SQL在线编辑器后台开发flink SQL作业，然后将其部署为SQL作业。
2023-12-18 20:29:06
665
原创 Seatunnel从陌生到熟悉
在SeaTunnel中，最重要的是Config文件，通过它用户可以自定义自己的数据 同步要求，以最大限度地发挥海底隧道的潜力。在transform中可以source取的的数据进行进一步处理，如果不需要处理，不用做任何设置，为空即可。Seatunnel脚本的逻辑流程为source-> tranform -> sink。，关于这种格式类型的更多细节可以参考。source用设置从哪里同步数据.sink用于设置将数据同步到哪里。tranform可设置的插件有。，顺便说一句，我们也支持。3.nullif用法。
2023-12-18 18:33:52
944
原创 Clickhouse Engine kafka 将kafka数据同步clickhouse
clickhouse支持kafka的表双向同步，其中提供的为Kafka引擎。其大致情况为如下情况：Kafka主题中存在对应的数据格式，Clickhouse创建一个Kafka引擎表（即相当于一个消费者），当主题有消息进入时，获取该消息，将其进行消费，然后物化视图同步插入到MergeTree表中。该引擎还支持反向写入到Kafka中，即往Kafka引擎表中插入数据，可以同步到Kafka中（同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中）。
2023-12-18 15:59:20
1060
原创 Atlas汉化去登录
改这2个地方，就是拦截的请求乱写一个，就拦截不到正常请求了。修改atlas\WEB-INF\web.xml文件。需要改好的文件可以联系我哦。二、汉化替换js文件。
2023-12-18 15:24:06
331
原创 hadoop3.X.Xweb页面中部分操作权限拒绝问题
我在浏览器创建目录和删除目录及文件，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置。另外，通过查看hdfs的默认配置hdfs-default.xml发现hdfs默认是开启权限检查的。我们可以通过修改core-site.xml，配置为当前用户，
2023-12-18 14:59:55
412
原创 快速部署 Apache SeaTunnel Web
将下载的apache-seatunnel-web-1.0.0-bin.tar.gz解压 tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz，这样会生成一个apache-seatunnel-web-1.0.0-bin 目录。apache-seatunnel-web-1.0.0-bin/conf/application.yml文件，在文件中填写seatunnel数据库连接信息（同script/seatunnel_server_env.sh 中配置信息）
2023-12-18 14:51:40
1567
原创 kafka启动错误——The Cluster ID ... doesn‘t match stored clusterId Some(...) in meta.properties.
kafka启动报错
2023-12-18 14:05:41
650
原创 hdfs核心参数和压测
1）NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？128 * 1024 * 1024 * 1024 / 150 ≈ 9.1亿2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。在hadoop-env.sh文件中配置如下。3）Hadoop3.x系列，配置NameNode内存（1）hadoop-env.sh中描述Hadoop的内存是动态分配的。
2023-09-18 20:05:25
66
csharp版64位含GEOS PROJ
2018-10-25
SSCA怎么才能运行啊 在vs2012+opencv上
2017-04-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人