- 博客(15)
- 收藏
- 关注
原创 kylin集群负载均衡(kylin3,hbaseRIF问题)
这里面就发现了,这个table记录了相当多的phoenix信息,而phoenix,是我以前用于测试同步数据的,现在早已没用了,而图中的那个1,就是目前仅存在的问题,进去看看。所以我想不尝试了,直接迅速快照、关闭hbase集群、删除/hbase/MasterProcWALs无用文件,删除回收站文件、添加配置、重启。但过了一会,发现了问题,我的服务器资源疯狂飙升,我想赶快停了,这下麻烦了,磁盘越来越多。我就用knox做了网关,把hbase的页面信息代理了出来,进去浏览了一圈发现了。发现了我还没办法直接删了。
2024-01-16 16:17:23 1149 1
原创 kylin集群反向代理(健康检查)
由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。
2024-01-11 19:02:21 1112 1
原创 kylin集群使用nginx反向代理
由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。
2024-01-11 13:55:00 861 1
原创 kylin3集群问题和思考(单机转集群)
由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。hive客户端也是,也要保证有hbase、zookeeper等。我在第一台设置的kylin.server.mode=job,第二台配置的kylin.server.mode=all。之前是使用的单机版,但后面查询压力过大,一个方案是改成集群。下面说一下需要注意的地方。而构建cube在每一台都可以。
2024-01-10 19:31:33 481 1
原创 kylin4.0.3升级问题
话接前文:kylin升级(3.0.1->kylin-4.0.3)-CSDN博客原本的cube太多了,换其他OLAP数据库太麻烦。相比之下,升级是一个很好的选择(官网有说明内存降低和构建时间更快的原因)。,导致经常内存溢出,kylin挂掉。设置了查询缓存在memcached,但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤,就可以完成构建;并且,服务器内存也没之前高,这里就不截图了。第一个是zookeeper的路径,不要和旧版本冲突了。在旧版的kylin运行备份命令。
2024-01-09 14:27:38 929
原创 Apache Kylin修改默认端口
默认端口是7070,怎么修改呢,官网没有明确说明,所以,直接找启动的程序修改。找到这个页面中的7070,我试过,只有一个地方有。改成你自己的端口即可。修改后,重启kylin,然后就可以看到修改成功。
2024-01-05 13:55:52 351 1
原创 RequestPara传入+消失问题
发现密码中有+的部分变成空格了,网上很多修改编码的,还有前端修改的。我的解决方案是把RequestParam替换为RequestBody。在传入获取一下,就没有编码问题了。
2024-01-05 11:30:14 416 1
原创 kylin升级(3.0.1->kylin-4.0.3)
原本的cube太多了,换其他OLAP数据库太麻烦。相比之下,升级是一个很好的选择(官网有说明内存降低和构建时间更快的原因)。,导致经常内存溢出,kylin挂掉。设置了查询缓存在memcached,但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤,就可以完成构建;并且,服务器内存也没之前高,这里就不截图了。第一个是zookeeper的路径,不要和旧版本冲突了。在旧版的kylin运行备份命令。将旧的备份文件迁移到新的kylin节点。运行后会有提示,显示备份的文件在哪里。
2024-01-04 15:39:55 1048
原创 kylin4.0.2启动报错
我安装了kylin3和kylin4两个版本,在配置中改了hdfs路径,两个路径不同。仔细一看,原来是zookeeper的路径冲突了。注意最后一句话:缺乏作业锁。这时候就要检查配置了。
2024-01-04 10:15:33 383 1
原创 flink 保存点测试
首先需要去flink ui上找到自己的job id,ui端口默认是8081执行命令flink cancel --withSavepoint /flinkCDC/save eaf2a70b59827948a1cef7ecc9723206接着从保存点启动flink run -s /flinkCDC/save/savepoint-eaf2a7-a8d008adda3a -c test1 /app/myjar/test-1.0-SNAPSHOT-jar-with-dependencies.jar.
2022-01-16 16:33:35 1316
原创 虚拟机挂起后启动ping不通
ip addr 发现这个ens33没有ip了解决步骤systemctl stop NetworkManagersystemctl restart networkip addr ip又有了哈哈哈
2022-01-16 14:56:58 465 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人