自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 hadoop使用公平调度器

总计写在前面,请使用公平调度器!!!我根据时间节点来梳理一下发生了什么。

2024-02-02 15:42:09 573

原创 kylin启动memcached缓存

当部署kylin的机器内存不足时,可以使用memcached作为kylin的查询缓存。

2024-01-31 11:25:22 581

原创 kylin集群负载均衡(kylin3,hbaseRIF问题)

这里面就发现了,这个table记录了相当多的phoenix信息,而phoenix,是我以前用于测试同步数据的,现在早已没用了,而图中的那个1,就是目前仅存在的问题,进去看看。所以我想不尝试了,直接迅速快照、关闭hbase集群、删除/hbase/MasterProcWALs无用文件,删除回收站文件、添加配置、重启。但过了一会,发现了问题,我的服务器资源疯狂飙升,我想赶快停了,这下麻烦了,磁盘越来越多。我就用knox做了网关,把hbase的页面信息代理了出来,进去浏览了一圈发现了。发现了我还没办法直接删了。

2024-01-16 16:17:23 1149 1

原创 kylin集群反向代理(健康检查)

由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。

2024-01-11 19:02:21 1112 1

原创 kylin集群使用nginx反向代理

由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。

2024-01-11 13:55:00 861 1

原创 kylin3集群问题和思考(单机转集群)

由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。hive客户端也是,也要保证有hbase、zookeeper等。我在第一台设置的kylin.server.mode=job,第二台配置的kylin.server.mode=all。之前是使用的单机版,但后面查询压力过大,一个方案是改成集群。下面说一下需要注意的地方。而构建cube在每一台都可以。

2024-01-10 19:31:33 481 1

原创 kylin4.0.3升级问题

话接前文:kylin升级(3.0.1->kylin-4.0.3)-CSDN博客原本的cube太多了,换其他OLAP数据库太麻烦。相比之下,升级是一个很好的选择(官网有说明内存降低和构建时间更快的原因)。,导致经常内存溢出,kylin挂掉。设置了查询缓存在memcached,但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤,就可以完成构建;并且,服务器内存也没之前高,这里就不截图了。第一个是zookeeper的路径,不要和旧版本冲突了。在旧版的kylin运行备份命令。

2024-01-09 14:27:38 929

原创 Apache Kylin修改默认端口

默认端口是7070,怎么修改呢,官网没有明确说明,所以,直接找启动的程序修改。找到这个页面中的7070,我试过,只有一个地方有。改成你自己的端口即可。修改后,重启kylin,然后就可以看到修改成功。

2024-01-05 13:55:52 351 1

原创 RequestPara传入+消失问题

发现密码中有+的部分变成空格了,网上很多修改编码的,还有前端修改的。我的解决方案是把RequestParam替换为RequestBody。在传入获取一下,就没有编码问题了。

2024-01-05 11:30:14 416 1

原创 kylin升级(3.0.1->kylin-4.0.3)

原本的cube太多了,换其他OLAP数据库太麻烦。相比之下,升级是一个很好的选择(官网有说明内存降低和构建时间更快的原因)。,导致经常内存溢出,kylin挂掉。设置了查询缓存在memcached,但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤,就可以完成构建;并且,服务器内存也没之前高,这里就不截图了。第一个是zookeeper的路径,不要和旧版本冲突了。在旧版的kylin运行备份命令。将旧的备份文件迁移到新的kylin节点。运行后会有提示,显示备份的文件在哪里。

2024-01-04 15:39:55 1048

原创 kylin4.0.2启动报错

我安装了kylin3和kylin4两个版本,在配置中改了hdfs路径,两个路径不同。仔细一看,原来是zookeeper的路径冲突了。注意最后一句话:缺乏作业锁。这时候就要检查配置了。

2024-01-04 10:15:33 383 1

原创 flink 保存点测试

首先需要去flink ui上找到自己的job id,ui端口默认是8081执行命令flink cancel --withSavepoint /flinkCDC/save eaf2a70b59827948a1cef7ecc9723206接着从保存点启动flink run -s /flinkCDC/save/savepoint-eaf2a7-a8d008adda3a -c test1 /app/myjar/test-1.0-SNAPSHOT-jar-with-dependencies.jar.

2022-01-16 16:33:35 1316

原创 虚拟机挂起后启动ping不通

ip addr 发现这个ens33没有ip了解决步骤systemctl stop NetworkManagersystemctl restart networkip addr ip又有了哈哈哈

2022-01-16 14:56:58 465 1

原创 解决java连接Hbase程序卡住执行也不报错的问题

habse JavaAPI操作运行不出结果不报错

2021-12-29 22:09:08 2876

原创 Ranger初始化报错

Ranger初始化报错,有大佬知道吗

2021-12-10 16:48:59 1908 5

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除