- 博客(11)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 分库分表导致flink-cdc-connectors流频繁full gc
Docshttps://pyie1bcd1x.feishu.cn/docs/doccnpn6mZ6rU1vrmAClIOnc8ec
2022-03-16 17:33:16
2727
原创 Flink-connector-jdbc 源码阅读
Docshttps://pyie1bcd1x.feishu.cn/docs/doccn8SP6IDuf7OjPoYw4Eu2UBb具体到飞书去看
2022-03-01 11:05:49
1831
原创 pg9.4 VS pg12大表join
pg9.4 VS pg12大表join1、环境1、从ECM生产财务库、TC库分别同步数据到pg9.4和pg12版本，保证表数据量一致。2、数据库配置比较数据库版本CPU核数内存最大IOPS存储类型9.48核16G8000本地SSD盘128核16G26800ESSD云盘3、由于ECM的导出大部分都是按照时间范围的大数据量导出，测试以发票为例，一个月的数据量。2、前期准备改原表名alter table f_invoice rename
2020-06-10 11:30:29
472
原创 pg12自动创建表分区
pg12自动创建表分区总体思路按月增加分区，通过pg_cron来每月调度。pg_cron参考：https://help.aliyun.com/document_detail/150355.html?spm=a2c4g.11186623.6.1080.6b31157f7509OO-- 每个月的4号执行指定脚本。SELECT cron.schedule('* * 4 * *', 'select 1;')；1、常用操作查看分区树SELECT * FROM pg_partition_tree('
2020-06-09 16:25:28
2512
原创 pg日常运维
pg日常运维1、kill真正运行的语句SELECT pg_terminate_backend(PID);2、批量kill相关的语句，例如：删除订单导出再用的sqlselect pg_terminate_backend(pid) from pg_stat_activity where datname = 'ins_dw_prd' and usename='etl_admin' and query like 'insert into export_ordermain%'3、查找表名 SELECT
2020-06-06 11:16:33
550
原创 postgresql大表join优化
postgresql大表join优化一、背景1、数据量：表名 数据量 f_invoice 87346130 f_invoice_item 97535867 2、索引：表：f_invoice_itemCREATE INDEX f_invoice_item_order_item_id_idx ON ins_dw_prd12.f_invoice_item USING btree (order_item_id)CREATE INDEX f_invoice_ite
2020-06-05 09:47:40
5836
原创 【笔记】现代流计算的基石：Google DataFlow
假设我们永远无法知道数据流是否终结，何时数据会变完整。新的数据会源源不断而来，老的数据可能会被撤销或更新。设计思想目标抽象模型对无边界，无序的数据源，允许按数据本身的特征进行窗口计算，得到基于事件发生时间的有序结果，并能在准确性、延迟程度和处理成本之间调整。解构数据处理管道的四个相关维度，使得它们透明地，灵活地进行组合。计算什么结果按事件发生时间计算在流计算处理时间时被...
2019-08-23 08:54:29
276
原创 Mysql误操作快速还原数据
Mysql误操作快速还原数据背景在日常的工作过程中，ECM存在大量的人工直接操作数据库来修改数据的场景，很难做到万无一失。当没有备份，并且误操作更新/删除了大量的数据的时候，需要快速恢复，以免影响正常的业务使用。恢复方案1、从数据备份中恢复恢复步骤：使用阿里云上的备份数据创建备份的rds实例（一般来讲是一天一次） 从备份的rds实例中获取tablexx的数据。 导入到生...
2019-08-07 09:44:47
789
原创 JVM频繁Full GC导致服务不可用定位过程
JVM频繁Full GC导致服务不可用定位过程 背景：问题描述：JVM启动参数配置：Jstat 实时监控真相逐渐浮现jstat 分析gc原因：使用mat辅助分析定位哪里引用了groovy导致内存泄漏查看ShardingJDBC发版记录写在最后背景：公司推行微服务策略，我负责的XX模块相对于其他业务来讲相对独立，所以作为微服务推行的试点。于是分析业务边界 ；做相关的架构升级：从Spri...
2018-10-31 11:37:55
4995
1
原创 MySQLNonTransientConnectionException: No operations allowed after statement closed
错误日志：[2018-09-18 19:25:01.564] [24793183102180408write] [ERROR] [c.m.e.m.i.h.p.AlipayExcelProcessor] - 校验流水导入数据错误:{}org.springframework.dao.DataAccessResourceFailureException:### Error querying d...
2018-09-18 21:01:54
1319
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人