越烟-CSDN博客

原创自动化数据治理功能

最近在搞数据自动化治理，上次手中设计的数据全自动化ETL功能设计，令人欣慰的2个多月没有人管理，维护。周五时候看竟然完全符合预期。数据服务正常，数据结果正常。程序执行正常，日志输出正常。期间还有大概半个多月的“护网”行动，断网测试等。丢失的数据也全部找回了。部分缺失数据，还给出了“源头数据缺失”等异常提示。想想也在意料之中，因为本身就是按照这个设计的。这两个多月中，主要忙其他事情了，比如数据自动化治理等。按照上次设计的ETL功能设计，数据治理理念也是一个套路，现在主要说说，这边的数据治理.

2020-10-25 11:37:01 821 2

原创数据模型转变问题总结与思考

背景：目前在做数字化审计时候某业务需要在Oracle中跑的长SQl，需要弄到hive中跑。原本Oracle中又不注意表设计。业务又复杂，所以SQL就很长。而且Hive 中很多Oracle函数中还跑不起来。业务简述：我先把业务描述下。就是计算某个步骤(APP_NO)的5个核心子步骤（process_id）的耗时。比如：表结构大概:1个APP_NO 对应多个 proces...

2019-12-17 14:48:36 595

原创记某XXB系统一次性能优化

虽然干了很多SQl优化。也写博客记录了很多，但是貌似没有记录过系统整体优化的，这次简单记录下吧。景XXB系统作为核心的应用系统，具有涉及业务领域多，并发访问量大，累计数据量大等特点。而且随着市场的变化，尤其是在大数据环境下，数据增量明显提高。而用户对性能的要求也进一步提高，给系统性能优化带来新的挑战。分析在业务人员的大力度支持下，全面了解系统的业务特点，性能瓶颈。发现业务高峰...

2019-04-10 17:11:48 1987

原创复杂SQL优化

SQL：select * from (select distinct action_Type_Name as actionName, toRZ, custName, ...

2019-04-03 15:29:52 1418

原创遇到BITMAP CONVERSION TO ROWIDS 后解决与思考

今天遇到一个案例，有点价值写下来，以后多看看SQL：select t.order_id, t.spec_name, t.staff_code, t.staff_code as xxbStaffCode, t.channel_id as xxbChannelId, t.area_code, t.create_time, t.id_card fr...

2019-03-26 17:27:14 1004

原创 SQL 大量消耗TEMP问题诊断分析，以及如何解决，

年纪大了，废话不多了，直接说问题。【oracle大查询】 SLZX一库，ankole 采样的SQLID:6wdj1qr22jdrx,在2019/2/11 9:23:28 消耗近24G TEMP 该文针对刁钻问题 ,如根本原因是什么？之前为什么不出现？如何做最根本解决，而且成本还要最少。以后防止以后再出现类似的问题，诊断分析的过程，思路不写了，但是从我的报告中，也应该能联想...

2019-02-14 16:04:14 813

原创 SQL瓶颈分析，以及适应最佳执行计划的探讨

年纪大了，慢慢的写技术文档也不皮了。一五一十的说说清楚，问题是什么，解决方案又是什么。中规中矩的写。 SQL_ID: 1m6akd1s2144u, 执行成本： 40万次/h 3000逻辑读/次。TOP10SQL的问题类似，现在分析优化d4wcdsskp0f47d4wcdsskp0f47 SQL和这个SQL类似。SELECT * FROM (SELECT XX....

2019-01-18 21:04:55 426

原创 2018年精彩优化系统的总结

WXSJJS数据优化WXSJJS数据库整体情况看其CPU压力都很小，及时业务高峰期，CPU使用率也不高。压力表现在IO上面高峰期300M/S，通过压力高峰期观察发现离散IO，顺序IO压力都比较大。经过分析主要压力来源于业务执行的SQL。分析多份AWR报告发现核心业务需要大量建立临时表，大部分临时表的名称也是随机的。而用analysis方法收集统计信息的，其...

2019-01-17 11:53:24 308

原创 SQL 改写，优化SQL

我一直以为会写SQL，是最实在的基础，会写SQL了，才会优化SQL，会优化SQL，才知道怎么设计表结构，进而设计更加精妙的业务类型，业务类型就大致知道IO的大致规律。从而知道更加复杂的架构模型。好了废话不多说：上SQL； SQL老复杂了，我也是耐得住寂寞看下来的。也不知道哪位大师，大神，大拿，大爷写的SQL：SELECT MR_MODE_CODE MODE_CODE, ...

2018-11-29 21:07:02 1166

原创分页SQL优化之一

简单优化。SQL_ID:ads09ymdgr597 业务高峰期 21万逻辑读/次业务高峰期逻辑读TOP1该次优化发现在数据库中一个SQL多个执行计划，是否有特别低效的拉大平均值？单次21万其实不算太多。select * from table(dbms_xplan.display('ads09ymdgr597',null)); 就一个执行计划。那证明就搞这个得了。话不多说：SQL...

2018-11-15 13:40:23 1832

原创 SQL优化纪念，3小时跑不完的SQl，优化到3S。

优化SQL，起码需要看到瓶颈，针对瓶颈做对应的措施。今天帮同事优化SQL，insert 跑不动，我当时心里一想insert 被阻塞了？于是心中想起insert 被阻塞的情况， insert 共享行排他锁，和这个冲突多种情况，比如表中有主键，唯一索引等， insert 一条数据不提交，其他session insert 数据就被阻塞。当然这个还有其他情况，我也遇到过几种，以后慢...

2018-08-08 18:20:44 1280

原创设置统计信息优化案例

目前看到好多DBA优化时候，都是慢了咋办？答曰首先收集统计信息然后再.....。这个答案不是很准确，我一直认为是先分析出性能瓶颈的地方，然后针对性的做调整措施。今天这个案例就是统计信息最新，但是执行的还是慢。另外这个案例可以延伸出如何在线上迅速改变SQL的执行计划，如果SQl的执行计划不稳定，如何固定。hash ，NL 关联适用条件等等... 知识点有点多。。。慢慢看吧，想...

2018-06-20 12:20:02 515 1

原创 PLSQL性能优化案例 36h-30分钟

今天在加班中，本身五一准备钓鱼去的，我仿佛听到鲤鱼妹妹欢乐的笑声。加班归加班，但是活并不多，我负责后期数据库调优，数据关联的。其他公司抽取数据进度不行，听到的回答只是，现在再抽，没有报错，目前抽了多少不知道，速度不知道。什么时候抽完不知道，方案B没有，二线没有。这够无语的。后期他们一张560G的大表，抽取进度 206M/分钟。而且还是我帮他们评估出来的。肯定不行，于是换方案...

2018-04-30 14:31:31 923

原创 SQL语句优化，看到性能瓶颈。

春日东风，拂面无寒。油菜花香，微风拂过泛起点点菜想。每年此时哥应该在湖边，望着悠悠水草，阵阵涟漪之中的浮漂。点点动作，便是激动上鱼时刻的前奏。时间如水流飞逝，却百无聊赖。都会想到我是谁，我干什么的。就在那时说说一个SQl优化吧。INSERT INTO INST.A_CARD_NUMBER_BLACKLIST SELECT O.PARTY_ID, O...

2018-04-03 12:51:37 889

原创看一眼就能优化的SQL，而且还能秒杀，是需要纪念下的。

好久没有写博客了， 2017已经过去，总结这一年主要做SQL优化了，那好吧，写一个印象比较深刻的写下吧。其实SQl优化就那么回事，开发看起来，很神奇，简单动动几笔，SQl速度提升几倍，十几倍。好吧，我对这个案例尤为深刻，效率提升 2万倍。。。。。所以这一年中比较深刻的， SQL： SELECT COUNT(*) FROM V_ZZS_QB_DKL...

2018-01-23 16:01:02 482

原创经典SQL改写案例

好久没有写博客了，今天遇到经典案例，经典思想碰撞。不得不写博客纪念。我一直认为SQL 不牛逼，做不了好的表模型，数据模型，业务模型设计，而往往好的架构设计就体现在好的业务数据模型中。 SQL： SELECT COUNT(*) FROM JBPM_TASKINSTANCE T JOIN JBPM_PROCESSINSTANCE PI ON T.

2017-03-15 20:32:56 1856 2

原创连续数据，顺序编号

好久没有写博客了，今天需要一个特殊的案例，简单纪念简单上图说明需求，图1 种如果数据连续，则根据开头标记顺序。这种需求一般更具上一条数据状态判断下一条数据，打上标记后，然后对应各个标记分组，最后合并排序。合并时候注意数据的原始顺序即可，我开始写的时候，没有注意，特别提醒一下自己没啥好说的上SQL： with t

2017-03-03 13:03:22 888

原创秒杀SQL 之分页语句 count 优化

今天碰到一SQL，感觉典型的优化，好久没有遇到怎么好的案例了，简单记录之中午和朋友们交流SQL，感觉交流SQL属于比较难的了，像在OLAP系统中报表里面常用的。突然以女DBA发来一个SQL，外话，这个女DBA 大有来头。 OCM级别，公司更是牛逼！ SELECT COUNT(*) FROM (SELECT DISTINCT t1.ID,

2017-01-18 21:11:13 2562 5

原创 12C 怪异问题，第一次查询快，以后查询慢

2016年过去了，简单回顾，这一年中oracle应用级别优化，有了基本套路，简单概述下，1 根据业务需求，数据生命周期抽象出数据模型，数据按周期全自动化管理。2 各种分离，读写分离，数据量分离，负载分离。并发分离或者说压力分离。 3 数据暴增场景下，更加精密的分区规划，替代索引。防止产生过渡的数据碎片，挤压磁盘空间和性能空间。 4 整合数据加载，清洗

2017-01-15 14:37:28 3913 1

原创在线重定义19G表，转化为组合分区表。应用无需停止。

Oracle 高可用特性，想必大家都知道。这里我想记录一次工作中的小小尝试。在线重定义19G表转化为二级分区表系统中表 ST_MNTR_BUS_ORDER_SUM3 现在按照list 分区，改成组合分区，原来的数据堆积起来有4 5 个月的数据共19G。查询很多过期数据于是性能问题出现。自动化清空大批过期数据，数据量始终可控。我感

2016-12-09 11:56:13 422

原创记一次优化，纠正SQ的L执行计划优化

SELECT a.id AS order_id ,b.s_id AS bill_id, d.id AS sub_order_id, d.deal_oper_id FROM EM_ORDER PARTITION(EM_ORDER_201611) A, M_101_ID_2_GID B, ER_ORDER_ORDER

2016-11-23 23:35:53 629

原创 oracle11g 参数调整优化 Cursor_sharing

好久木有碰到好的例子优化了，今天遇到一个问题绝对值得一写, 因为包括真实执行计划，与explan plan for , 执行计划差异，是否需要使用绑定变量等背景：电信， oracle11g no rac， olap+oltp 混合特性性能。SQL： select * from tabt t where t.id = XXXXXXX

2016-10-25 22:14:23 5218

转载 online rebulid index 异常终止遇到ora-08104

create index idx_p_merchant_detail_id on D_ORDER_DETAIL (merchant_detail_id) Online;创建好长时间，没有反映；然后取消，结果删除索引的时候，报如下的错误：错误：ORA-08104: this index object 67420 is being online built or rebu

2016-09-26 14:36:27 386

原创表模型改造

最近遇到表改造问题，发表文章纪念之表模型设计感觉一项技术活，满足不可预见的功能添加，不可能添加一个字段，整个项目代码换血。其次性能要求，起码保证业务常态，和高峰状态下性能平稳。最牛逼的是满足性能的可线性扩张。废话不说，上干货。现在的业务，大概在每 20分钟左右到一批数据，到达数据后做

2016-07-07 11:08:21 381

原创更新组合值

好久没有静下心来写东西了, 1 是没有遇到好的案例 2 是最近好像有点忙，但又有点不知道自己在忙啥的感觉一样。强制自己静下心写东西，但这时候又觉得自己啰嗦，阐述点东西说了很多，又不知道自己在说什么。好了废话不说上正题开发需要支持一个 SQL，现有逻辑是更新 A表 name 字段，需要通过ＩＤ关联B表。然后把B的name，赋值给A表的

2016-06-08 20:49:03 574

原创改写SQL优化SQL

好久没有写博客了，主要是因为实际工作中没有遇到有价值的案例。但是不写吧，总觉得惦记着什么，略记.... 今天审核的SQL有几个问题，程序员写的SQL，可能不注重效率，我想这个是很多DBA 深有感悟的，很多SQL 其实只要稍微改写下，会得到很多的惊喜。废话不多说上SQL优化SQL，很多人一拿到SQL 就看执行计划。

2016-04-06 22:08:33 454

原创一次关于临时表优化表

现在手头的系统，已经优化了近4 个月了。其中效果还是很显著的。如果一个系统中 SQL 70， 80 ， 90， 100， 200， 300 分钟的SQL 一天有 4 ，50 个现在搞得没有超过10 分钟的，系统性能能不提升不？？？之前和项目经理吹牛，说怎么系统中有很多临时表？？这个性能无法保证的，主要保证其执行计划。项目经理：“

2016-03-13 21:47:26 306

原创 oracle 死锁问题

最近工作中遇到死锁问题。 oracle 中遇到死锁的概率很小，反正我遇到的都是程序设计不合理，或者我特意制造的死锁。简单说下，工作中的死锁问题是， oracle 死锁是由于，外键没有加索引导致的，因为我删除时都要对主表全表扫描，而且我的主表还很大，我清楚的记得是没删除一行，都要做一次全表扫描。死锁问题就在此时

2016-02-24 21:07:13 448

原创不等值标量子查询改写

做优化最怕遇到标量子查询了，看到SQL 中有标量子查询，执行计划都不用看，直接干掉标量子查询。我再做优化过程中一看到标量肯定第一步就搞掉标量。大多数情况下遇到的是等值修改，基本上都改掉了，这下好了，遇到不等值标量了。这下怎么改?? 废话不多说了上SQL：select om.order_state,

2016-01-18 20:24:54 479

原创 2016 目标！！

人在职场上面混总得有目标。我也有，但此时特别强烈。转眼2015年过了，到了2016年。 2015年有苦有甜。---- 写给奋斗路上的自我，我至今记得 2015年最大的痛苦，到一个公司说好的是做DBA 的，结果硬生生的给做 j2ee 了，回头想想，想来想去还是没有想到自己的问题，后来我做了个笑话的比方，比如我说我是

2016-01-17 21:39:48 347

原创 SQL 改写 max decode 联合应用

好久没有写博客了，主要是感觉没有找到有价值的东西分享。今天恰巧遇到一个。于是记录下来，或许以后看看的。废话不说上SQL。 select distinct A.pso_id, c.value value1, case when e.value='0' then 1 else 0 end va

2015-12-11 20:33:00 1229

原创保障执行计划正确

现在项目中经常出现有的时候 SQL跑的很快，有时候确像蜗牛。。我当时觉得奇怪，为啥哥优化好了一个SQL，怎么又慢的？？于是哥开始反思，这个哥的第一反应是统计信息导致的问题。统计信息把rows 算的错误的太离谱了。导致本来走hash 的走了 NL。于是哥找出SQl，看了下执行计划，果然 /*1 Plan hash value

2015-11-30 23:36:23 279

原创一周优化总结

这一周在搞oracle 性能优化。哥记得哥刚刚接手这个项目时候，发现有SQL 居然跑出了400 多分钟的时间，200，100 ， 70 多分钟，很多的，南京分区的一个什么流程跑了 7， 8 个小时。于是哥开始着手优化。其实我做优化心里自然是要一把尺子的，首先看系统数据量， dba_segements 这个表，大致是什么表最大等等.... 。再看

2015-11-27 23:06:51 359

原创分页SQL的优化。秒杀了。。。。

目前项目组中的分页语句，存在很大问题，按照道理来说分页语句首页都不会很慢的。结果应该是秒出的。但我们项目组中的分页，哥首次优化时候，出现35S，这个肯定不行的。 SQL 涉及到保密问题，简写select b.* from (select rownum as r, a.* from (select smzor.A

2015-11-19 23:15:04 511

原创 SQL优化工作, 不能太激动。记录失败的优化经历，优化从 70分钟优化到 30秒，再到1s但还是失败了

今天思前想后还是把一次失败的优化经历写下来吧，防止以后再犯同样的错误。以后谨记教训。哎，其实还差一点就到达我想要的效果了。 update st_mntr_bus_inteorder_oc a set a.unreach = 1 where arch_flag = 0 and parent_tache_id = 2017

2015-11-12 22:55:10 393

原创优化表空间扩展过于频繁 insert select 性能

在项目组中发现 SQL insert into ST_MNTR_RM_INTEORDER_OC partition(P_NJ)-----127s ( *****) select ****** from tmp_ST_MNTR_RM_INTEORDER_OC where LOCAL_AREA_ID = 3;

2015-11-04 20:12:20 852

原创关机后数据库启动错误

后悔不已，电脑非正常关机。数据库启动出错。先是监听出错，后来是没有权限连接，后来又是数据库不可用，再后来是通信文件结束，后来又是 ORA-01034: ORACLE not available ORA-27101，连接到空闲例程。一大堆SQL> startup nomount;ORACLE 例程已经启动。Total System Global Area 148649

2015-11-03 00:15:02 588

原创建分区表索引优化SQL

SQL 优化的分类早就有了，就是碰不到优化的典型例子，今天遇到一个....... 页面上面的SQL ： select count(*) from taba.npai, dm_area da where npai.local_area_id = 3 and npai.area_id = da.area_id 第一次跑 65s 让人忍受不了

2015-10-27 00:11:04 433

原创 SQL编程题数据库开发工程师

阿里几乎所有的订单系统的排名都会参考成交量（交易成功）这个指标，因此很多卖家为了使自己的排名靠前，不惜利用刷单行为来提高自己的排名（即虚假成交），如果现在发现虚假刷单的特征其中一点：即低vip_level，买家的vip_level给出下面3张表，卖家表 sellers (seller_id, create_time, vip_level),其中seller_id是买家用户id,

2015-10-23 17:56:50 1729

转载程序员到底怎么了如何成为一个合格的程序员

我们是这样的一群人：每天都在“努力”的工作着，每天都和计算机打交道，泡在网上，打游戏，查资料，发微博。可是有一天，突然意识到，我们的未来在哪里，每个月那点可怜的工资，一年加起来也买不了几平米，找个女朋友也那么难，即使找到了，她还总是跟你说，为什么别人挣的都比你多，你每天不停的写着代码，每天不停的掉头发，每天都在发呆的想那“不远”的未来。　　他们管我们叫“码农”，我们管自己叫“程序员”

2015-10-13 11:33:25 379

flex 小节.rar

flex转化成web项目需要的架包和文件

flex 开发实用文档

空空如也