NorthEast_吴皓-CSDN博客

原创 oceanbase导入csv文件异常

iconv -f GBK -t utf-8 表名.scv -o 新生成文件名将字符集由GBK改为utf-8重新生成文件file.txt,再讲file.txt重命名回原来的文件名iconv -f GBK -t utf-8 表名.scv >file.txtmv file.txt 表名.csvcat 表名.csv 数据显示正常不乱码...

2022-04-19 12:16:58 581

目录1. ODS 数据准备层2. DWD 数据明细层3. DW(B/S) 数据汇总层4. DM 数据集市层5. ST 数据应用层解码OneData，阿里的数仓之路1. ODS 数据准备层功能：ODS层是数据仓库准备区，为DWD层提供基础原始数据，可减少对业务系统的影响建模方式及原则：从业务系统增量抽取、保留时间由业务需求决定、可分表进行周期存储、数据不做清洗转换与业务系统数据模型保持一致、按主题逻辑划分2. DWD 数据明细层功能：为DW层提供来源明细

2022-04-19 12:06:07 582

原创 hadoop ha 配置后namenode格式化失败

错误情况参照官方文档配置，出现此错误优先看配置文件是否准确配置查看配置文件hdfs-site.xml，修改为英文逗号

2022-04-19 12:05:45 626

原创 oracle自关联

自关联脚本留备忘Drop Table TBL80064;CREATE TABLE TBL80064(UNIT_CODE VARCHAR2(20) NOT NULL ,ITEM_CODE VARCHAR2(20) NOT NULL ,SHOP_CODE VARCHAR2(7) NOT NULL ,RECEIPT_RATE_CODE NUMBER(5) ,COMBINED_SHOP_...

2022-04-19 12:04:49 634

转载 regexp_substr

写的很详细，留下来以后使用，原文出处。原文链接：https://blog.csdn.net/a720561252803/article/details/90487187regexp_substr与层次查询结合使用，生成特定行Select REGEXP_SUBSTR('COL,CLO1,COL2', '[^,]+', 1, level) aFROM DUALCONNECT BY level <= LENGTH('COL,CLO1,COL2') - LENGTH(REGEXP_...

2022-04-19 12:04:18 12891 1

转载数据调研提纲

数据现状调研提纲1.目前主要有几类数据？从什么平台产生？分别是什么存储介质？各类数据的数据量级？2.基础数据的现状对于跨业务系统的基础数据（人员信息、产品信息等）是否有主数据系统进行管理 or 分散在不同的业务系统各自维护？3.是否有管理数据的部门或团队？数据管理的模式？有部门统一管理还是分散在不同的部门或不同的业务系统手里？如果有对数据进行集中管理，是否有统一的规范？各个数据的来源是否有较好的数据字典文档？4.数据的质量是否对企业目前各个来源的数据质量进行过探测或稽核？如果有，

2022-04-19 12:03:25 932

原创 kettle连接sqlserver报错

kettle连接数据库一直报错，启动错误可以尝试调整指定jdk尝试调小这两个值的默认值

2022-04-19 12:03:05 1066 1

原创 dbeaver连接oceanbase备忘

dbeaver连接oceanbase配置方法

2022-04-19 12:00:15 2429

原创 OceanBase分区

添加表，字段注释comment ontable表名 is '注释';comment on column表名.字段名 is '注释';修改索引名称将SC表的SCno索引改为SCsno:ALTER INDEX SCno RENAME TO SCSno;查看所有约束select * from all_constraints...

2022-03-30 17:06:49 1199

原创 datax安装记录备忘

1.下载datax2.上传datax至数据库服务器3.解压：tar -zxvf datax.tar.gz -C /home/soft/4.查看java，python 环境Python –VJava -version5.下载Maven安装包，然后进行解压缩操作wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bi...

2022-02-18 20:21:36 594

原创 mysql定时任务

最近接到了个新的工作任务，涉及mysql定时任务做个记录备忘每天11天执行dev_total过程输入时间参数为昨天例：2021-12-21 11:00:00执行dev_total过程输入时间参数为2021-12-20CREATE EVENT IF NOT EXISTS temp_event on schedule every 1 day STARTS date_add( curdate(),interval 11 hour) ON COMPLETION PRESER...

2021-12-21 10:55:01 528

原创 oracle分析函数

最近开发了统计分析指标，用到分析函数，记录一下，备忘--删除测试表Drop Table test_sum;--创建测试表Create Table test_sum (Id varchar2(10),dt Date,Num Number);--插入测试数据DECLARE V_SQL VARCHAR2(100);BEGIN FOR I IN 1 .. 10 LOOP V_SQL := 'Insert Into test_sum Values('||I ||'...

2021-03-20 12:30:17 131 4

原创 XMLAGG拼接

Select Replace(TO_CHAR('"' || XMLAGG(XMLPARSE(CONTENT T1.COLUMN_NAME ||'","' WELLFORMED)).GETCLOBVAL() || ')') , ',")',' ') As AFROM DBA_TAB_COLUMNS T1WHERE T1.OWNER = 'SCOTT'AND T1.TAB...

2021-03-06 12:31:30 1434 2

原创 oracle临时表

去年的实施中看到有的同事在开发中把中间表落地成物理表，讨论了一番。个人认为测试通过后应该以规范命名临时表的形式形成中间表，不占用空间用完即清理。1.Oracle的临时表分为会话级临时表和事务级临时表2.创建语法分别为会话临时表：CREATE GLOBAL Temporary TABLE TEMPTABLENAMEON COMMIT PRESERVE ROWSASSELECT .....FROM..事务临时表：CREATE GLOBAL Temporary TABLE.

2020-12-17 18:52:12 559

原创 oracle取上行数据进行填充

最近收到一个需求，报表要展示全日期数据，但是表中数据是不全的。实现目标：查询语句：SELECT a ,b ,LAST_VALUE(b IGNORE NULLS) OVER(ORDER BY a) c ,LAST_VALUE(b IGNORE NULLS) OVER(ORDER BY a Rows Between Unbounded Preceding And Current Row) c ...

2020-12-17 18:44:22 1014

原创 PLSQL无客户端连接ORACLE

刚接触oracle时配置环境之类的弄了好久，网上各种搜索各种学习，那时候去官网下客户端，一个客户端英爱是800M左右，这篇文章自己搜索后整理一下备忘使用，如需要可以照做即可配置成功，亲测可行。大致思路就是oracle提供一个基础包，向其中添加自己的数据库环境，将此目录添加至环境变量即可使用plsql连接数据库。oracle 官网下载Instant Client包：https://www.oracle.com/database/technologies/instant-client/downloads.h

2020-07-27 13:50:09 745

原创三言两语 (不定时更)

时光飞逝，岁月如梭生活中不算个善于"言辞"的人，但是又想写点什么记录一下自己的记忆与经历，留给几年后的自己。上学时候从来没想过以后要扎根于哪个行业，要从事什么工作，即使有也不想去深入的想象，计划，刚开头就结束了。可能也不太懂，可能也不成熟，可能眼光太狭隘，也可能自己并不是那种天赋秉异的天才，只是个普通人。三天打鱼两天晒网似乎已成常态，这是随波逐流的人都具有的特性，跟现在的孩子比，确实自己不是那种自信满满的孩子，总想往后退缩，即使有那个能力，也不想去展示，骨子里有一丝自卑，自大的人会拥有本不属于他的机

2020-06-13 09:31:21 146

m0_37513685的博客