- 博客(30)
- 收藏
- 关注
RSS订阅
转载 【好文搬运】Inmon vs Kimball：DW 2.0
转自http://doc.guandang.net/b1eac0ccec04fad12371e3c39.html随着拉尔夫·金博尔（Ralph Kimball）博士出版了他的第一本书“The DataWarehouse”（《数据仓库工具箱》），数据仓库行业就开始喧哗起来，恩门的“Building the Data”主张建立数据仓库时采用自上而下（DWDM）方式，以第3范式进行数据仓库模型设计，...
2019-01-10 13:51:13
1080
转载 Informatica元数据
（一） Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。 Informatica通过表和视图给我们提供着所有的信息，在此将通过一个系列的帖子，将大部分常见的，且非常有用的表及视图介绍一下。基于这
2018-01-19 15:04:13
885
原创 AWS Resource Groups & Tag Editor
AWS Resource Groups & Tag Editor资源组两种创建方式：通过“保存的资源组”来查看和管理已有的所有资源组。什么时候使用资源组：标签Tag Editor标签策略 相关服务：AWS Organizations <超链接>资源组两种创建方式：控制台 Step1. 根据资源类型和标签，筛选AWS资源 Step2. 输入
2021-04-19 14:44:44
403
原创 Amazon Kinesis：实时收集、处理和分析视频和数据流。
KinesisKinesis Data Streams1.Kinesis Data FirehoseKinesis Data Analytics适用于 Microsoft Windows 的 Amazon Kinesis AgentKinesis Data Streams1.Kinesis Data FirehoseKinesis Data Analytics适用于 Microsoft Windows 的 Amazon Kinesis Agent
2020-10-13 14:55:21
1302
转载 Oracle CDC简介及设置实例
[转] https://blog.csdn.net/l19901215/article/details/56296622一、增量数据采集概述 数据采集通常是指ETL过程中Extract-数据抽取部分。除了ETL外在不同应用系统之间通常也需要传递数据，在某些环境条件限制下不能将数据从一个系统直接移到另一个系统，只能借助文本来作为中间媒介传递数据，且文本的生成有时间窗口的限制，所以对数据采集即数据...
2019-07-19 17:28:13
11507
2
原创 ORACLE时间函数
SYSDATE：返回系统时间select sysdate from dual;CURRENT_DATE：返回会话的时区中的系统日期（可以自己设置会话的时区，以区别于数据库时区）select current_date from dual;SYSTIMESTAMP：返回TIMESTAMP格式的系统时间TIMESTAMP格式是时间戳，可精确到十亿分之一秒，默认精确到0.000001秒。s...
2019-04-16 23:54:26
14319
原创 一图流解释(not) exists用法及执行逻辑
假设有这样一个需求：检索出学过001号教师所讲的所有课程的同学。表结构及数据见图。该需求的语义可以转换为：检索出这样的同学：不存在一门001号教师讲的课程：该同学没学过。SQL语句：注意这里有2层子查询select sno 学号, name 姓名, sex 性别, age 年龄, dno 学院, c...
2019-04-16 00:28:55
2848
转载 存储过程中的异常处理
转自：https://www.cnblogs.com/littlewu/p/8623956.html预定义异常：为了 Oracle 开发和维护的方便，在 Oracle 异常中，为常见的异常码定义了对应的异常名称，称为预定义异常，常见的预定义异常有：异常名称异常码描述DUP_VAL_ON_INDEXORA-00001试图向唯一索引列插入重复值INVALID_CU...
2019-04-09 23:57:16
11129
2
转载 in / exists / not in /not exists 的关系和区别
【转自】：https://www.cnblogs.com/liyasong 表展示 首先，查询中涉及到的两个表，一个user和一个order表，具体表的内容如下： user表： order表： in 确定给定的值是否与子查询或列表中的值相匹配。in在查询的时候，首先查询子查询的表，然后将内表和外表做一个笛卡尔积，然后按照条件进...
2019-04-03 11:00:28
124
原创 Informatica笔记
问题描述：工作流中通过command组件更新参数文件，某天发现该文件不更新了。问题原因：当时做过应急抽取，将该文件备份后进行了修改，抽取完成后再将备份的文件还原回来。使用cp命令生成的备份文件的权限是默认值755，而原文件的权限为775。这样通过mv命令将原文件覆盖掉之后，权限变成了755，缺少了同组用户的写权限，导致写入失败。Tips：如果涉及到参数文件等的复制和替换操作，要注意权限问题...
2019-01-14 17:03:59
799
转载 Linux系统下Too many open files错误的分析解决
转自[https://blog.csdn.net/lkforce/article/details/80710459?from=groupmessage$isappinstalled=0] 今天某个服务的日志中出现了大量的异常：[WARN ] 2018-06-15 16:55:20,831 --New I/O server boss #1 ([id: 0x55007...
2019-01-14 16:51:39
2041
原创 【Kimball】维度建模基础-不该做的12件事
以下注意事项按照重要性相反顺序排列，但即便是前面的错误也会导致严重后果。 错误12：将文本属性留在事实表中。 创建维度模型实际上是将数值测量和描述性文本属性分别放在事实表和维度表中的过程。针对某个测量操作，首先将数值测量归入事实表中，然后将测量的上下文中的描述性文本属性归入维度表中，最后，要对残留的代码和伪数值项逐一判断，应该属于事实表还是维度表。这个过程中可能会错误地将描述性文本纳入事实...
2018-09-04 17:58:09
3355
转载 字符集和编码的发展历程，深入浅出
转自http://www.cnblogs.com/uuhua/archive/2010/06/15/1758552.html，侵删。很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为”字节”。 再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这...
2018-07-30 17:21:47
1123
1
转载 Oracle体系结构
数据库（Database）数据库是一个数据的集合，不仅是指物理上的数据，也指物理、存储及进程对象的一个组合。Oracle是一个基于B/S模式的关系型数据库管理系统（RDBMS）。Oracle系统体系结构由三部分组成：逻辑结构、物理结构和实例。一、Oracle的逻辑结构Oracle的逻辑结构是一种层次结构。主要由：表空间、段、区和数据块等概念组成。逻辑结构是面向用户的...
2018-04-16 17:27:08
135
转载 ODS简介
什么是ODS操作数据存储ODS（OperationalData Store）是数据仓库体系结构中的一个可选部分，由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。ODS设计与DW设计在着眼点上有所不同，ODS重点考虑业务系统数据是什么样子的，关系如何，在业务流程处理的哪个环节，以及数据抽取接口等问题。ODS是一个将面向主题的，动态增长的，非实时的，消除了原
2018-01-18 16:43:07
6422
原创 BI学习笔记
一、概述 商业智能项目最重要的就是解决各个业务系统间数据整合的问题，消除信息孤岛，为企业管理人员提供统一的数据查询和报表展示功能，能够进行多维度的数据分析和数据挖掘，对企业发展起到指导作用。1.商业智能的实施方法： １）项目规划：前期准备、调研、分析等工作，逻辑模型的设计等。 ２）系统设计与实现：系统体系结构、数据库、ETL的设计，前端应用的开发，元数据管理等。 ３...
2018-01-18 16:39:11
2228
转载 Informatica Update机制详解
转自：http://informatica.iblog.com/post/3070/381606Informatica 作为ETL工具，Update是其很重要的一个特性。也正因为如此，我们会发现在Informatica工具的很多地方都会有Update的相关设置，许多时候给大家都造成了很大的迷惑，不知道谁先谁后，谁的优先级高，或者具体的作用是什么，希望能借此文给大家一个清晰的概念。
2018-01-08 15:07:05
626
原创 Oracle数据库-触发器
概述 触发器用来定义与数据库有关的某个事件发生时，数据库将要执行的操作。例如执行Insert、Update和Delete等命令，或者一些DDL命令和数据库事件(如关闭和登录)时，可以执行触发器。 *因为触发器具有灵活性，所以可以用来补充参照完整性，但不应用来替代参照完整性。在应用程序中强制实施某些业务规则时，首先应依赖Oracle声明的参照完整性，然后才用触发器来强制实施不能通过参...
2017-12-28 16:05:45
1196
原创 Oracle数据库-过程、函数与包
Create Procedure语法CREATE [OR REPLACE] PROCEDURE [schema.] procedure[(argument [IN|OUT|IN OUT] [NOCOPY] datatype [,argument [IN|OUT|IN OUT] [NOCOPY] datatype]...)][AUTHID{CURRENT_USER|DEFINER}...
2017-10-18 13:11:18
435
转载 Oracle数据库-SQL查询优化示例
转自：http://www.2cto.com/database/201301/181269.html 支持原创介绍了一些SQL查询的优化方法
2017-10-18 13:02:26
231
原创 Oracle数据库-索引
为什么需要索引 索引是定义在存储表基础之上，有助于无需检查所有记录而快速定位所需记录的一种辅助存储结构，由一系列存储在磁盘上的索引项(index entries)组成，每个索引项又由两部分构成： 索引字段：由Table中某些列（通常是一列）中的值串接而成，索引中通常存储了索引字段的每一个值（也有例外）。索引字段类似于词典中的词条。 行指针：指向Table中包含索引字段值的记录在磁盘上的存储
2017-10-18 11:06:27
291
转载 ETL过程中的优化（数据库）
转载自：http://blog.csdn.net/yuewumian/article/details/65736641.引言 数据仓库建设中的ETL(Extract, Transform, Load)是数据抽取、转换和装载到模型的过程，整个过程基本是通过控制用SQL语句编写的存储过程和函数的方式来实现对数据的直接操作，SQL语句的效率将直接影响到数据仓库后台的性能。 目前，国内的大...
2017-10-17 19:27:25
884
原创 Oracle数据库-并发控制
为什么要进行并发控制三种典型的由并发事务引起的数据不一致现象：1.丢失修改： 以购票为例，一次购票过程中，剩余票数这个字段需要被读取，更新（x=x-1)，写入。两个人A、B同时购票，B在A写入新的票数之前读取了票数，则读取的值和A的一样，B和A最终写入的都是同一个值，因此系统售出了2张票，而剩余票数字段只减了1，丢失了一次修改结果。 2.不可重复读： 是指在数据库访问中，...
2017-10-17 13:17:08
3054
原创 依赖注入（DI）
本文首先引入了控制反转（IoC）的概念，然后进一步介绍了依赖注入的概念。控制反转和依赖注入对于初学者来说是两个晦涩的概念，主要是因为这两个中文名词对初学者来说不友好，本文解释了两个词的本质，希望对初学者有所帮助。
2017-09-21 10:09:34
741
原创 Tomcat简介
介绍了Tomcat是什么、Tomcat的历史、简单说明了Tomcat和Apache服务器的关系、最后介绍了Tomcat的目录结构、web应用如何配置到Tomcat服务器以及IntelliJ IDEA中配置Tomcat的方法。
2017-09-20 15:12:51
9932
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人