- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 数据中台(七) 数据中台架构
总体架构图数据存储计算引擎数据汇聚数据汇聚是把数据资源通过实时、批量的方式存储到数据中台。基本是按照数据的原始状态堆砌在一起的，是企业对过往所有IT信息化建设积累的成果的融合。数据开发数据开发是数据资产内容建设的主战场，是数据价值生产过程中核心环节。数据资源是原材料，数据资产是商品，数据开发就是商品生产流水线，通过这条流水线将数据资源转换成数据资产。为了降低开发难度，提高开发效率，需要一个可视化的开发平台，主要包括以下产品功能：数据体系数据体系是在
2020-09-30 15:21:19
14617
2
原创 数据中台(六) 应用服务规划
数据应用规划数据应用是产生业务价值的最后一个环节，也是所有业务人员和技术人员关注的焦点。在建设数据中台之前对可能开展的数据应用进行相对系统的规划。数据应用分类数据应用规划步骤数据服务规划数据服务是对数据进行计算逻辑的封装，生产API服务，上层数据应用可以对接数据服务API，让数据快速应用到业务场景中。数据服务作为数据中台实现资产服务化的核心能力，是连接前台业务和数据的桥梁，通过服务接口的方式快速、灵活地满足上层应用的需求。数据服务分类数据服务的核心价值..
2020-09-22 15:45:49
1723
原创 数据中台(五) 现状梳理
数据中台有了组织保障之后，首先要做的是对企业现状有个全盘的认知。主要包括4个阶段。系列文章提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智...
2020-09-22 11:37:27
2462
1
原创 数据中台(四) 组织规划
组织规划步骤数据中台是企业级战略，支撑企业数字化转型，涉及企业的方方面面，数据中台的战略的执行必然需要企业组织的保障，组织规划可以从这五方面进行展开。一、制定战略规划启动数据中台一定要有战略规划，首先它是“一把手工程”，只有企业的一把手才有这种推力来推动数据中台的建设。数据中台的目标是实现企业经营的数据化，精细化，智能化，本质是建设一套可持续让企业数据用起来的机制。需要相应的组织、制度、流程、资源的保障。二、完善组织结构数据中台的组织架构主要由数据资产管理委员会、数据资产管理中心和各
2020-09-21 21:25:32
2561
原创 数据中台(三) 数据中台概述
数据中台的定义数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。数据中台的使命就是持续让数据用起来，它的一个根本性创新就是把“数据资产”作为一个基础要素独立出来，让成为资产的数据作为生产资料融入业务价值创造过程，持续产生价值，业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。数据中台的核心能力数据中台帮助企业实现数据的汇聚整合，.
2020-09-21 18:11:51
5318
原创 数据中台(二) 企业数字化转型
数字化时代人类历史经历了四次工业革命，随着互联网的兴起，特别是云计算、大数据、移动互联网、人工智能、物联网等科技和产业的发展，人类迈入数字化时代。数字经济是基于新一代信息技术，孕育全新的商业模式和经济活动，并对传统经济进行渗透和转型升级，数字经济不仅是对原有经济体系的补充和融合，更是从底层进行的深刻变革，重塑全球经济愿景。数字经济正在席卷全球，正在成为国家的核心竞争力，全球经济向数字化转型和迁移已经是必然趋势。数字化转型的概念数字化转型利用数字化技术（例如云计算、大数据、人工智能、物联网、区块链
2020-09-21 15:44:43
1851
原创 数据中台(一) 数据的定义
数据的发展史人类数据的起源于计数工具，早于文字的出现，公元前18000年，在非洲的斯威士兰发现的列彭波骨（Lebombo Bone）和在刚果发现的伊尚戈骨（Ishango Bone）是迄今为止知道的最早的计数工具，距今已有数万年的历史了。数据的定义数据的特征数据按性质可以分为数据、信息和知识的关系信息是数据的含义，数据经过加工处理之后，就成为信息。数据与信息是形与质的关系，数据是信息的载体，而信息需要经过数字化转变成数据才能存储和传输。知识来源于信息，知识是对..
2020-09-21 11:49:25
2693
1
原创 数据中台(八) 数据建设
数仓层建设统一数仓层站在业务的视角，不考虑业务系统流程，从业务完整性的角度重新组织数据，统一数仓层的目标是建设一套覆盖全域、全历史的企业数据体系，利用这套数据体系可以还原企业任意时刻的业务运转状态。数仓建设步骤一、pandas是什么？二、使用步骤1.引入库2.读入数据总结系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右..
2020-11-12 13:36:10
3059
4
原创 数据仓库(七)之作业调度篇
概述随着数据仓库的开发，ETL作业会越来越多，怎么把这些作业有序的运行起来，就需要一个健壮的调度系统来保证数据能够准确、及时的提供给BI应用程序。调度系统设计目标 调度系统架构 ETL作业数据仓库的ETL作业可能不至一种，需要把各种作业再次进行封装，...
2020-04-24 12:08:34
3765
3
原创 python实现数据仓库的自动化开发
概述前面讲了基于元数据驱动数据仓库的开发，使数据仓库自动化，可视化。这篇讲用python来实现数仓的自动化开发 ,前提是你已经完成了需求调研和数据剖析，开始进行数据建模。自动化程序的流程如下：由于没有开发前端建模页面，需要把ods、edw、dm层建模元数据导入到元数据库里。 把每层的转换查询脚本导入元数据库。 把源库表的元数据信息通过python加载到元数据库里。 跟据建表模板自动生成...
2019-07-12 17:28:54
5777
4
原创 数仓可视化，低代码开发平台
概述在数据仓库建设中，特别是在多个开发人员的过程中，经常会遇到以下问题： 是不是可以建一个数据仓库平台，把开发流程、规范、标准进行统一管理，基于元数据驱动的自动化、可视化的平台。平台架构 ...
2019-05-21 19:06:00
6408
原创 数据仓库(六)之数据质量篇
概述 数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动，运用质量管理技术度量、评估、改进和保证数据的恰当使用。 数据质量维度 ...
2018-09-26 23:04:51
32109
7
原创 数据仓库(五)元数据管理
概述 元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构，操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期，使用元数据驱动数据仓库的开发，使数据仓库自动化，可视化。 元数据类型 1.业务元数据 业务元数据指从业务角度描述业务...
2018-09-20 21:47:03
28895
3
原创 数据仓库(四)之ETL开发
概述 ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。 分层的作用 STG层 在维度建模阶段已经确定了源系统，而且对源系统进行了...
2018-09-16 22:56:08
51410
2
原创 数据仓库(三)之架构篇
概述 架构是数据仓库建设的总体规划，从整体视角描述了解决方案的高层模型，描述了各个子系统的功能以及关系，描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么，架构就是回答怎么做的问题。 架构的价值 数据仓库架构 数据仓库的核心功能从源系统抽取数据，通过...
2018-09-13 21:54:18
36034
5
原创 数据仓库(二)之维度建模篇
概述 维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三范式，以消除数据冗余为目标的设计技术。维度建模是面向分析，为了提高查询性能可以增加数据冗余，反规范化的设计技术。 维度建模优点 ...
2018-09-12 22:29:28
66313
20
原创 数据仓库(一)之需求篇
概述 业务需求定义了企业的业务人员为了完成其工作，进而实现企业目标，一定要具备的东西。包括功能性需求和提供的服务。它是数据仓库的核心，从广度和深度上做好需求调研为数据仓库建设建立良好的开端。 需求分类 需求调研步骤...
2018-09-12 21:24:44
15846
14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人