自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(104)
  • 资源 (351)
  • 收藏
  • 关注

转载 【数据中台】数据中台的OneID是个什么鬼,主数据它不香吗?

来源:谈数据,作者:石秀峰全文共3188个字,建议阅读6分钟如题!这个问题一直困扰了我很久,在阿里的数据中台中,有三个主要的组成部分OneID、OneData和OneService。我之前写的一篇文章曾对阿里的数据中台做过解读,见《什么是One Data体系?阿里数据中台解读》。在这篇文章中,笔者曾提到OneID的本质就是主数据,只是用的不是传统的主数据管理技术。这篇文章发布后,很多读者朋友给我留言,告诉我OneID和主数据不是一回事,但没有一个人给我讲清楚这两个概念为什么不是一回事。今天我们好好捋一下这个

2022-06-24 08:56:27 1257 1

转载 【OceanBase】OceanBase简介及其与MySQL的比较

OceanBase是阿里巴巴和蚂蚁金服完全自主研发的通用的分布式关系型数据库,定位为商用企业级数据库。OceanBase能提供金融级别的可靠性,目前主要应用用于金融行业,同时也适用于非金融行业场景。它融合传统关系数据库和分布式系统的优势,利用普通的PC服务器组成数据库集群,拥有出色的线性扩展性。通过在底层分布式引擎实现的Paxos多数派协议和多副本特性,OceanBase拥有了令人称道的高可用和容灾能力,不负“永不停机”的数据库系统的盛名,可以完美支持多地多活、异地容灾等高可用部署。OceanBase是一个

2022-06-23 08:35:51 1888

转载 【Flink】Flink SQL之路

看了那么多的技术文,你能明白作者想让你在读完文章后学到什么吗?博主会阐明博主期望本文能给小伙伴们带来什么帮助,让小伙伴萌能直观明白博主的心思博主会以实际的应用场景和案例入手,不只是知识点的简单堆砌博主会把重要的知识点的原理进行剖析,让小伙伴萌做到深入浅出呕心沥血,Flink SQL 成神之路出品。小伙伴萌可以先体验一下下图大纲。由于微信公众号限制上传图片像素,所以博主分隔成了 5 张图片。。。NB源码公众号后台回复1.13.2 最全 flink sql获取。Apache Flink 提供了两种关系型 API

2022-06-17 14:40:22 1561

原创 【数据可视化】三款主流开源数据可视化工具对比:Superset、DataEase、MetaBase

现在市场上开源 BI 产品比较多,各个产品的侧重点不同,有的以报表为主、有的以可视化为主、有的以查询分析为主。这里我们选取了一些主流的开源 BI 产品,从产品功能、可视化能力、数据源支持以及使用文档等方面进行对比,希望对你有帮助。由Airbnb贡献的轻量级BI产品,目前在GitHub上有3万多颗星,其受欢迎程度可见一斑。Superset提供了Dashboard和多维分析两大类功能,后者可以将制作的结果发布到Dashboard上也可以单独使用。在这里插入图片描述数据源方面,Superset支持CSV、MySQ

2022-06-16 13:51:06 11070

转载 【云原生 | Kubernetes篇】深入了解Ingress(十四)

为什么需要 Ingress ?Service可以使用NodePort暴露集群外访问端口,但是性能低下不安全缺少Layer7的统一访问入口,可以负载均衡、限流等Ingress 公开了从集群外部到集群内 服务 的 HTTP 和 HTTPS 路由。 流量路由由 Ingress 资源上定义的规则控制。我们使用Ingress作为整个集群统一的入口,配置Ingress规则转到对应的Service这是 nginx 官方做的,适配 k8s 的,分为 开源版 和 nginx plus 版(收费) 。这是 k8s 官方做的,适

2022-06-14 18:02:52 300

原创 【SDC】史上最全-mysql迁移到clickhouse的5种办法

转载原文地址:https://anjia0532.github.io/2019/07/17/mysql-to-clickhouse/1create table engin mysql官方文档:注意,实际数据存储在远端mysql数据库中,可以理解成外表。可以通过在mysql增删数据进行验证。2insert into select from可以自定义列类型,列数,使用clickhouse函数对数据进行处理,比如3create table as select from网友文章:不支持自定义列,参考资料

2022-06-14 18:02:42 794

原创 【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

对于数据仓库,大数据集成类应用,通常会采用ETL工具辅助完成。ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多,以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。通过分析,笔者个人建议优先DataX更优。Sqoop,SQL-to-Ha

2022-06-14 18:02:29 5772 1

原创 【SDC】RocketMQ 在Streamsets中的应用简析

众所周知,RocketMQ 作为一款分布式、队列模型的消息中间件,具有以下特点:在复杂的应用场景中,将 RocketMQ 作为技术解耦的消息中间件,可以简化服务部署,以下是 RocketMQ 在大数据的实践分享。场景分析在大数据中,应用 RocketMQ 的使用场景中经常会出现:异步请求,应用解耦和日志处理等场景情况。经常遇到如下两种情况,一种为串行方式的业务流程(如图1),另一种为并行方式的业务流程(如图2)。**串行方式:**在[大数据解决方案]中,针对顺序化、流程化的业务场景经常使用串行方式,实现Ro

2022-06-14 18:02:02 157 2

原创 【云原生 | Kubernetes篇】深入了解Pod(六)

_Pod_是一组(一个或多个)容器(docker容器)的集合 (就像在豌豆荚中);这些容器共享存储、网络、以及怎样运行这些容器的声明。我们一般不直接创建Pod,而是创建一些工作负载由他们来创建PodPod的形式Pod对容器有自恢复能力(Pod自动重启失败的容器)Pod自己不能恢复自己,Pod被删除就真的没了(100,MySQL、Redis、Order)还是希望k8s集群能自己在其他地方再启动这个Pod单容器Pod多容器协同Pod。我们可以把另外的容器称为****Pod 天生地为其成员容器提供了两种共享资源:

2022-06-12 13:32:49 151

转载 【Hudi】数据湖(五):Hudi与Hive集成

Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中,那么同时映射Hive表,让Hive表映射的数据对应到此路径上,这时Hudi需要通过JDBC方式连接Hive进行元数据操作,这时需要配置HiveServer2。注意:“hive.zookeeper.quorum”搭建hiveserver2HA使用配置项,可以不配置,如果不配置启动hiveServer2时一直连接本地zookeeper,导致大量错误日志(/tmp/root/hive.log),从而导致通过beeline连接当前node1节点的h

2022-06-12 12:37:27 5515

转载 【Hudi】数据湖(四):Hudi与Spark整合

默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置,可以参照https://hudi.apache.org/docs/configurations.html配置项来查询,此外,整合时有几个需要注意的点,如下:2、编写向Hudi插入数据代码向Hudi中存储数据时,如果没有指定分区列,那么默认只有一个default分区,我们可以保存数据时指定分区列,可以在写出时指定“DataSourceWriteOptions.PARTITIONPATH_FIE

2022-06-12 12:31:52 1991

原创 【Hudi】数据湖(三):Hudi概念术语

Hudi数据湖可以维护很多张表,与Hive类似,数据存储在HDFS不同的目录结构中。Hudi维护了表在不同时刻执行的所有操作的Timeline,这有助于提供表的瞬时视图。Timeline 是 HUDI 用来管理提交(commit)的抽象,每个 commit 都绑定一个固定时间戳,分散到时间线上。在Timeline上,每个commit被抽象为一个 HoodieInstant(Hoodie瞬时时刻),一个 instant 记录了一次提交(commit)的行为、时间戳、和状态,也就是说每个HoodieInstan

2022-06-12 12:21:48 1408

原创 【Hudi】数据湖(二):什么是Hudi

修改于2022-06-06 08:52:49阅读 1220Apache Hudi是一个Data Lakes的开源方案,Hudi是Hadoop Updates and Incrementals的简写,它是由Uber开发并开源的Data Lakes解决方案。Hudi能够基于HDFS之上管理大型分析数据集,可以对数据进行插入、更新、增量消费等操作,主要目的是高效减少摄取过程中的数据延迟。Hudi非常轻量级,可以作为lib与Spark、Flink进行集成,Hudi官网:https://hudi.apache.org

2022-06-12 12:16:27 206

原创 【Hudi】数据湖(一):数据湖概念

数据湖是一个集中式的存储库,允许你以任意规模存储多个来源、所有结构化和非结构化数据,可以按照原样存储数据,无需对数据进行结构化处理,并运行不同类型的分析对数据进行加工,例如:大数据处理、实时分析、机器学习,以指导做出更好地决策。当前基于Hive的离线数据仓库已经非常成熟,在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的,需要对待更新的数据所属的整个分区,甚至是整个表进行全面覆盖才行,由于离线数仓多级逐层加工的架构设计,数据更新时也需要从贴源层开始逐层反应到后续的派生表中去。随着实时计算引擎的不断发

2022-06-12 12:14:36 1103

原创 【数据治理】数据治理方案技术调研 Atlas VS Datahub VS Amundsen

数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。在数据治理过程中,经常会遇到这些问题: 数据都存在哪? 该如何使用这些数据? 数据是做什么的? 数据是如何创建的? 数据是如何更新的?。。。。。数据发现平台的目的就是

2022-06-12 11:46:06 365

原创 【数据可视化】如何将炫酷的报表直接截图发送邮件——在Superset 0.37使用Schedule Email功能

Superset的图表是非常炫酷的,但是原来的版本只能在web端查看,而最新的版本,可以将图表截图直接发送成邮件,非常的方便。本文将详细介绍Superset定时邮件功能。superset 0.37的电子邮件功能 默认是关闭的电子邮件功能允许用户对以下两种电子邮件进行报告:vi config.py开启邮件功能要发送电子邮件 还需要配置一下SMTP启动前记得执行 superset init 否则可能看不到菜单这时候再登录superset,我们可以看到在Manage下有两个新的菜单了Dashboard Ema

2022-06-12 11:45:52 630

原创 【Flink】基于Flink构建全场景实时数仓

虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求,但是数据量比较少,所以在实时方面形成不了完整的体系,基本所有的开发都是具体问题具体分析,来一个需求做一个,基本不考虑它们之间的关系,开发形式如下:早期实时计算如上图所示,拿到数据源后,会经过数据清洗,扩维,通过Flink进行业务逻辑处理,最后直接进行业务输出。把这个环节拆开来看,数据源端会重复引用相同的数据源,后面进行清洗、过滤、扩维等操作,都要重复做一遍,唯一不同的是业务的代码逻辑是不一样的。随着产品和业务人员对实时数据需求的不断增多

2022-06-12 11:42:53 3483 1

原创 【数据治理】Github 1.9K Star的数据治理框架-Amundsen

Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性。这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐。可用的工具很多各有千秋,数据血缘做的较好的应该是Apache Atlas,而数据可视化做的较好的应该是Apache Superset。业界一直需要一个可以整合这些功能,让数据治理更加的简单便捷,而这正是Amundsen的使命。类似于Atlas (Apache),Datahub (LinkedIn)。Amundsen主要在于提高数据分析师,数据科学家和数据工程师的工作效率。

2022-06-11 18:22:55 574

原创 【数据可视化】Apache Superset1.2.0教程(四)—— CentOS环境安装

前文中,我们已经在windows环境进行了superset的安装,也对图表功能进行了展示。但是在平时使用以及生产环境中,还是需要在centos环境下进行操作。本文将带大家详解在centos7环境进行apache superset安装的全过程。参考文档: https://superset.apache.org/docs/installation/installing-superset-from-scratch注意:superset 1.2.0需要python 3.7.9或以上的版本,不然可能会有各种坑。{{u

2022-06-11 18:10:02 236

原创 【数据可视化】Apache Superset 1.2.0教程 (三)—— 图表功能详解

@[TOC]通过之前章节的学习,我们已经成功地安装了superset,并且连接mysql数据库,可视化了王者英雄的数据。使用的是最简单Table类型的图表,但是superset还支持非常多的图表类型。本文我们将对各种图表类型进行逐一的演示,文章较长,建议收藏后阅读。Superset提供了大量的图表来帮助我们进行数据可视化。对于图表的类型可以分为以下几类:只有选择了正确的图表,才能准确的传达出你想表达的意思。那么怎么确定图表类型呢?首先要考虑的就是想要实现的目标,一张好的图表必须是能够清楚表达问题的答案。以下

2022-06-11 18:06:47 911

原创 【数据可视化】Apache Superset 1.2.0教程 (二)——快速入门(可视化王者英雄数据)

首先确保mysql可以正常连接使用,并且准备好数据。登录进入superset,选择Databases点击右上方+号,新建数据库superset是通过SQLAlchemy连接数据库的。通过官方文档找到mysql的连接方式。https://docs.sqlalchemy.org/The MySQL dialect uses mysql-python as the default DBAPI. There are many MySQL DBAPIs available, including MySQL-conne

2022-06-11 17:52:13 1173

原创 【数据可视化】使用 Apache Superset 可视化 ClickHouse 数据

我们将介绍安装 Superset 的 2 种方法,然后展示如何从 Superset 连接到您的第一个 ClickHouse 数据库。代码示例基于 Ubuntu 18.04、Superset 1.1.0 和 clickhouse-sqlalchemy 0.1.6。第一种方法直接在您的主机上安装 Superset。我们将首先创建一个 Python 虚拟环境。以下是常用命令。安装并启动 Superset安装依赖包处理与 ClickHouse 的 Superset 连接的命令。可能需要根据您的环境稍微调整。

2022-06-11 17:44:48 659

原创 【数据可视化】Apache Superset 1.2.0教程 (一)—— 安装(Windows版)

Apache Superset 是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,其通过创建和分享 dashboard,为数据分析提供了轻量级的数据查询和可视化方案。近日推出了全新的 1.2.0版本,本教程也就从头开始讲解Apache Superset的使用。window安装superset非常的简单,由于最新的版本已经加入pip库,所以我们可以使用pip库轻松的安装superset。我们使用anaconda快速的安装python环境。_Anaconda_指的是一个开源的

2022-06-11 17:41:16 652 1

原创 【CDH】超详细-搭建本地大数据研发环境(16G内存+CDH)

工欲善其事必先利其器,在经过大量的理论学习以后,需要有一个本地的研发环境来进行练手。已经工作的可以不依赖于公司的环境,在家也可以随意的练习。而自学大数据的同学,也可以进行本地练习,大数据是一门偏实践的学科,在找工作之前进行一些实践操作,也更利于对大数据知识的理解。本文将从头开始详细的记录整个大数据环境的搭建过程,本文所使用的笔记本电脑内存为16G,将使用CDH6.3.2管理整个大数据集群。本文共四个部分,一定要保证每一个部分都安装成功以后再向下进行。首先要安装好VMwareWorkstation软件,随后新

2022-06-11 17:23:26 1911 3

原创 【Python】Python中的闭包、global关键字、nonlocal关键字和装饰器

Python中的闭包、global关键字、nonlo闭包:在一个外函数中定义了一个内函数,内函数里运用了外函数的临时变量,并且外函数的返回值是内函数的引用,这样就构成了一个闭包。外函数把临时变量绑定给内函数: 按照我们正常的认知,一个函数结束的时候,会把自己的临时变量都释放还给内存,之后变量都不存在了。一般情况下,确实是这样的。但是闭包是一个特别的情况。外部函数发现,自己的临时变量会在将来的内部函数中用到,自己在结束的时候,返回内函数的同时,会把外函数的临时变量送给内函数绑定在一起。所以外函数已经结束了,

2022-06-11 17:17:04 229

原创 【Python】Python 2 和 Python 3 操作 MySQL 数据库实现创建表、删除表、增删改查操作

1、MySQL数据库和表的编码格式(1)创建数据库并指定字符集(2)查看数据库的编码格式(3)创建表并指定字符集(4)查看数据表的编码格式(5)修改数据库的编码格式(6)修改数据表的编码格式(7)修改字段的编码格式(8)添加表外键(9)删除表外键(10)删除数据库2、PyCharm默认编码格式设置3、Python 2 操作 MySQL 数据库输出:数据库版本:(‘5.7.35’,)Python 2.7 只能连接 MySQL 5.x 版本。本机 MySQL 5.7.35 和 MyS

2022-06-11 17:14:38 196

转载 【指标体系】最新数仓指标体系建模方法

指标体系指标建设过程中遇到的问题指标建设方法论指标的构成如何设立指标体系评价指标体系指标管理场景落地总结提起指标这个词,每个人似乎都可以说出几个指标,像经常在工作中会听到的日活、月活、注册率、转化率、交易量等 事实上指标就是用来量化事物的一个工具,帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏,用户粘性等等,例如我们通过日活能去判断出我们整个产品的用户量,从而能反应出我们这个产品的一个健康程度,也就是否处于增长过程中。一个好的数据指标体系可以助力业务快速的解构业务、理

2022-06-11 16:19:29 262

原创 【Python爬虫】之获取请求头信息以及cookies信息.

工作中与项目中需要取抓取一些股票的实时信息等,有两种取到可以获取到一些需要的数据,一种是花钱买一些接口服务,还有就是爬虫取网站爬取。本人略了解tcp/ip与http以及https协议,后两者作为建立在tcp/ip之上的应用层,在爬虫中最麻烦的可能就是cookies的获取,通过cookies信息,对方服务器就可以判断你是机器行为还是可能是人,简单的网站,可以直接从响应头获取到cookies,但如果是通过js设置的cookies或者其它取到设置的,那就很难获取到。如果cookies就算拿到了,最近在工作中还碰到

2022-06-11 15:59:00 4930

原创 【Python网络爬虫】爬虫常见加密解密算法

本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法,遇到 JS 加密的时候可以快速还原加密过程,有的网站在加密的过程中可能还经过了其他处理,但是大致的方法是一样的。常见加密算法:常见编码算法:Base64Crypto-JS 支持 MD5、SHA、RIPEMD-16...

2022-06-11 15:52:15 2580

原创 【Doris】spark 写入doris太慢方案解决

最近公司用到了spark读写doris,因为doris其实就是mysql协议,在读取数据时候速度还是可以的,但是写入时候就发生了数据写入特别慢,几千条的数据甚至要用几十分钟,这不是可以接受的。经过调研查询发现因为连接参数没有指定,数据都是单条写入,改造前写入方式:而需要增加的参数就是在URL后增加,单表重复批量写入,而不是单条的循环写入改造后:写入速度又原先的几十分钟变为了几十秒。参考:spark写入mysql速度优化......

2022-06-06 15:12:45 2297

原创 【Windows Server】由于没有远程桌面授权服务器可以提供许可证

由于没有远程桌面授权服务器可以提供许可证,远程会话连接已断开。请跟服务器管理员联系。原因是服务器安装了远程桌面服务RemoteApp,这个是需要授权的。但是微软官方给予了120天免授权使用,超过120天还没有可用授权就会出现远程会话被中断,可修改注册表来延长使用期限,此方法win2008和win2012适用1、首先进入安装了远程桌面服务RemoteApp的服务器,我这里是win20122、按 win+R 键 打开运行,输入regedit 然后按 确定3、然后就打开了注册表编辑器4、然后进入 H

2022-06-06 11:22:44 33414 1

原创 【说透中台】06 | 中台落地第一步:企业战略分解及现状调研(Discovery)

上一讲我为你介绍了我们中台建设方法论的概述和来源。那从这一讲开始,我就带你一一展开我们做中台规划与建设的这四个阶段,介绍每个阶段的目标和一些常用的工具与实践。好了,那我们就从第一个阶段 Discovery 开始,也就是我们要先建立一个对企业和行业的“全面视野”。那为什么要先做这件事情呢?这里多说一句,其实 D4 的前两部分 Discovery 和 Define 合起来,就是一个在企业级先发散再收敛的过程。我们公司内部对这个过程有一个称呼,叫作 Portfolio Discovery,简称为 PD。实际实施时

2022-06-06 11:21:33 250

转载 【数据中台】01 | 前因后果:为什么说数据中台是大数据的下一站?

那么为什么数据中台被认为是大数据的下一站呢?它与你之前遇到的数据仓库、数据湖、大数据平台又有什么区别?今天这节课,我想带着这个问题,与你深入大数据的发展历史,先从数据仓库的出现讲起,途径数据湖,再到大数据平台,因为这样,你才能理解大数据发展的每个阶段遇到的问题,从而深入理解数据中台在大数据发展中的历史定位。......

2022-06-01 17:20:26 117

转载 【数据中台】00丨开篇词丨数据中台,是陷阱?还是金钥匙?

客观上讲,数据中台的建设是一项系统性工程,从组织架构、支撑技术到流程规范,既要有宏观的顶层设计,又要有强有力的落地执行,所以对整个团队的要求会比较高;从主观上讲,这些企业本身数据建设经验不足,或者还处于比较初级的阶段,不知道数据建设中有哪些痛点,更不知道用什么样的技术手段和管理机制去解决这些问题。.........

2022-06-01 17:05:02 216

原创 【说透中台】10 | 总结:中台落地工具资源汇总

这一路,我们时间穿梭,回到过去,从中台的历史开始,重新审视了一遍中台的诞生与发展之路,又从现在的一片繁华中洞悉中台的本质与其背后的趋势。之后我还为你分享了我们中台建设方法论的来源、思想、原则与实践,也就是 D4 模型。一起来复习一下,就是两轮“发散与收敛”,第一轮 Discovery 和 Define,第二轮 Design 和 Delivery,对应中台落地的四个阶段:企业战略分解及现状调研、企业数字化全景规划、中台的规划与设计、中台的建设与接入 。我们以极客地产的例子作为一个引子,带你完整走了一遍一个中台

2022-06-01 15:02:55 680

原创 【说透中台】09 | 中台落地第四步:中台的建设与接入(Delivery)

通过上一节课介绍的内容,我们最终拿到了一个作为切入点的中台场景,并且通过业务梳理识别出对于数据、流程、功能的复用需求,并结合 MVP 原则,找到第一个快速验证的需求集,结合前台的接入条件,形成了第一个小的中台建设冲刺计划,并以终为始,在开始前确定好中台建设的验证指标,有了需求、计划、验收条件。如果能够顺利通过企业内部的立项审核和流程,那么恭喜你,你已经有了第一个正式的中台项目。接下来就进入了 D4 的第四个阶段,也就是最后一个但可能也是时间最长的交付阶段了。而交付的第一步一定是要组建一支有战斗力的队伍,中台

2022-06-01 14:59:52 399

原创 【说透中台】08 | 中台落地第三步:中台的规划与设计(Design)

前两讲我们通过 Discovery 结合 Define,完成了 D4 模型中的第一轮在企业级别的发散和收敛。我们站在企业的高度,基于企业愿景和内外部环境,通过自上而下的战略分解和自下而上的现状调研,再应用企业架构方法的分析,来确定最终的平台型企业架构,并回答到底要不要建中台、需要哪些种类的中台建设、谁先建、谁后建这些问题。那从这一讲开始,我们就要进入 D4 模型的第二轮发散和收敛。站在一个中台产品的视角,来看看到底应该怎样对其设计并落地实施,也就是 D4 中的 Design 和 Delivery 的两个阶段

2022-06-01 14:56:37 871

原创 【说透中台】07 | 中台落地第二步:企业数字化全景规划(Define)

上一讲,我们通过 Discovery 从三个不同的角度和方向,对企业内外部环境进行充分的信息收集之后,得到了非常多的信息。那这一讲我们就来讲一讲,如何通过对这些信息的分析和收敛,运用企业架构方法,最终分析形成企业的数字化全景规划,并最终推导出我们 PD 的一个重要产出物,也就是一个中台落地建设的演进路线图。那首先需要给你介绍一下什么是企业级架构方法。企业架构方法如 Zachman、TOGAF 等,最长的已经有 20 多年的历史了,可以说已经非常成熟了。其中应用最广的应该就属 TOGAF 了,在市场上占据了至

2022-06-01 14:44:16 203

原创 【微服务】你的微服务敢独立交付么?

转自:http://blog.didispace.com/your-microservice-can-deploy-single/最近经常在项目或是社区里听到大家谈论微服务架构,但谈论的焦点更多集中在微服务拆分,分布式架构,微服务门槛,DevOps配套设施等话题上。但是在我眼里,真正能称之为微服务架构的少之又少。原因也很简单,我所见到的很多所谓的微服务架构项目,大多都没有做到微服务架构的一个基本要求:服务的独立部署(交付)。这里的独立部署和自动化部署还不是一个概念,服务的自动化部署相对简单,已有大量的工具可

2022-06-01 14:40:33 158

原创 【说透中台】05 | D4模型:中台规划建设方法论概述

给你分享了中台建设前需要考虑的四个问题。考虑清楚这些问题能够让我们在真正开始建设中台时,提前规避一些风险。好,现在假设这些问题我们都已经想清楚了,那中台到底该如何落地呢?在过去两年多参与中台的建设过程中,我也确实踩了不少的坑,走了不少弯路。下面就用第二部分剩下的几篇文章,为你介绍一下,目前我们在实践中摸索整理出来的中台落地思路,希望对你有帮助和启发。首先说明一下,就像前面文章提到过的,目前市面上的中台“种类繁多”。不同种类的中台,它们的建设方法可能完全不同,但是肯定有一些思路和方法是通用的。后续部分...

2022-06-01 14:17:03 433

中台战略企业数字化转型的思考29.9.ppt

中台战略企业数字化转型的思考29.9.ppt

2022-06-26

中国数字中台行业研究报告-企业数字化转型的加速引擎19.9.pdf

中国数字中台行业研究报告-企业数字化转型的加速引擎19.9.pdf

2022-06-26

智慧城市大脑数据中台解决方案29.9.pptx

智慧城市大脑数据中台解决方案29.9.pptx

2022-06-26

浙江移动基础设施AIOps实践及探索19.9.pdf

浙江移动基础设施AIOps实践及探索19.9.pdf

2022-06-26

在新一代运维中台架构之上构建智能场景化运维9.pdf

在新一代运维中台架构之上构建智能场景化运维9.pdf

2022-06-26

云加数商业地产转型-基于阿里云构建云+中台19.9.pdf

云加数商业地产转型-基于阿里云构建云+中台19.9.pdf

2022-06-26

以 RPA 技术构建企业运营中台9.pdf

以 RPA 技术构建企业运营中台9.pdf

2022-06-26

医疗数据中台15.pptx

医疗数据中台15.pptx

2022-06-26

新一代安全稳定高效的广电PaaS中台解决方案9.pdf

新一代安全稳定高效的广电PaaS中台解决方案9.pdf

2022-06-26

苏宁数据中台架构实践9.pdf

苏宁数据中台架构实践9.pdf

2022-06-26

搜索推荐Serverless架构和业务中台技术实践-19.9.pdf

搜索推荐Serverless架构和业务中台技术实践-19.9.pdf

2022-06-26

数字化时代的敏捷开发中台29.9.pdf

数字化时代的敏捷开发中台29.9.pdf

2022-06-26

数据中台助力银行数字化转型19.9.pptx

数据中台助力银行数字化转型19.9.pptx

2022-06-26

数据中台运营与实战49.9.pptx

数据中台运营与实战49.9.pptx

2022-06-26

数据中台建设方案15.pptx

数据中台建设方案15.pptx

2022-06-26

数据中台标准方案29.9.docx

数据中台标准方案29.9.docx

2022-06-26

数据湖构建某汽车集团数据中台解决方案19.9.pptx

数据湖构建某汽车集团数据中台解决方案19.9.pptx

2022-06-26

实时消息中台技术介绍29.9.pptx

实时消息中台技术介绍29.9.pptx

2022-06-26

三论数据中台 外发版39.9.pdf

三论数据中台 外发版39.9.pdf

2022-06-26

如何构建滴滴出行业务中台9 .pdf

如何构建滴滴出行业务中台9 .pdf

2022-06-26

企业知识中台产品19.9.pptx

企业知识中台产品19.9.pptx

2022-06-26

企业级 SaaS 业务中台化探索与实践-19.9.pdf

企业级 SaaS 业务中台化探索与实践-19.9.pdf

2022-06-26

企业级业务架构设计方法论9.pdf

企业级业务架构设计方法论9.pdf

2022-06-26

蘑菇街中台转变之路-9.9.pdf

蘑菇街中台转变之路-9.9.pdf

2022-06-26

面向无确定业务边界之中台架构5 .pdf

面向无确定业务边界之中台架构5 .pdf

2022-06-26

【精品】Kubernetes 管理复杂异构应用在端点Dice平台中的实践-19.9.pdf

【精品】Kubernetes 管理复杂异构应用在端点Dice平台中的实践-19.9.pdf

2022-06-26

【精品】智慧协同成就高绩效组织-互联新一代企业管理平台29.9.pptx

【精品】智慧协同成就高绩效组织-互联新一代企业管理平台29.9.pptx

2022-06-26

【精品】在线教育中台化实践与思考-5.pdf

【精品】在线教育中台化实践与思考-5.pdf

2022-06-26

【精品】云原生在机器人行业的应用-9.9演讲.pdf

【精品】云原生在机器人行业的应用-9.9演讲.pdf

2022-06-26

【精品】余额宝背后的中台架构及落地实践-9.pdf

【精品】余额宝背后的中台架构及落地实践-9.pdf

2022-06-26

【精品】医院后勤生态模式下的企业级中台建设-19.9.pdf

【精品】医院后勤生态模式下的企业级中台建设-19.9.pdf

2022-06-26

【精品】网易中台的博弈与演进-19.9.pdf

【精品】网易中台的博弈与演进-19.9.pdf

2022-06-26

【精品】数据中台解决方案-29.9.pdf

【精品】数据中台解决方案-29.9.pdf

2022-06-26

【精品】数据中台解决方案29.9.pdf

【精品】数据中台解决方案29.9.pdf

2022-06-26

【精品】视频智能中台打造AI产品的钢筋混凝土时代-9.pdf

【精品】视频智能中台打造AI产品的钢筋混凝土时代-9.pdf

2022-06-26

【精品】什么样的企业需要中台-5.pdf

【精品】什么样的企业需要中台-5.pdf

2022-06-26

【精品】如何打造一个高效的AIoT数据平台-19.9.pdf

【精品】如何打造一个高效的AIoT数据平台-19.9.pdf

2022-06-26

【精品】企业数据中台整体介绍及建设方案29.9.pdf

【精品】企业数据中台整体介绍及建设方案29.9.pdf

2022-06-26

【精品】领域驱动DDD聚合工作坊19.9.pdf

【精品】领域驱动DDD聚合工作坊19.9.pdf

2022-06-26

【精品】基于资产配置模式下的技术中台实践-19.9.pdf

【精品】基于资产配置模式下的技术中台实践-19.9.pdf

2022-06-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除