- 博客(426)
- 资源 (29)
- 收藏
- 关注
RSS订阅
原创 【Azure 架构师学习笔记】-Azure Data Factory (1)-调度入门
在开发好一个ADF pipeline（功能）之后，需要将其按需要运行起来，这个称之为调度。下图是一个简单的ADF 运作图， 按照需要的顺序，由某个程序或者人，调度Data Factory Service里面的pipelines。这些pipelines是在Data Factory Service中定义和存储的。然后通过pipeline中具体的活动（Activity，比如copy）访问Linked Services， 然后从Source中获取数据，写入Sink中。: 与外部资源的连接。Dataset。
2023-02-21 09:05:59
1042
原创 【Azure 架构师学习笔记】-Azure Logic Apps（7）- 自定义Logic Apps 调度
在稍微了解Logic Apps的使用之后，需要开始考虑如何调度起来。在Logic Apps里面，可以使用“重复”这个触发器来实现，毕竟调度实际上来说就是重复做，否则一次性的操作没必要进行调度。直接指定一个时间即可。
2023-02-17 08:52:17
427
原创 【Azure 架构师学习笔记】-Azure Logic Apps（5）- 标准和使用量类型的区别
在做实验的过程中，发现使用“使用量”（Consumption)类型会出现很多问题，而且有很多功能都找不到，后来对比一下官网的配置才发现当时为了省钱，使用了使用量类型。为了能继续后面的实现和学习，尝试使用标准（standard）类型，不过如下图所示，价格非常贵，所以在后续会只在截图时才创建，平时删除。
2023-02-01 09:11:07
380
原创 【Azure 架构师学习笔记】-Azure Logic Apps（4）-演示2
上文做了简单的演示，这一文将开始较为详细的演示如何用Azure Logic Apps来删除自定义条件下的存储帐户上的文件。
2023-01-13 09:04:52
605
1
原创 【Azure 架构师学习笔记】-Azure Logic Apps（3）-演示1
前面两篇文章大概介绍了一些理论知识，但是为用而学才是最重要的，所以接下来做一个非常简单的演示，用Logic App删除Storage account上面的文件。
2023-01-06 09:14:20
656
1
原创 【Azure 架构师学习笔记】-Azure Logic Apps（2）-组件介绍
Logic Apps 包含了一系列的组件用来实现集成功能。但是最主要的是3部分：Connectors, triggers, 和actions。它们用于构建起整个Logic app的应用。
2022-12-27 17:33:37
712
原创 【Azure Data Platform】Azure SQLDW与ADLS的整合
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Azure Data Lake(1)——简介前言在Azure上面，已经没有了data warehouse这种称呼，不过我还是偏向于使用SQL DW作为 Azure Synapse Analytics 的叫法。毕竟SQL DW还是行业称呼，没有用过Azure Synapse的人可能不熟悉它是什么东西。其实 Azure Synapse Analytics 代表着在Data lake上的大数据与传.
2022-03-27 17:03:45
2257
原创 【Azure Data Platform】Azure Data Lake(1)——简介
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】SQL DW 备份策略https://www.matillion.com/resources/blog/what-is-azure-data-lakehttps://k21academy.com/microsoft-azure/data-engineer/azure-data-lake/https://global.hitachi-solutions.com/blog/6-features-.
2022-03-26 11:21:36
3321
原创 【Azure Data Platform】SQL DW 备份策略
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】数据平台的选择本文谈一下SQL DW的备份策略前言数据库的备份重要性不用多说，但是随着各种产品特别是云数据库的出现，其备份形式就有了比较多的种类。我本人并没有用过本地版的数据仓库。只是在工作过程中，使用了Azure SQL DB（SQL Server的PaaS版本）之后，又切换到SQL DW，在项目的角度来说，其备份策略也影响了项目的验收。SQL DW实际上并没有“备份”这一说法，它只有快.
2022-03-22 19:16:58
699
原创 【Azure Data Platform】数据平台的选择
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（4）——总结本文谈一下数据平台的选择前言云计算已经被广泛接受和使用，那么在关于数据平台方面，很多人会关心数据库，数据仓库，和数据湖的关系，我们都看重数据，也希望使用数据，很多时候我们已经有数据了，但是由于数据的产生形式不一样，数据的使用和存储都有不一样的要求。另外在工作中也有不少需求要选择数据平台，所以整理了一些关键因素。我们常用的数据.
2022-03-21 19:38:44
2712
原创 【Azure Data Platform】Dedicated SQL Pool——导入性能测试（4）——总结
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（3）——Copy首先，我们需要知道SQL DW是一个MPP的系统。关于导入，为了最大限度地提高负载性能，负载会话应利用 MPP 体系结构直接连接到计算。SQL DW的每个计算节点（compute node）通过DMS服务，借助HDFS bridge来访问存储上的数据。这个过程，跟DWU有很大关系，如下图所示，每个DWU都有对应的read.
2022-03-21 19:37:39
516
原创 【Azure Data Platform】Dedicated SQL Pool——导入性能测试（3）——Copy
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（2）——CTAS本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。–COPY INTO dbo.test_hash_cci_CopyFROM ‘https://sago02easshalleyadls02.dfs.core.windows.net/halley.
2022-03-19 19:57:32
528
原创 【Azure Data Platform】Dedicated SQL Pool——导入性能测试（2）——CTAS
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（1）——传统insert本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。--CREATE TABLE [dbo].test_robin_heap_ctasWITH (DISTRIBUTION = ROUND_ROBIN,HEAP)ASSELECT * .
2022-03-19 15:24:07
494
原创 【Azure Data Platform】Dedicated SQL Pool——导入性能测试（1）——传统insert
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】使用Azure Blob Storage Lifecycle Management归档数据本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。前言项目从前年开始使用SQL DW（我还是习惯用这个术语）...
2022-03-17 19:17:01
524
原创 【Azure Data Platform】使用Azure Blob Storage Lifecycle Management归档数据
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(22)——Azure Databricks与ADF整合本文介绍Azure Blob Storage的Lifecycle Management功能前言由于最近工作需要，临时加了任务，主要是降低ADLS的存储费用，除了直接删除或手动、编程移动到其他地方，还发现有一个可用的功能“Lifecycle Management”。所以这里整理和总结一下。Azure 存储是 Microsoft.
2022-03-14 19:25:23
691
原创 【Azure Data Platform】ETL工具(22)——Azure Databricks与ADF整合
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob本文演示如何整合ADF和Azure Databricks环境准备前面已经演示过如何创建ADF和Azure Databricks，下面来演示如何整合它们。首先对于Azure Databricks，先要创建集群（集群是基础），然后创建一个表。如下图导航：会出现一个新界面，提示创建新表的配置。可以通过.
2022-03-13 12:37:02
1445
原创 【Azure Data Platform】ETL工具(21)——Azure Databricks使用（1）——访问Azure Blob
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(20)——创建Azure Databricks本文演示如何通过Azure Databricks访问Azure存储环境准备在前面的ADF章节，我们已经创建过存储账户，所以这里直接使用。但是对于Databricks，则需要使用额外配置，这里用notebook和Scala语言来实现。创建Scala notebook前，先创建一个集群，使用前一篇的方式创建即可。然后按下图创建noteb.
2022-03-12 20:54:14
945
原创 【Azure Data Platform】ETL工具(20)——创建Azure Databricks
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(19)——Azure Databricks本文演示如何创建一个Azure Databricks创建资源在Azure Portal上输入Databricks，就会出现对应的服务。然后点击进去。点击创建：Azure的资源都属于某个特定的资源组，所以资源组是必填项，这里我使用新建一个：输入工作区名称，在定价层里面，如果预算有限可以使用试用版，这里我使用标准版（因为我够预算☺.
2022-03-10 20:36:42
579
原创 【Azure Data Platform】ETL工具(19)——Azure Databricks
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(18)——ADF 迭代和条件活动（2）这次来聊聊Azure Databricks前言之所以突然停下ADF的介绍转而向Azure Databricks， 是因为最近公司的项目已经呈现出ADF与Databricks的组合趋势。为了更好地运维公司的项目，有必要了解一下Databricks。并且大概介绍一下Azure Data Factory和Azure Databricks的关系。什.
2022-03-10 08:13:03
2572
原创 【Azure Data Platform】ETL工具(18)——ADF 迭代和条件活动（2）
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(17)——ADF 迭代和条件活动（1）本文接上文，继续简要介绍ADF的迭代和条件活动If Condition这次用的不是参数，而是变量，如下图所示，点击空白处然后选择变量，新建一个变量Var，类型为字符串，值为Y。创建一个表和存储过程来验证结果：CREATE TABLE [dbo].[TBL_If_Activity]([VALUE] VARCHAR(10) NULL) .
2022-03-05 19:00:16
466
原创 【Azure Data Platform】ETL工具(17)——ADF 迭代和条件活动（1）
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(15)——ADF Lookup详解本文介绍ADF 的ForEach活动https://www.mssqltips.com/sqlservertip/6187/azure-data-factory-foreach-activity-example/前言上文介绍了Lookup活动，现在接着介绍ForEach活动。ForEach常用于对源和目标是多个，但是处理逻辑是一个的情况。把源与.
2022-03-05 12:16:25
645
原创 【Azure Data Platform】ETL工具(16)——ADF 变量
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(15)——ADF Lookup详解本文介绍ADF 的变量前言前面我们演示了很多参数，但是也提及了“变量”，那么这篇文章先介绍一下变量的内容，以便后续能够更加清晰地知道如何使用参数和变量。在编程的时候，比如写一个存储过程，我们会对存储过程传输参数，然后在存储过程内部，对参数进行处理，生成一些变量。当然有些可以直接使用参数。那变量和参数到底有什么区别？参数：是传递到管道中的外部值.
2022-03-01 21:00:43
678
原创 【Azure Data Platform】ETL工具(15)——ADF Lookup详解
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(14)——ADF控制流简介本文介绍ADF 的lookup 详解https://www.mssqltips.com/sqlservertip/6185/azure-data-factory-lookup-activity-example/
2022-02-28 15:52:46
870
原创 【Azure Data Platform】ETL工具(14)——ADF控制流简介
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(13)——ADF并行加载多个文件本文介绍ADF 的控制流前言上一文已经引入了“查找(lookup)”这个活动，那么现在应该开始引入其他的一些控制流活动。https://www.mssqltips.com/sqlservertip/6137/azure-data-factory-control-flow-activities-overview/...
2022-02-27 18:48:13
807
原创 【Azure Data Platform】ETL工具(13)——ADF并行加载多个文件
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(12)——ADF 参数本文介绍ADF 的并行导入多个文件https://www.mssqltips.com/sqlservertip/6281/how-to-load-multiple-files-in-parallel-in-azure-data-factory-part-1/前言在一个数据类的IT项目中，从多个位置（云和本地或者云中很多存储）中的多个文件导入到一个数据库，比.
2022-02-26 20:47:45
682
原创 【Azure Data Platform】ETL工具(12)——ADF 参数
本文属于【Azure Data Platform】系列。接上文：【【Azure Data Platform】ETL工具(11)——ADF 数据流本文介绍ADF 的参数https://www.cathrinewilhelmsen.net/parameters-azure-data-factory/
2022-02-20 11:04:59
837
原创 【Azure Data Platform】ETL工具(11)——ADF 数据流
本文属于【Azure Data Platform】系列。接上文：【【Azure Data Platform】ETL工具(10)——ADF 集成运行时（Integration Runtimes，IR）本文介绍ADF 的数据流https://www.mssqltips.com/sqlservertip/6922/azure-data-factory-data-flows/前言跟【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流转换数据不同，.
2022-02-15 16:15:24
1164
原创 【Azure Data Platform】ETL工具(10)——ADF 集成运行时（Integration Runtimes，IR）
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(7)——ADF copy data 详解本文介绍ADF 的数据集 和链接服务https://www.cathrinewilhelmsen.net/data-flows-azure-data-factory/
2022-02-12 17:39:06
1123
原创 【Azure Data Platform】ETL工具(9)——ADF性能优化案例分享（1）
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(8)——ADF 数据集和链接服务本文分享一下工作中遇到的ADF性能问题最近工作中遇到了一些ADF的性能问题，下面https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-performance-sinks...
2022-02-10 20:01:07
737
原创 【Azure Data Platform】ETL工具(8)——ADF 数据集和链接服务
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(7)——ADF copy data 详解本文介绍ADF 的数据集https://www.cathrinewilhelmsen.net/datasets-azure-data-factory/
2022-02-06 17:11:51
1219
原创 【Azure Data Platform】ETL工具(7)——ADF copy data 详解
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(6)——重新认识Azure Data Factory本文详细介绍ADF 核心组件之一——Copy Datahttps://www.cathrinewilhelmsen.net/copy-data-activity-azure-data-factory/...
2022-01-29 14:45:42
1261
原创 【Azure Data Platform】ETL工具(6)——重新认识Azure Data Factory
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流传输数据本文介绍如何 ADF 的数据流传输数据。https://www.sqlshack.com/run-ssis-packages-in-azure-data-factory/【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流传输数据...
2022-01-28 14:04:25
1269
原创 【Azure Data Platform】ETL工具(5)——使用Azure Data Factory数据流转换数据
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(4)——Azure Data Factory Debug 管道本文介绍如何Debug ADF 的管道。
2022-01-24 15:14:00
1990
原创 【Azure Data Platform】ETL工具(4)——Azure Data Factory Debug 管道
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure本文介绍如何Debug ADF 的管道。原因在使用ADF的过程中，碰到了很多报错，因此我觉得先缓一下，把如何debug放到前面，以免浪费太多时间在找问题上面。确保每个功能能符合预期的结果及性能，可以在大型项目中节省很多时间。Debug是会实际执行操作。比如复制数据，在debug的时候数据还是会被复制，只.
2022-01-14 10:58:10
550
原创 【Azure Data Platform】ETL工具(3)——Azure Data Factory 从本地数据源复制到Azure
本文属于【Azure Data Platform】系列。接上文：【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）本文演示如何使用ADF 从本地数据源中复制数据到Azure中。https://www.sqlshack.com/copy-data-from-on-premises-data-store-to-an-azure-data-store-using-azure-data-factory/...
2022-01-14 10:56:59
1108
原创 【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）
接上文：【Azure Data Platform】ETL工具(1)——Azure Data Factory简介当我们的环境准备好之后，下面演示一下最简单的ADF 操作，本文将创建一个Azure Blob Storage和Azure SQL Database 作为数据传输的演示。在ADF中，有一个“复制数据”工具，借助这个工具，可以把在不同地方（本地或云）的不同数据源中实现数据的传输。基本上支持你能想到的所有常规数据源，具体列表以这里为准：Supported data stores and formats
2022-01-06 14:35:17
1748
3
原创 【Azure Data Platform】ETL工具(1)——Azure Data Factory简介
关于对数据的使用，除了存储（数据库），还有收集（ETL/ELT等）及分析。由于工作需要，在边工作的过程中整理一下基于Azure Data Factory（ADF）的一些知识。作为一个数据平台解决方案，数据收集是其中一个必要的部分。 在选择数据收集工具时，有几个点需要考虑（假定你的环境是基于云，这里的Azure）：是否使用平台提供的？有很多厂商都提供了本地版和基于云版本的工具，时效性费用：当然，免费的工具就不建议商用了。这系列文章针对的是Azure的ETL 工具Data Factory， 首先
2022-01-04 11:58:26
2437
原创 Azure SQL DB/DW 系列（14）——使用Query Store（3）——常用场景
本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（13）——使用Query Store（2）——报表介绍（2）本文继续如何使用Query Store的常用场景前言 Query Store有很多用途，基于它的收集功能，很适合作为服务器的性能基线。性能基线是一个标准，用来后续判断服务器是否存在性能问题。所以专业的数据库及服务器运维，都应该制定合理的性...
2020-03-31 21:57:11
1198
1
原创 Azure SQL DB/DW 系列（13）——使用Query Store（2）——报表介绍（2）
本文属于Azure SQL DB/DW系列上一文：Azure SQL DB/DW 系列（12）——使用Query Store（1）——报表介绍（1）本文继续介绍Query Store的报表带有强制执行计划的查询 显示已经被强制使用特定执行计划的查询。可以看到用了多少执行计划，也可以用于回顾。 由于这个报表本人用的比较少，所以就不做过多介绍。具有高度差异的查询 这个报表可以...
2020-03-31 11:54:42
898
使用DMV对SQLServer进行性能调优
2013-05-02
SQLServer2008企业级平台管理实践01
2012-05-07
SQLServer2008企业级平台管理实践02
2012-05-07
Microsoft SQL Server 2005技术内幕：T-SQL查询.01
2012-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人