自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

DAVIS的博客

数据工程, Azure 与 Power BI

  • 博客(68)
  • 收藏
  • 关注

原创 解决pyecharts图表在jupyter notebook无法显示的问题

在jupyter notebook尝试制作pyecharts图表,遇到无法显示的问题,网上查到的结果有各种不同原因,此处一一罗列,便于大家排查并彻底解决问题。

2023-06-29 18:32:41 3202 1

原创 Power BI Visuals - Candlestick (K线图) 介绍文档

Candlestick是由本人(Davis ZHANG)使用R语言开发的Power BI可视化, 它将在数日之后(取决于审核的进度)发布在并提供给大家下载使用. 该可视化–Candlestick,顾名思义即为用于分析股票市场的蜡烛图(K线图), 开发该可视化的动机是近期因疫情造成的股市下跌提高了人们对金融市场的关注度,而目前在可视化市场中却没有专用于分析金融股市的可视化, 唯一的K线图是由OKViz发布的可视化–

2023-06-08 01:57:38 609

原创 Power BI API调用注意事项 (By Power Automate)

注:本文最初发布于https://d-bi.gitee.io和medium, 2023年6月迁移至CSDN。

2023-06-07 10:25:48 1052

原创 Azure Log Analytics:与Power BI集成

注:本文最初发布于https://d-bi.gitee.io, 2023年6月迁移至CSDN。

2023-06-07 02:00:00 574

原创 简谈企业Power BI CI/CD实施框架

在企业场景中,BI报表更多地作为一项IT服务,而绝不仅仅只是报表工具而已。同理,也正如我此前多次阐明,Power BI是一套服务,绝不仅仅只是Power BI Desktop,它的开发,测试与部署,需要得到有效的管理。因而............

2022-06-12 14:38:03 465 1

原创 Power BI Premium Per User (PPU) 介绍

什么是Power BI PPU在了解Power BI Premium Per User(以下简称Power BI PPU)之前,先过一下我们所熟悉的License。Power BI Free.Power BI Pro.Power BI Premium.我们知道,Power BI Free面向个人,它是免费的,你可以发布报表,但不能创建新的空间以及与同事一同协作,Power BI Pro则允许用户互相分享报表,创建App,并支持增量刷新,以及R可视化等新特性,它面向组织或企业,但按个人收费,价格

2022-02-12 11:57:39 1395

原创 Power BI 与企业数据安全

总览欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器

2022-02-08 23:52:31 261

原创 使用Power BI Cmdlets部署或迁移报表

本文实际借迁移报表的需求为例讲解Cmdlets命令用法,属进阶内容,但实操极易需求在企业BI场景下,我们也许会遇到一种需求,即使用自动化方式将报表或数据集从一个Workspace(工作区)迁移到另一个Workspace。场景对于仅使用Pro License的组织,它们希望通过这种方式来模拟PBI管道部署,而对于拥有Premium License (无论是企业版还是PU版) 的组织,通常而言直接使用Deployment Pipeline即可,但依然有少数组织,尤其是对于合规性和安全性管控极严的企业,D

2021-05-17 00:50:22 331

原创 Power BI Embedded 开发提要

示例aaa前期工作aaa开发部署aaa结语aaa相关资料

2021-02-02 00:02:36 300

原创 Power BI Report Server 连接共享数据集

本文讲述使用Power BI Desktop (rs) 连接RS共享数据集的方法前述写几句题外话。细细数来,本文刚好是我在PBIRS领域发布的第十篇博客。还是那个原则,(至少在中文社区) 绝不发别人重复过的内容。因为我不知道这样做除了为自己吸引流量之外,对整个技术社区的发展有何意义。当然,转载文章或翻译国外文章还是有很大意义的,但如果不注明原文来源,盗为己用,那么引用前国脚范志毅的一句话来说就是: “脸都不要了”。关于共享数据集共享数据集,即托管在报表服务器上的SQL查询或存储过程,它可以被一个报表

2020-12-13 01:52:45 990

原创 PBIRS创建数据刷新计划失败解决方案

在Power BI Report Server, 一个刚需是为Power BI报表创建定时刷新计划,但很多用户经常会在初次创建刷新计划时遇到问题,本文将对此做一些必要补充。通常,创建刷新计划失败有以下三种原因,报表服务器数据库配置不正确报表服务器凭据权限问题未开启SQL Server代理服务对于前两种原因,可参考此文进行正确的配置,下文讲解如何解决因SQL Server Agent未开启而产生的问题。如果数据库未开启代理服务,创建刷新计划会出现如下错误:此时可以打开SSMS连接到实例,发

2020-12-09 00:37:25 1121 2

原创 DAX: 复购率计算

前述重复购买率(二次购买率)及新老客户占比都是客户数据分析中极其重要的指标(除此之外没什么好简述的,直接上货)目标1.把订单分为客户首次购买的订单和后续购买的订单,进而算出重复购买率 2.把客户分为新客户与老客户,进而计算新老客占比过程数据源:对于判断哪些订单是用户首次购买的,哪些不是首次购买的,思路是分别为客户ID和订单日期创建变量,变量可以保存在当前筛选上下文的计算列,Filter可以使计算处于新的筛选上下文。对于客户ID,让它的变量(旧的上下文)和它在新的上下文进行匹配,对于订单日期,

2020-12-08 10:08:16 2196 1

原创 Power BI Report Server 修改文件上传大小限制

前述近日在某Power BI爱好者群中看到一则需求,由于报表服务器本身有默认1000MB的文件上传大小限制,因此当上传的文件超过1000MB时便会上传失败,出现如下错误:注:PBIRS在2018年以前的版本中,文件大小限制仅为100MB,且不可修改,建议升级到较新版本方法一官方文档提供的使用SSMS修改文件大小限制的方法。该方法适用于SSRS,对于PBIRS本人尚未验证,在此仅供参考。方法二该方法为本文推荐方法,仅需运行简单的SQL命令即可。比如我们需要把上传限制改为1500MB,运行以下S

2020-12-07 18:02:58 1124

原创 DAX:SUMMARIZECOLUMNS 进阶

本文讲述SUMMARIZECOLUMNS进阶用法,包括IGNORE, ROLLUPADDISSUBTOTAL, ROLLUPGROUP以及NONVISUAL前述建议阅读本文前,你已阅读《DAX: SUMMARIZECOLUMNS 基本原理与用法》或已掌握SUMMARIZECOLUMNS的基本用法,因为本文不会包括这部分内容。SUMMARIZECOLUMNS拥有内置函数IGNORE, ROLLUPADDISSUBTOTAL, ROLLUPGROUP以及NONVISUAL,这些函数在文档以及DAX.GUID

2020-12-02 19:37:16 594

原创 DAX: SUMMARIZECOLUMNS 性能优势分析

本文将会拿SUMMARIZECOLUMNS函数与SUMMARIZE做个对比,分析SUMMARIZECOLUMNS的性能优势前述MarcoRusso在此前的文章中,首先讲到SUMMARIZE函数在有度量值时的执行效率问题,并在其后提出了其与ADDCOLUMNS函数组合的替代方案,SUMMARIZECOLUMNS发布后,又建议我们使用其来代替SUMMARIZE与ADDCOLUMNS的组合,但对于深层原因,Marco也只是点到为止,下文讲结合示例数据集对此展开,分析原因。当公式中不含度量值时,两个函数在性能

2020-12-01 17:48:07 831

原创 DAX: SUMMARIZECOLUMNS 基本原理与用法

本文讲解DAX函数SUMMARIZECOLUMNS基本的原理与用法前述国内外关于DAX函数的讲解已很多,但个别函数还是有必要拿出来讲讲。本文结合MarcoRusso关于SUMMARIZECOLUMNS函数的理论以及自身对其的研究,专门讲解该函数,并分为多个篇章。本篇将讲解其基本原理与用法。语法首先是函数的语法:SUMMARIZECOLUMNS( <groupBy_columnName> [, < groupBy_columnName >]…, [<filterT

2020-12-01 16:32:48 4642 3

原创 PBID外部工具:Model Analyzer

前述上个月PowerBI.Tips社区负责人希望我开发一个PowerBI模型Document工具,用于管理和分析PowerBI表格模型,度量值,表关系等,当时我对此兴趣不大,因为这属于冷门需求,而且针对于模型主要的性能分析也可以在DAX Studio中完成,但当我看了Meagan Longoria的博客Documenting your Tabular or Power BI Model后,意识到该需求还是有一定必要性,该文里讲述了利用DMV查询来获取表格模型的全部信息, 并且提供了PBIT文件,你只需要

2020-11-26 00:32:05 787

原创 PowerQuery 相对路径解决方案

本文讲解PowerQuery动态路径几乎所有Power BI用户都知道,在Power BI Desktop里,如何从文件或文件夹获取数据, 但这里我提出一个你们不了解但也许会遇到的一个需求,如果文件或文件夹是相对路径而非绝对路径,要怎么办呢?一个例子,报表需要从以下路径获取指定数据(假设我们不能使用Onedrive):C:\Users\<your account name>\Documents且该报表需要分享给其他报表开发者进行二次开发,按照常规做法,我们会使用:File.Conte

2020-11-25 00:41:41 5774

原创 PowerBI:关于PBIX,PBIT及PBIDS

我们知道PowerBI不仅有PBIX文件类型,还有PBIT和PBIDS,这些文件的作用是什么,互相间的区别是什么,国内尚无任何相关资料,下文将就此做详细介绍Power BI文件简介Power BI目前主要有三种文件类型,PBIX,PBIT以及PBIDS。PBIX 这是最常用的Power BI报表文件,.pbix延用了O365家族对文件后缀的命名习惯(如Word文档.docx,Excel文件.xlsx等等)PBIT 全称Power BI Template文件,是早在2016年就已推出的Power B

2020-10-31 18:38:44 7446

原创 PowerQuery应用: 动态分列

今天在Power BI Community收到一个问题,其需求是根据产品列不同的的值来自动分列(下文提供图解),我很快想到只需定义个PowerQuery函数就可以解决,并且在此将这个小技巧分享给大家。需求如下图所示,根据ID列(产品号)对NUMBER列进行划分,由图可知,这并非透视,而且要求每当ID列增加新的产品号时,可以自动追加新的列,以此类推。数据打开PowerQuery编辑器,模拟一份示例数据:letDATA = Table.FromRecords( {

2020-10-19 13:56:02 1169

原创 Power BI Report Server REST API 实战

前述aaa

2020-10-12 16:05:06 1370 1

原创 利用Python调用Power BI REST API

本文是D-BI之Power BI REST API系列第三篇,讲解如何利用一段简单的Python脚本实现Power BI REST API的调用,将使用与上文完全不同的方法前述上文《Power BI REST API实战教程:PowerQuery为例》讲解了PBI API调用的经典方法,而本文将利用简短的Python脚本,更快捷,高效,简易地实现这个效果。在经典方法中,主要问题在于获取Access Token(访问令牌)较为麻烦,需要设置的地方较多,本文将会利用Python,免去自建Azure应用的麻烦

2020-10-08 11:40:07 878

原创 Power BI REST API实战教程:PowerQuery为例

本文是D-BI之Power BI REST API系列第二篇,讲解用经典的方式,即文档中介绍的方式来注册一个AzureAD应用,并通过此应用来访问和使用Power BI REST API,最终实现利用PowerQuery获取Power BI Service的所有数据集前述通过上文《Power BI REST API有多强大?PBI开发者必读》我们得知PBI API带给我们的强大能力,但国内尚无任何使用PBI API的专门教程,尽管国外有较丰富的教程资料,比如David发布的《Configuring Po

2020-09-30 17:40:45 1145

原创 Power BI REST API有多强大?PBI开发者必读

本文是D-BI之Power BI REST API系列第一篇,主要讲解Power BI REST API的概念,功能以及意义。后续第二篇和第三篇将讲解Power BI REST API的具体调用方法什么是Power BI REST API在解释Power BI REST API(下文简称PBI API)之前,先理解何为REST API。API是应用程序与其他应用程序通信的一套规则,而REST(Representational State Transfer,中文:表现层状态转换),通俗而言即为开发人员在创

2020-09-28 18:06:58 1413

原创 Power Query 数据规范利器:Table.AddFuzzyClusterColumn

本文讲解新M函数Table.AddFuzzyClusterColumn的强大功能以及用法。关于Table.AddFuzzyClusterColumnTable.AddFuzzyClusterColumn是Power Query的表函数之一,它可以对数据进行模糊匹配并分组,从而规范数据源中的数据,什么意思呢?一个简单的例子,比如地名“北京”,在数据源中它可能是“北 京”,“北京市”,“Beijing” 甚至“北平”,而该函数需要解决的,就是由数据录入不规范,数据本身的标准不统一等原因导致的这种数据杂乱的

2020-09-20 18:34:02 544

原创 Power BI更新升级报错解决方案

由于Power BI Desktop保持一月一次的频繁更新,那么在升级PBID版本时可能会遇到一些问题。本文列举目前遇到的与PBID版本升级有关问题的解决方案,后续有其他情况再作补充。Troubleshoot (提示|警告|错误)“安装程序必须更新在系统运行时无法更新的文件或服务。如果选择继续,将需要重新启动以完成安装程序。”此时点击确定后会反复出现此提示。重启电脑可以解决但不是好办法。此时不要退出安装程序,只需要打开任务管理器去关停所有与PBI有关的任务即可。比如:注意不要关停安装程序本身随

2020-09-16 11:29:55 1829

原创 Power BI非常规时间智能场景解决方案:以去年同期最近星期数为例

我是P特我最牛

2020-09-11 17:37:56 741

原创 Azure Synapse Analytics: 与PowerBI集成

本文主要讲述Synapse Analytics与PowerBI集成,以使PBI报表,尤其在大数据场景下,充分利用到Synapse Analytics的独特优势,显著提升报表性能。概述数据量过大会导致Power BI报表过度消耗内存或性能显著下降,BI端的聚合方案是一个很酷的解决方案,它利用聚合表实现根据不同情况在DirectQuery和Import模式之间切换(参见《Power BI 的大数据处理方案:聚合》),但如果你希望PBI在保证处理大数据的性能的同时,实现完全的实时,这种情况下就需要寄希望于数据

2020-09-03 10:53:18 375

原创 Azure Synapse Analytics核心技术解析(下)

前述上文讲到了Synapse Analytics的基本概念以及其最核心的MPP(大规模并行处理)架构及其分片模式,下文将讲解Synapse Analytics的其他几项重要的技术,其中,SQL池的工作负载管理允许你将内存利用的ROI最大化,确保重要的查询能够利用更多的内存资源;利用物化视图与结果集缓存能够显著地提高查询效率,并提升BI报表的加载速度。SQL池的工作负载管理首先,什么是工作负载管理?Synapse Analytics的SQL池依据其费用大小被分成多个级别,不同服务级别主要体现在两项配置:

2020-08-26 16:11:31 480

原创 Azure Synapse Analytics核心技术解析(上)

关于Azure Synapse AnalyticsAzure Synapse Analytics(以下简称Synapse Analytics)是Microsoft推出的一项将企业数据仓库和大数据分析结合在一起的,按需付费的,可随时拓展的集成分析服务。Synapse Analytics的推出很好地应用了现代企业数据架构【One Service】的理念,它集成了ADF,DW(SQL池),大数据框架Apache Spark,并且提供了一个统一的Studio界面(目前尚处于预览阶段)以便数据开发者,数据科学家及数

2020-08-21 17:39:43 1268

原创 PBID外部工具DAX Beautifier更新文档

本文是Power BI Desktop外部工具DAX Beautifier的版本更新说明(随版本动态更新),有关DAX Beautifier的详情与使用请参考此Github页面的Readme(英)或《PBID外部工具DAX Beautifier使用必读》(中),本文不再赘述。最初版本号为1.0.0,工具每次修改或移除,追加功能都会增加新的版本号,这些更改主要基于用户的反馈以及本人的测试。如果想使用该工具的历史版本可点此到达下载页面。版本 1.0.1如果没有检测到需要格式化的公式,程序将会跳过提交环节

2020-08-17 11:24:06 341

原创 PBID外部工具DAX Beautifier使用必读

关于DAX BeautifierDAX Beautifier是由本人(Davis.Z) 开发的一款Power BI Desktop外部工具,同时也是全球Power BI社区第一个基于Python语言开发的PBID外部工具,它的作用是可以使你一键美化PBI文件中的所有DAX公式,增强代码可读性并大幅提升开发效率。事实上,该工具早在2个月前已开发完成,但由于当时PBID尚未迎来7月的更新,还没有加入外部工具这一功能,因此当时的方案是需要手动解压PBIX或PBIT文件,然后运行程序修改文件夹下的DataMod

2020-08-06 22:48:19 1187 1

原创 企业级ETL: 关于 Azure Data Factory 及其优势

什么是 Azure Data FactoryAzure Data Factory (以下简称ADF),即Azure数据工厂,是一个部署于云端的数据集成系统,它允许在本地和云端之间转移数据,创建和编排复杂的数据流,并制定全面托管的作业,以实现自动的,按期执行的,无需人为干预的数据流。 按照官方的说法,ADF是一个“无代码ETL即服务”,可实际上,它更像是一个ELT平台 (提取-加载-转换)。但如果你熟悉SQL Server的生态,也可以简单地把ADF看成是云端版本的SSIS。基本概念Linked Se

2020-07-29 23:54:39 2294

原创 利用Azure Stream Analytics构建实时BI报表

本文主要讲解利用Microsoft Azure中的Stream Analytics 作业服务(以下简称ASA),实现数据从多个数据输入源(比如终端设备,应用程序,传感器等等)到数据库或数据集的实时传输。本文将以虚拟的树莓派设备为例,实现数据向Power BI数据集的实时传输,最终利用Power BI实现数据可视化。ASA 介绍ASA,全称Azure Stream Analytics(Azure 流式分析),是Microsoft Azure提供的一项完全托管服务,引用官方文档的介绍:“Azure 流分析是

2020-07-23 10:00:26 367

原创 Power BI Desktop 关于使用度量值组

本文是对PBI Desktop新功能度量值组的一点补充说明,我不会做任何关于此的重复劳动。具体理论和应用,请参考文末所列的文章及资料,因为这些资料已经非常完美。度量值组在Power BI Desktop已获支持昨天,微软Power BI和往常一样,发布了Desktop的月度更新,不同以往的是,这次更新不仅仅新增了一部分来自Excel的金融类DAX函数,最令人惊喜的是,这个版本的Power BI表格模型已经潜在地支持了度量值组。注:在旧版本Power BI Desktop,比如最近的2020年6月版本,

2020-07-16 18:05:30 1156

原创 PBIRS: 实现SSIS作业实时监控

本文将会分享一个我在过去做的一个ETL作业实时监控的报表项目,它利用Power BI Report Server (PBIRS) 直连 SQL Server 中的 SSIS数据库,实现对SSIS作业流的监控与管理。下文分享了项目的大体流程和现成代码。效果预览此处提供一个脱敏截图,仅供参考。你可以在此报表查询到最近所有的SSIS包任务的执行情况(你可以在SSMS修改SSIS数据库的历史数据记录范围),包括SSIS项目根目录,连接字符串,执行时间等等,你还可以像上图一样筛选出当日所有报错的任务,在左侧选

2020-07-07 15:18:25 1214

原创 Power BI 数据安全之敏感度标签 (下)

在上一篇,已讲解了敏感度标签的创建与发布,本篇讲解在Power BI Service实施敏感度标签的流程。在Admin Portal启用敏感度标签接上文,返回Power BI Service,在设置菜单栏打开Admin Portal页面,启用敏感度标签,你可以在此设置敏感度标签针对哪个用户组可用,或应用于整个组织:完成后,系统将提示设置将在15分钟后生效。(注:如果你此前未完成上篇的敏感度标签创建,且你的组织此前未创建任何敏感度标签,则此处设置会无法完成)为PowerBI报表和仪表板应用敏感度标

2020-07-02 15:23:23 663

原创 Power BI数据安全之敏感度标签 (上)

上个月,微软官方宣布Power BI敏感度标签已“Generally Available”(参见此文),那么什么是敏感度标签?对于使用Power BI的企业或组织而言有何作用以及如何实现?本文将会给出答案。何谓敏感度标签,有何作用在Microsoft安全中心创建标签并实施策略在Power BI实施敏感度标签总结...

2020-07-02 14:12:35 820

原创 一分钟格式化所有DAX及M语句

关于“DAX & M批量格式化工具”作为Power BI报表开发者,DAX代码的可读性十分重要,几年前SQLBI推出了一个免费web服务:daxformatter,它允许你粘贴你的DAX代码到输入框,一键助你完成代码的换行与缩进,提升代码可读性,最近,PQ里的M语言也有了类似的服务—Power Query Formatter, 利用这些工具,可以帮你无需手工操作就能完成换行缩进,提升你的报表开发效率。不过,这些工具的美中不足是不能一次性格式化多个公式,即使可以,一个个粘贴公式也是不方便的,因此,我

2020-06-28 11:30:41 861 1

原创 Power BI 的大数据处理方案:聚合

前奏说起PowerBI中的聚合,也许大多数人第一反应是DAX或M中的聚合函数,而本文所讲的聚合,是一项发布一年多而鲜有人知晓,百度几乎查不到资料却应用了微软PowerBI团队最酷的技术,并能够使PowerBI成为解锁PB级或是Hadoop规模等大型数据集的利器!(下图:Power BI Desktop中的"管理聚合")痛点过去,PowerBI以其强大的功能性,可视化交互能力,拖拽式设计的易用性,紧锣密鼓的更新以及活跃的社区,成为全球最受欢迎的敏捷BI开发工具,然而,对于处理企业级大型数据集显然是Po

2020-06-19 17:12:31 2016

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除