- 博客(204)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 数据库工具开源发布
数据库工具免费版发布封闭期间突然想到一直想写的一个小程序，帮助SQL Server 的调优工作，在SQL Server大师Charles Lv的大力帮助下，完成了此工具的开发工作，本来是想收费使用，想了想估计也没几个人付费，就免费大家使用了。但愿能帮助到大家工作，特别是SQL调优的工作。下载地址，： ...
2022-07-09 09:20:36
618
原创 Power BI 自定义门户----大成
为了解决Power BI 使用一系列的问题，Power BI门户方案诞生。整个疫情期间，闲来无事就开发门户，终于有所成。利用Power BI Embedded和Power BI Service 嵌入式集成，提供数据专业人员与组织内部或外部的任何人共享来自其 Power BI工作空间的报表， 为客户、 合作伙伴或供应商合作开辟了为前所未有的数据协作大门！...
2022-06-19 21:35:54
1964
2
原创 数据库工具免费版发布
为了方便SQL Server 的调优工作，在SQL Server大师Charles Lv的大力帮助下，完成了此工具的开发工作，本来是想收费使用，想了想估计也没几个人付费，就免费大家使用了。
2022-05-04 18:09:49
905
2
原创 Power BI Embedded 开发国内版-21V-版本实测
通过 Power BI 嵌入式分析，可以将 Power BI 内容（例如报表、面板和磁贴）嵌入到 Web 应用程序或网站中。很多客户都有这样的需求，如果看的人多，报表统一公开，统一管理，使用嵌入方案可以节约很多成本，Power BI Embedded的使用过程比较繁琐，而且文档中未有国内版本的实际操作，我通过实践，发现还是使用demo模拟过程中发现了很多有趣坑，最终成功的运行了dmeo。另外发现嵌入也可以使用RLS，也进行了模拟，这个功能很不错，可以实现外部用户登录应用时候也进行行级安全管理。稍作点复杂
2022-04-04 16:58:15
6456
原创 Databricks文档05----使用 Azure Databricks 连接SQL Server查询数据
创建新的notebook输入相关参数jdbcHostname = "-----"jdbcDatabase = "iotdb"userName = 'sa'password = ''jdbcPort = 8433jdbcUrl = "jdbc:sqlserver://{0}:{1};database={2};user={3};password={4}".format(jdbcHostname, jdbcPort, jdbcDatabase, userName, p...
2022-03-20 16:20:30
948
原创 Databricks文档04----使用 Azure Databricks 提取、转换和加载数据
使用 Azure Databricks 执行 ETL（提取、转换和加载数据）操作。 将数据从 Azure Data Lake Storage Gen2 提取到 Azure Databricks 中，在 Azure Databricks 中对数据运行转换操作，然后将转换的数据加载到 Azure Synapse Analytics 中。本教程中的步骤使用 Azure Databricks 的 Azure Synapse 连接器将数据传输到 Azure Databricks。
2022-03-20 15:56:21
4945
原创 Databricks文档03----Azure Databricks 创建
1、打开Azure portal 搜索资源：Azure Databricks2、输入相关信息3、网络选择，由于是实验，一切从简4、启动工作区5、创建计算群集
2022-03-20 14:50:12
686
原创 Databricks文档02----Databricks CLI
### 安装 CLI需要使用管理员身份进行安装请使用与 Python 安装相对应的 `pip` 版本运行 `pip install databricks-cli`。
2022-03-20 14:12:21
1064
原创 Databricks文档01----Azure Databricks初探
Azure Databricks 是一个已针对 Microsoft Azure 云服务平台进行优化的数据分析平台。 Azure Databricks 提供了三种用于开发数据密集型应用程序的环境：- Databricks 数据科学工程- Databricks 机器学习- Databricks SQL**Databricks SQL** 为想要针对数据湖运行 SQL 查询、创建多种可视化类型以从不同角度探索查询结果，以及生成和共享仪表板的分析员提供了一个易于使用的平台。
2022-03-20 13:56:43
4316
原创 SQL Server 2022 DataSheet
下面是SQL Server 2022 DataSheet,从整体内容来看，SQL Server 2022 可以和MI 建立 failover，这个功能还是可以期待下，有的客户与这样的需求。 线上线下同步，或者可以做到故障转移。
2022-03-11 15:22:42
1037
原创 使用Azure Data Factory优雅的迁移SQL Server 2000 DTS包
简介最近搞了一个好玩的项目，客户的数据库从SQL Server 2000迁移到 Azure SQL 。数据库数据迁移并不是难事，关键客户环境好玩的是使用了50多个DTS包，DTS包是比较古老的产品。很多人估计都没见过了，DTS其实是 SSIS的前生，DTS功能就是实现ETL的过程。客户的50多个包实现各种数据的复制、转换和集成。Azure Data Factory 介绍Azure 数据工厂是 Azure 的云 ETL 服务，用于横向扩展无服务器数据集成和数据转换。 它提供了无代码的 UI
2021-12-18 20:55:20
971
原创 Power BI统一报表平台演示环境发布
Power BI统一报表平台演示环境发布为了更好展示统一报表平台功能，本人不惜重金买了云服务器，部署了一套完整的演示环境。访问地址：http://139.155.238.7:8080/手机也可登录，体验移动端访问的效果。由于经费有限，服务器带宽较低，因此访问速度可能较慢，请耐心等待。演示环境设置了不同角色用户，每个用户登录后，根据权限不同报表均不相同。管理员用户：Pbiadmin, 密码：123456领导：user01，密码：123456财务部测试用户：user02，密码：123456综合
2021-10-10 17:48:37
1557
1
原创 庆国庆，Power BI 统一报表门户横空出世，指南请收
目录功能说明主要实现集成方面功能：门户功能：权限和安全移动端报表系统架构使用界面简介PC用户登录移动端报表界面管理员登录系统管理目录和报表管理报表目录管理目录权限管理报表权限管理用户报表权限查看报表行权限管理报表行角色管理报表行角色和用户查看报表行角色和组查看所有用户角色权限查看移动报表管理移动报表内容管理移动报表权限管理门户用户管理系统用户管理系统后台管理应用集成单点登录...
2021-10-07 21:27:23
2371
2
原创 数据安全，配置先行；如何检查，SQL 评估 API
数据安全，配置先行；如何检查，SQL 评估 APISQL 评估 API 提供了一种机制来评估 SQL Server 的配置，以获得最佳做法。 该 API 附带一个规则集，其中包含 SQL Server 团队建议的最佳做法规则。 随着新版本的发布，此规则集得到了增强，但同时，此 API 旨在提供高度可自定义且可扩展的解决方案。 这样用户便可以优化默认规则并创建自己的规则,并且可以进行自己开发，也就是说利用此API你还还可以开发自己的评估工具。若要确保 SQL Server 配置符合建议的最佳做法，你就会发
2021-08-26 20:38:44
336
原创 拨开云雾见日月：SQL Server 调优之查询存储
拨开云雾见日月：SQL Server 调优之查询存储数据库调优一直都是大家觉得比较困难的事情，SQL Server提供了很多方便的工具帮助大家进行性能分析，这边介绍下SQL Server的性能调优的重器：查询存储什么叫查询存储，就是 QUERY STORESQL Server 查询存储功能让你可以探查查询计划选项和性能。 它可帮助你快速找到查询计划更改所造成的性能差异，从而简化了性能疑难解答。 查询存储将自动捕获查询、计划和运行时统计信息的历史记录，并保留它们以供查阅。 它按时间窗口将数据分割开来，
2021-08-20 13:26:41
743
原创 PowerBI Report Server 自定义视图无法显示故障解决
PowerBI Report Server 自定义视图无法显示故障解决很久不写blog，搞开源，搞AKS，K8S 。但是最近出现了PBI故障，研究一番，记录下情况，为大家某个福利。如下图，红线内，为导入的自定义视图，PBI Desktop 打开正常。若正常显示会如下图。发生故障后，会出现空白显示按F12 用开发工具查看，会发现无数的401错误仔细研究，所有的报错的js 单独访问能够打开。因此说明不是401的问题。仔细分析后发现是iframe 访问的 js都有...
2020-08-19 22:09:10
3347
2
原创 Power BI 报表服务器企业一站式全链路解决方案
Power BI 报表服务器企业一站式全链路解决方案（单点登录，自定义报表门户，自定义权限，应用集成）前言Power BI 从诞生开始就成为耀眼的明星，有着几大优势1、快速上手2、简单明了3、报表炫酷问题来了但是当你真的在企业中运用Power BI 需要进行分享，而又不希望使用在线Power BI PRO,那使用报表服务器进行报表的分享和呈现就是你的选择，...
2020-04-14 22:11:54
4694
10
原创 2019年个人总结，写在人生不惑之年
2019年个人总结，写在人生不惑之年前半生不犹豫、后半生不后悔---阿特语录其实这句话不是我说的，但是加上阿特语录感觉很高大上，多年前看到了这句话，我信奉为人生格言。 于是在过去20年来做很多事情，很多决断都非常果断，基本没有什么犹豫。今已入不惑之年，人生不惑，不后悔过去，不后悔将来。回望过去为了展望未来，记过去感慨万千。23年来入蓉途，犹记当年青衫薄，蓬头垢面早读书。川师...
2020-01-22 17:55:41
4340
2
原创 K8S+Harbor+gluster+haproxy 实践加坑
K8S+Harbor+gluster+haproxy 实践加坑 —阿特&Max Shen半年未有blog，今日归来玩开源。莫问英...
2019-10-29 22:38:11
6868
原创 06、SQL Server大数据群集进阶--理解大数据构架
06、SQL Server大数据群集进阶--理解大数据构架之前创建了一个SQL BigData群集，也进行了HDFS连接查询的操作，一切看起来都挺简单的，也能运行起来。但是也没发现有什么特别之处，与普通的SQL实例相比也好像没有区别。因此我们要更加深入的学习和剖析大数据群集。大数据构架目标是实现大数据的导入、存储、管理、查询、分析、预测。数据导入首先需要完成数据的导入工作。在...
2019-04-17 23:12:32
1284
原创 05.SQL Server大数据群集小试牛刀--HDFS查询
05.SQL Server大数据群集小试牛刀--HDFS查询SQL Server大数据群集查询HDFS ，利用之前创建好的大数据群集，使用官方提供的测试数据进行测试。脚本是官方的脚本，要知道干了什么，就需要分析脚本了。大概干几件事情1、下载测试数据bak2、还原数据库3、导入出数据写入到HDFS要完成这些任务，必须有几个工具才能完成，所以前提条件是要安装之前提过的几个大数据工具...
2019-03-11 21:08:34
887
原创 04.千淘万漉虽辛苦,吹尽黄沙始到金——SQL Server大数据群集初探
04.千淘万漉虽辛苦,吹尽黄沙始到金——SQL Server大数据群集初探[TOC]上一篇终于创建好了群集，但是如何使用呢？首选需要理解SQL Server 2019 大数据群集的概念，从开始SQL Server 2019 预览，SQL Server 大数据群集允许你部署的 Kubernetes 上运行的 SQL Server、 Spark 和 HDFS 容器的可缩放群集。 并行运行这些组...
2019-03-10 17:56:27
944
原创 03.三月风雨愁断肠，学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠
03.三月风雨愁断肠，学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠[TOC]前言使用AKS创建SQL Server大数据群集有几种方法，由于产品不断的更新，SQL 2019也还没有正式发布，文档也会发生很多错误，在测试SQL Big Data遇到了很多的问题，终于经过几次尝试搞清楚了怎么来创建。 写下来给大家1、首先必须申请使用，申请链接 https...
2019-03-10 17:23:04
753
原创 SQL Server 大数据群集 部署（二）工具篇
SQL Server 大数据群集 部署（二）工具篇在进行部署大数据群集之前，先要安装一系列的工具，下表列出了常用的大数据群集工具以及如何安装它们：工具 Required Description 安装 mssqlctl 用户帐户控制 用于安装和管理大数据群集的命令行工具。 安装 kubectl1 用户帐户控制 监视基础 Kuberent...
2019-01-25 20:32:43
1781
原创 SQL Server 2019 新特性之 SQL Server大数据群集 介绍（一）
SQL Server 2019 新特性之 SQL Server大数据群集 介绍（一）从开始SQL Server 2019 预览，SQL Server 大数据群集允许你部署的 Kubernetes 上运行的 SQL Server、 Spark 和 HDFS 容器的可缩放群集。 并行运行这些组件，以使您能够读取、 写入，并处理从 TRANSACT-SQL 或 Spark 的大数据、 使您轻松合并和...
2019-01-24 20:11:17
12061
1
原创 云世界，一切如梦幻，数据也玩虚拟化。 SQL Server 2019 新特性系列一：数据虚拟化
SQL Server 2019 新特性系列一：数据虚拟化最新更新 SQL Server已经到了CTP2.2版本，主要更新了如下功能： 大数据集群：在大数据群集上使用 azure 数据工作室中的 sparkr 数据库引擎：在 sql server 复制中使用 utf-8 字符编码。 SQL Server 2019 CTP 2.0 开始的重要方案之一是能够虚拟化数据。 此过程允...
2019-01-05 22:23:19
1607
2
原创 新年新气象，从SQL Server 2019新特性开始！
SQL Server 2019新特性开篇概述2019年了，新年伊始，SQL Server 2019已经到CTP 2.1 ，一直没有认真的学习SQL Server 2019 ，既然是新年新气象，就从新的SQL Server 2019开始，完成一系列的SQL Server 2019的学习。SQL Server 2019在新的功能上可以看到有几个重大方向的内容。 大数据群集 数据...
2019-01-02 11:25:25
14691
原创 纵有倚天剑还要屠龙刀，实现Power BI报表服务器自定义认证
纵有倚天剑还要屠龙刀，实现Power BI自定义认证文章目录纵有倚天剑还要屠龙刀，实现Power BI自定义认证概述如何实现配置部署和Demo排错总结概述在Power BI 身份认证体系上，我们默认使用AD作为认证体系，AD即活动目录体系来说，是微软整个平台的核心，可以说是倚天剑。默认情况下， Power BI 报表服务器 接受指定 Negotiate 或 NTLM 身份验证的请求。 如果部...
2018-11-05 12:29:13
7171
4
原创 Power BI 夜校完美收官-所有视频资料可下载
感谢各位参与，从9月20日到11月1日，一共完成了5讲Power BI夜校内容。感谢各位的参与，总共有500人次参与课程， 大家在学习过程中也有很多反馈和内容。有什么问题没有及时回答的请发我邮件[email protected] 或者在微信群中提问。所有的课程内容已经发布到网盘，：https://pan.baidu.com/s/18M8hNyKiCLK0dPwcR...
2018-11-05 09:38:27
5630
6
翻译 Power BI Desktop 10月更新
Power BI Desktop 10月更新本月的 Power BI Desktop更新在整个产品中都有小的和大的改进。一个巨大的更新是Power BI服务支持复合模型和聚合预览。我们本月还有两个重要的数据准备功能: 合并查询和数据分析以帮助识别质量问题时的模糊匹配功能。主要更新：报表 过滤器搜索 提升可访问的创作体验 ArcGIS Map性能提升 模型...
2018-10-16 15:46:59
1594
原创 浅谈实现SQL Server远距离异地容灾
浅谈实现SQL Server远距离异地容灾SQL Server 从2012 推出 SQL Alwayson 以来，使我们对SQL Server数据库容灾产生翻天覆地的变化。 其优点很明显1、不依赖于特殊硬件2、可以跨越子网3、现在已经可以支持到9个副本，包括一个主副本和两个同步提交辅助副本。 于是我们诞生了像如下图的容灾方案，跨越数据中心的方案，如异地容灾。...
2018-10-08 14:20:53
5414
原创 世界变化快，不学“SQL托管实例”跟不上时代
世界变化快，不学“SQL托管实例”跟不上时代云时代，云变化会很快，稍微不留意，就有新的东西发布，今天我们来看看Azure SQL新功能，叫做：Azure SQL 托管实例。Azure SQL 数据库托管实例（预览版）是 Azure SQL 数据库的一项新功能，几乎与本地 SQL Server（Enterprise Edition）100% 兼容。它提供一个本机虚拟网络 (VNet) 实现来...
2018-08-18 18:21:56
1264
原创 又是一年秋来到，学习要趁早，Power BI Desktop8月更新又来了
又是一年秋来到，学习要趁早，Power BI Desktop8月更新又来了8月份的更新又来了，很是丰富。 支持Python 导出PDF 其他功能 详细的功能列表如下：报表： 导出PDF 创建书签组 主题更新 切片器重述 分析 按值设置条件格式 Python 集成 (预览) Q&A 改进 和...
2018-08-16 21:18:56
1044
原创 问君能有几多愁，恰似不懂Linux SQL如何调优——聊聊SQL Server on Linux最佳实践
问君能有几多愁，恰似不懂Linux SQL如何调优——聊聊SQL Server on Linux最佳实践自从微软开始拥抱Linux， SQL Server 很快就推出了 Linux版本， linux的SQL 与windows 在运行环境截然不同，SQL自己的配置和优化几乎想通，但是涉及到操作系统层的优化，还是有所区别。 官方给了一些最佳实践。SQL Server 配置1、Use PROCESS A...
2018-06-15 19:12:05
1385
原创 曾为浮云遮望眼，平沙莽莽黄入天。 终有一缘得一道，拨开云雾见青天！ ——论如何快速删除上亿级数据集思路
曾为浮云遮望眼，平沙莽莽黄入天。终有一缘得一道，拨开云雾见青天！ ——论大数据集删除思路缘起多年前就遇到过一个问题，后来在工作中也困扰多年，被多次困扰。曾经一个环境中一个业务数据库，每天增长差不多10G，然后半年差不多1.8T，到这个量级后，备份和维护时间都很长，虽然我们有时间窗口，此系统基本是5*8...
2018-06-12 22:05:18
727
原创 无可奈何花落去，数据丢失时时来；何当共谈完整性，却话巴山夜雨时----详解SQL Server 数据库库完整性检查和置疑修复
前情提要数据库完整性！这不是SQL Server独有，有点用户认为是SQL Server设计的问题出现数据库不完整，准确的告诉你，所有的数据库系统，都会存在这问题。 就是数据库出现不完整。 数据库完整性是指数据库中数据在逻辑上的一致性、正确性、有效性和相容性。SQL Server 中完整性检查包含如下：检查指定数据库的磁盘空间分配结构的一致性。检查组成表或索引视图的所有页和结构的完整性。检查...
2018-06-11 21:10:24
1519
原创 SQL Server日志的自我陈述--数据库日志介绍和管理不完全指南
SQL Server日志的自我陈述--数据库日志介绍和管理不完全指南作者：Max Shen听过了人间的悲喜，最难过的莫过于做IT的数据库坏掉了。而更难过的是没有备份，比更难过还难过的是日志不完整。是时候讲一讲日志的故事。不懂日志的DBA一定是个一个假的DBA，不懂日志备份的工程师一定没经历过系统的大悲大喜。 关键知识点每个 SQL Server 数据库都具有事务日志，用于记录所有事务以及每个事务...
2018-06-04 14:09:26
4381
原创 学会了PowerBI简单的托托拽拽，是时候学习下DAX了
学会了PowerBI简单的托托拽拽，是时候学习下DAX了不学好DAX，PowerBI对你来说就是个娱乐工具。 对于学习PowerBI来说，看起来一切都很简单，但是不会DAX的话你永远不能说自己已经会Power BI了，DAX又是那么博大精深， 一起来学习下DAX，我们来通过一个例子，看看DAX可以干什么。 首先我们打开PowerBI,选择建模，点击新表，输入如下Numbers = SEL...
2018-05-22 16:53:20
5775
2
原创 SQL 数据发现和分类
GDPR的出台，让大家对数据管理安全提高到了一个新的高度， 但是数据库作为数据的核心，如何确保符合监管要求和隐私标准?SQL 提供了各种技术手段，如行安全，列掩码，安全管控等，但是如何确定在纷繁复杂的数据中确定数据安全，SQL 又提供了一个良好的工具给大家使用：数据发现和分类。一样SQL工具优良传统：免费、好用数据发现和分类引入了全新工具，并将其内置于 SQL Server Managemen...
2018-05-17 12:47:22
1508
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人