- 博客(56)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据仓库实施之五 SSIS调试和问题解决
调试SSIS包调试总体介绍开发过程中调试观察行的条数以及输出结果在输出窗口中观察事件逐步调试包执行跟踪变量的值在数据流中查看中间过程的值在生产环境中调试查看日志文件创建垃圾文件观察包执行事件包在执行过程中是按照顺序执行的，而且在输出窗口中，可以看到执行的过程，执行的结果等等。我们可以根据事件来判断包在执行过程中是否有问题以及是什么样的问题断点在执行过程中可以在任务中添加断点，跟C#编程类似，可以使
2012-12-25 11:10:18
721
1
原创 数据仓库实施之四 在SSIS中使用控制流
控制流介绍控制流任务控制流是基于包存在的，分为多个任务来执行。总的来说，控制流中包含了以下9大类任务数据流数据库任务文件和网络任务执行过程任务WMI任务自定义逻辑任务数据库转换任务分析服务任务数据库维护任务在任务与任务之间有优先以及逻辑之分。控制流的执行结果分三种，成功，失败和完成。逻辑关系分为两种，逻辑或，逻辑与。甚至我们可以把多个任务用容器包裹起来作为一个单元组建立动态的包变量用户变量用户自定
2012-12-25 10:48:25
776
1
原创 数据仓库实施之三 使用SSIS创建ETL解决方案
SSIS以及ETL介绍ETL的选择SSIS导入和导出工具T-SQLBCP实用工具复制什么是SSISSSIS是SQLServer的一个组件，作为SQLServer最重要的ETL操作平台，包含了控制流引擎和数据流引擎。SSIS最小的但是是包（package），包可以单独部署。比包更大的是SSIS项目，一个项目可以包含多个包，项目可以部署到SSIS Catalog。SQLServer 2000版本的DT
2012-12-25 10:15:12
1054
1
原创 数据仓库实施之二 数据仓库设计以及实施
数据仓库的逻辑设计基于维度的模型数据仓库设计的理念就是去解决业务的问题。在大多数情况下，业务人员和执行人员关心的是从某些角度（产品，客户，雇员，时间）来聚合有意义的值（销售额，成本，收益）。从这个角度出发，他们需要知道的基于的这些角度我们就称之为维度。星型模型一种传统的设计模式（star schema）相关的维度值被设计在一个或者多个维度表中相关的度量值被设计在一个或多个事实表中事实表和维度表通过
2012-12-24 15:21:46
1035
1
原创 微软2012 TechED （微软技术大会）12.4 to 12.6
一年一度激动人心的时刻来到了，微软技术大会2012到来。 主会场鸟巢，12.4，微软新技术介绍。听微软研发部总监们对微软未来技术走向，蓝图的介绍 分会场九华山庄，12.5--12.6，实际动手操作（Hands On Lab）。亲自动手感受新技术新功能，SQLServer 2012， Windows 8 & Windows phone 8等你来参与。 http://ww
2012-11-29 16:54:56
495
原创 数据仓库实施之一 数据仓库介绍
关键字：数据仓库，data warehouse，microsoft，SSAS数据仓库总览总的来说，数据仓库就是企业和组织用来将数据集中化之后进行报表的制作和分析的解决方案。实施一个数据仓库的解决方案能让企业和组织获得很多好处：关键业务信息的准确性和全面性报告集中化的信息使能做出更好的分析和决策作为商业智能方案的基础以下的文章为您介绍数据仓库解决方案的关键组件以及当您自己将要着手一个数据仓库时候需要
2012-11-19 17:11:37
669
1
原创 SQL Azure
关键词：云计算，微软云技术，Azure云数据库服务，专注于解决方案而非基础架构安装、建立、修补和维护数据库需要花费大量的时间和精力，但是并不能够帮助解决业务问题。期望获得业务敏捷性的企业还需要作出更多的努力，进一步扩展灵活性、维护高可用性，并为全球性的客户群体提供服务。作为Windows Azure平台的一部分， SQL Azure通过一整套云数据库服务来帮助客户解决这些问题。SQL Azure
2012-11-07 14:25:25
671
原创 微软大数据解决方案
关键词：大数据，解决方案，hadoop，apache总体介绍为了从数据中寻找商业价值，如今的企业面临着越来越多的挑战：首先，新的设备和传感器不断出现，导致数据持续激增和硬件成本迅速下降。如今，更多的企业需要存储TB甚至PB的数据。其次，当客户既以关系型格式存储结构化数据，又存储非结构化数据时（例如WORD或者PDF文件、图像、视频和地理空间数据），数据会更加复杂。事实上，行业分析师证实，超过80%
2012-11-07 14:05:24
12277
1
原创 微软私有云
关键词：云计算，私有云，hyper-v什么是私有云私有云是云服务在企业专用资源上的实施，无论这些资源是否在本地。私有云为专用资源提供额外的控制及定制方法，客户可以从中享受到许多公共云计算所带来的的好处，包括自助服务、可伸缩性、较强的灵活性等。私有云可以实现两种云服务模型：云基础设施服务（IaaS）和云平台服务（PaaS）。IaaS允许客户使用基础设施资源（计算、网络及存储），以此来提供服务；Paa
2012-11-07 13:49:23
14867
10
原创 微软大数据平台
关键字： 大数据，hadoop，big data，微软大数据什么是大数据 身处一个信息爆炸的时代，数据成为企业中不可或缺的重要部分。无论是统计，分析还是预测，企业为了做出决策对数据的依赖性越来越高。从最开始的ERP, CRM系统数据到后来的web2.0电子商务，广告，移动，协作的数据到今时今日wiki，blog，天气图像，文字，影音等等。我们把现在的的数据叫做大数据（big data）。
2012-11-06 10:29:41
1697
1
原创 SQL Server -- StreamInsight 复杂事件处理平台简介
什么是StreamInsight 信息技术的广泛应用，数据流作为一种新颖的数据结构在日常生活中有着越来越广泛的应用，微软在SQL Server 2008 R2 中推出了分析处理数据流的新组件——StreamInsight。 它提供了基于DotNet框架的开发环境，用户能够轻松地使用它来开发出健壮，高效地数据流处理程序。 StreamInsight的本质是复杂事件处理（Compl
2012-11-01 10:20:54
1750
2
原创 使用SSIS将数据从Cube中导出到关系型数据库
关键字：Cube，导出，关系型数据库，sqlserver 实际工作中，可能遇到某些场景，需要把做好的Cube里面的数据，导出到sqlserver等等数据库中。这个时候问题就出现了，Cube存的是所谓的多维数据，但是关系型数据库中存的是二维数据表，当执行这个操作的时候（SSIS），就会报错： SSIS package "Package1.dtsx" starting.Informatio
2012-10-30 10:56:26
1709
原创 SOA（Service-Oriented Architecture） 简单介绍
关键词：SOA, Service-Oriented Architecture, BizTalk 什么是SOA面向服务的体系结构（Service-Oriented Architecture，SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样
2012-10-25 14:36:20
2373
原创 SOA（Service-Oriented Architecture） 简单介绍
关键词：SOA, Service-Oriented Architecture, BizTalk 什么是SOA面向服务的体系结构（Service-Oriented Architecture，SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样
2012-10-25 14:19:17
120
原创 BizTalk 架构解析
关键字：BizTalk 企业面临的挑战1，信息不一致 当今企业通常会使用多套系统来维持公司的运作，大众化的例如业务系统，人事系统，财务系统，ERP系统，CRM系统，特殊行业也会有他们各自的系统来控制和管理公司业务。在这个情况下，企业需要人工的协调并整合不同来源的信息，这样花费掉了极大的时间而且经常会出现这样那样的错误，对决策有着相当消极的影响。2，流程效率低下 通常企业也会需要
2012-10-25 14:00:37
6811
1
原创 BizTalk 总览
关键字：sqlserver 2012，BizTalk 什么是 BizTalkBizTalk Server 是微软提供的连接和集成服务的综合解决方案。至今为止，BizTalk已经发布了7个版本，最新版BizTalk 2010提供了让用户更简单跟方便的连接到各个系统的集成解决方案。BizTalk中包含有超过25种平台服务的桥接器和十分健全的消息发送架构，这些组件可以让用户轻松的访问内部以及
2012-10-25 11:07:17
1296
原创 SQL Server 2012 开发新功能 序列对象（Sequence）
关键字：sqlserver 2012， 序列，sequence 众所周知，在之前的sqlserver版本中，一般采用GUID或者identity来作为标示符，但是identity是一个表对象，只能保证在一张表里面的序列，当我们遇到以下情况时，表1ID订单类型价格1火车票2004飞机票20005船票60
2012-10-23 11:10:06
1925
原创 SQL Server 2012 数据质量服务实战简介（Data Quality Services）
关键字：sqlserver 2012，DQS， Data Quality Services，数据质量服务 数据质量服务是包含在SQL Server 2012中的一个组件。我们需要安装数据质量服务端和客户端，这些在sqlserver 2012的安装文件中都可以找到。安装服务端以后，在我们sqlserver数据库中会出现3个新的以DQS开头的数据库这三个数据库分别用来存储数据质量服务
2012-10-22 17:14:36
3991
原创 sqlserver 实现字符串的聚合
关键字：sqlserver 2012，FOR XML PATH, 连接字符串 大家可能在工作中都遇到过需要聚合字符串的情况，例如：实际的表数据如下departname开发部张三开发部李四财务部王二财务部麻子运营部路人甲 然后通过聚合，希望得到的结果
2012-10-19 14:01:48
1846
1
原创 SQL Server 2012 列存储索引
关键字：sqlserver 2012，列存储索引，column index 概述 SQL Server 2012 通过采用列式存储的索引，大大提高了数据仓库的查询效率。这种全新的索引与其它新功能相结合，在一些特定应用场景下可以将数据仓库的查询性能提高数百倍甚至数千倍，对于一些决策支持类的查询，通常也可以达到10倍左右的性能提升。这些性能的提升，都是通过大家所熟悉的T-SQL语句以及SQL Serv
2012-10-19 10:45:04
23223
原创 SQL Server 2012 新功能简介之五 数据的可靠性，一致性
数据质量服务数据质量服务（DQS）作为SQL中一项全新的服务，能够帮助企业实现端到端的数据管理。DQS提供客户可以使用的知识驱动工具，允许数据管理员创建并维护一个数据质量知识库（DataQuality Knowledge Base），这个知识库对于提高数据质量很有帮助，并且能够简化数据管理。具体而言，客户可以使用企业的相关知识信息来完成数据的配置、清除及匹配，对于数据质量可以完全放心。DQS可
2012-10-19 10:36:13
1523
原创 SQL Server 2012 新功能简介之四 数据发现
PowerView从业务主管到信息工作者，微软向各级用户提供基于网络的高交互式数据探索、数据可视化及数据显示体验，这使得自助式报表服务成为现实。现如今，任何人都可以在仅仅数秒的时间内完成一个报表的创建，并且只需点击一下鼠标就能改变数据的表现形态，还可以通过增加强大的定时动画序列来快速识别数据所反映出来的趋势及异常，或者通过阅读大量现有商业洞见的相关材料提出更加有说服力的论点。 Pow
2012-10-19 10:35:27
1197
原创 SQL Server 2012 新功能简介之三 企业安全性及合规管理
SQL Server在审核功能方面的改进使其灵活性和可用性也得到一定程度的增强，这能够帮助企业更加自如地应对合规管理所带来的问题。· SQL Server所有版本中均提供了数据审核功能，这样一来，企业可以在所有版本中使用原先只面对企业版开放的审核功能，因此更多彻底审核在SQL Server数据库范围内得以进行，从而实现了审计规范化，这同时也为SQL Server带来了更好的性能及
2012-10-19 10:34:00
1075
原创 SQL Server 2012 新功能简介之二 性能的提升
通过在数据库引擎中引入列存储技术，SQL Server成为第一个能够真正实现列存储的万能主流数据库系统。列存储索引将在SQL Server分析服务(SSAS，PowerPivot的重要基础)中开发的VertiPaq技术和一种称作批处理的新型查询执行范例结合起来，为常见的数据仓库查询提速，效果十分惊人。在测试场景下，星型联接查询及类似查询使客户体验到了近100倍的性能提升。 全面改进全文搜索
2012-10-19 10:33:05
1571
原创 SQL Server 2012 新功能简介之一 安全性和高可用性
SQL Server AlwaysOn全新的SQL Server AlwaysOn将灾难恢复解决方案和高可用性结合起来，可以在数据中心内部、也可以跨数据中心提供冗余，从而有助于在计划性停机及非计划性停机的情况下快速地完成应用程序的故障转移。AlwaysOn提供了如下一系列新功能：· AlwaysOn AvailabilityGroups 是一个全新的功能，可以大幅度提高数据库
2012-10-19 10:32:01
2375
1
原创 语句调优 之一 是否是因为做了物理I/O而导致的性能不佳
用什么办法能知道一条语句的运行有没有做物理I/O呢？怎样才能知道，一条语句在数据提前缓存在内存里的前提下，要运行多久呢？这个信息管理员要打开set statisticsio on 和set statistics time on开关以后，运行语句，才能得到。例如运行下面这段话，因为它在运行之前使用dbccdropcleanbuffers指令清除了缓冲池里所有缓存的页面，所以一定会做物理I/O动作
2012-10-19 10:23:20
62
原创 阻塞与死锁 之五 分析
总结以上分析，如果数据库应用开发者或管理员想要影响SQLServer锁的申请和释放行为，以缓解阻塞或死锁问题，需要考虑的因素有：1. 事务隔离级别的选定。事务隔离级别越高，隔离度就越高，并发度也就越差。如果选择了比较高的隔离级别，SQLServer不可避免地要申请更多的锁，持有的时间也会增加。所以在设计应用的时候，一定要和用户谈好，尽量选择默认的隔离级别（READCOMMITTED）。
2012-10-19 10:20:38
840
原创 阻塞与死锁 之四 如何监视锁的申请，持有和释放
在分析不同形式的语句执行对申请锁行为的影响之前，管理员要先了解怎么去监视一个连接当前持有的锁，以及怎么去监视一个语句的执行过程中，SQL Server对锁的申请和释放行为。检查一个连接当前锁持有的锁 通常可以使用sp_lock这句命令来列出当前SQL Server里所有的连接持有的锁的内容。我们也可以查询sys.dm_tran_locks这张系统动态管理视图来实现。SELECT
2012-10-19 10:16:22
1137
原创 阻塞与死锁 之三 事务隔离级别与锁的申请和释放
数据库有并发操作的时候，修改数据的事务会影响同时要去读取或修改相同数据的其他事务。如果数据存储系统没有并发控制，则事务可能会看到以下负面影响：· 脏读：当一个事务开始更新数据，但是这一个事务并没有完成提交，这时候，第二个事务开始读取数据，把第一个事务所更改的数据读了出来。第二个事务读取的数据是临时的，而且很危险的，因为有可能第一个事务最终做rollback操作·
2012-10-19 10:14:03
2052
原创 阻塞与死锁 之二 锁资源模式和兼容性
SQL Server数据库引擎具有多粒度锁定，允许一个事务锁定不同类型的资源。为了尽量减少锁定的开销，数据库引擎自动将资源锁定在适合任务的级别。锁定在较小的粒度（例如行上）可以提高并发度，但开销较高，因为如果锁定了许多行，就需要维护很多锁。锁定在较大的粒度（例如表）上，会降低并发度，因为锁定整个表限制了其他事务对表中任意部分的访问，但其开销较低，因为需要维护的锁数目较少。数据库引擎通常必须获取
2012-10-19 10:12:22
1047
原创 阻塞与死锁 之一 锁产生的背景
事务是关系型数据库的一个基础概念。它是作为单个逻辑工作单元执行的一系列操作。一个逻辑工作单元必须有4个属性，称为原子性、一致性、隔离性和持久性属性（ACID），只有这样才能成为一个事务。 原子性事务必须是原子工作单元；对于其数据修改，要么全都执行，要么全都不执行。比如一个事务要修改100条记录，要不就100条都修改，要不就都不修改。不能发生只修改了其中50条，而另外50条没有改的情况。
2012-10-19 10:11:23
815
原创 SQL Server 损坏修复 之四 Database Mirroring和AlwaysOn的页面自动修复功能
在SQL Server 2008Enterprise或更高版本上有一个很诱人的新功能。如果某个配置了数据库镜像或者AlwaysOn的数据库发生数据页面访问错误（823、824和829），数据库伙伴会自动尝试解决错误。无法读取页的伙伴会从其他伙伴请求新副本。如果此请求成功，则将以新副本替换不可读的页，这通常会解决发生在镜像或AlwaysOn的主服务器上的页面损坏。1. 数据库镜像的页面自动修
2012-10-18 11:09:17
1869
原创 SQL Server 损坏修复 之三 不同部位损坏的应对
如果数据库或数据库备份受损，在检查数据库完整性的时候，会发现各种各样的错误。在这一节里，我们针对不同的损坏部位，给出不同的应对方法。首先，我们创建一个测试数据库。 CREATE DATABASE TESTDBGOUSE TESTDBGOCREATE TABLE TESTTABLE(ID int,NAME nvarchar(50)) --建立两个索引，其
2012-10-18 11:08:57
6081
1
原创 SQL Server 损坏修复 之二 DBCC CHECKDB
DBCC CHECKDB指令可以完成两项任务：（1）检查数据库里有没有损坏发生。（2）尽力修复数据库损坏，使数据能够重新被正常访问。所以哪怕是一个正常运行的数据库，也建议定期运行这句指令，以确保没有损坏发生。对于已经发生访问错误的数据库，应该在第一时间运行这句指令，了解损坏的范围和程度。那么DBCCCHECKDB究竟做了哪些检查呢？在做些什么DBCC CHECKDB通过依次执行下列操作
2012-10-18 11:08:26
6787
原创 SQL Server 损坏修复 之一 常见错误解读
SQL Server 对数据库损坏的错误类型做了细化，在此对几个典型的错误作一下介绍。 错误信息是：“在文件 '%ls'中、偏移量为 %#016I64x 的位置执行 %S_MSG 期间，操作系统已经向 SQL Server 返回了错误 %ls。”“The operating systemreturned error %ls to SQL Server during a %S_MSGat
2012-10-18 11:07:52
7488
1
原创 数据库备份与恢复 之七 应对由于备份损坏导致的还原错误
数据库管理员最大的梦魇，莫过于已经做了备份，但是在想恢复的时候，发现备份文件也是坏的。这将意味着数据库的丢失，后果非常可怕。发生这种情况的原因一般有3个：· 备份文件和数据库放在同一个（或一组）物理硬盘上。硬盘出故障，备份也保不住。· 备份介质损坏；或者做的是网络备份，数据在网络传输中发生了损坏。· 数据库在做完整备份、文件备份或者文件组备份的
2012-10-18 11:07:32
5355
1
原创 数据库备份与恢复 之六 带有FILESTREAM功能的数据库备份和恢复
从SQL Server 2008开始，数据库引入了FILESTREAM这个功能。对于BLOB数据，如Images, Video, Word文档等等，可以存放在文件系统中，而不是在数据库文件里。这对数据库备份和恢复有什么影响呢。我们通过一个例子，来检查一下带有FILESTREAM功能的数据库备份和恢复方案。 第一步，在数据库服务级别，启动FILESTREAM，我们可以打开数据库的配置管理器，
2012-10-17 16:36:59
1342
1
原创 数据库备份与恢复 之五 系统数据库备份与恢复
前面我们讲的备份与恢复，都是集中在用户数据库上。SQLServer还维护着一组系统级数据库（称为“系统数据库”），这些数据库对于服务器实例的运行至关重要。每次进行过系统更新后，都必须备份多个系统数据库。必须备份的系统数据库包括msdb、master和model。如果有任何数据库在服务器实例上使用了复制，则还必须备份distribution系统数据库。备份这些系统数据库，就可以在发生系统故障（例如硬
2012-10-17 16:34:47
1810
2
原创 数据库备份与恢复 之四 选择数据库还原方案
为了帮助用户能以最快的速度还原数据库，SQLServer也在不断引入新的还原方法。SQL Server一共可以支持4个级别的数据还原： 数据库（“数据库完整还原”）级还原和恢复整个数据库。数据库在还原和恢复操作期间会处于离线状态。 数据文件（“文件还原”）级还原和恢复一个数据文件或一组文件。在文件还原过程中，包含相应文件的文件组在还原过程中自动变为离线状态。访问离线文件组的
2012-10-17 16:33:13
2159
原创 数据库备份与恢复 之三 选择备份策略和恢复模式
SQL Server提供了足够多的技术来做各种各样的数据库备份。作为一个数据库管理员，应该选择怎样的备份策略呢？建议您问自己两个问题。（1）您管理的数据库最多能够容忍多长时间的数据丢失？（2）您准备投入多少人力物力来做数据库备份与恢复策略？问题似乎有点残酷。但是世界上大多数事情，要获得越好的效果，就需要越多的投入。数据库备份策略尤其是这样。不考虑镜像技术（包括SQLServer自己的数
2012-10-17 16:29:33
2192
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人