- 博客(82)
- 收藏
- 关注
RSS订阅原创 [Poweshell] Split Big Flat File （CSV/ TXT...)
#split test$sw = new-object System.Diagnostics.Stopwatch$sw.Start()$filename = "C:\Source\FullExtract_data.csv"#源文件路径$rootName = "C:\Target\splitOutput"#输出文件路径$ext = "csv"#输出文件后缀$linesperFile = 600000#修改此处代表分割的数据行数$filecount = 1$reader = $nulltr.
2020-06-04 10:36:18
250
原创 Time Remain of "In Recovery"
某次重启SQL SERVER数据库服务器以后，数据库无法使用（显示“In recovery”）可以通过windows event log查看到它的恢复进度1.打开 Event viewer2.找到Windows log —— Application —— Source：MSSQLSERVER3.Filter current log —— <all event ids>替...
2019-09-29 17:24:33
700
原创 SSIS调用Mysql数据源 密码丢失问题
通过SSIS读取Mysql数据，在VS开发环境当中没有问题在发布并创建Job以后运行报错，获得以下提示信息：MessageExecuted as user: XXXXXX\XXXXXX. Microsoft (R) SQL Server Execute Package Utility Version 11.0.5613.0 for 32-bit Copyright (C) Micr...
2019-05-06 11:03:15
5052
原创 How to post JSON using SSIS Script Task (C#)
供应商应用程序提供了API接口，使用JSON文件进行一系列的文件传输步骤如下：1.业务数据库是Mysql，由于使用SSIS开发，需要在ms sql server服务端安装Mysql驱动2.用Script Task写C#代码实现API访问（获取数据->遍历data row写入Variables->获取Token->生成JSON->Call API验证->Ca...
2019-03-25 10:15:03
799
转载 Permissions to Schedule an SSIS Package from SQL Server Agent and the File System
ProblemWhen trying to schedule aSQL Server Integration Services (SSIS) Packageto run fromSQL Server Agent, you get the following error:“Connecting to the Integration Services service on the ...
2019-03-25 10:05:33
244
原创 Informatica Designer与Repository代码页不兼容
连接存储库的时候提示[Rep_61082]错误，大意是客户端code page与存储库非单向兼容。按照以下步骤解决问题：1.cmd键入 regedit，打开注册表编辑器2.找到节点 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Nls\CodePage3.把ACP与OEMCP的值，即code page的值，改成连接存储库的c
2017-05-15 15:27:40
1663
1
原创 字符串转表方法
遇到存储过程参数是长字符串的时候，like作筛选条件的效率非常差。可以通过function把它转化为table，然后用IN做where条件。 /**Example: SELECT F1 FROM dbo.f_splitstr ('a,b,c,d',',') **/ CREATE FUNCTION [dbo].[f_splitstr] ( @SourceSql
2017-03-06 15:14:20
371
转载 Finding SQL Server Deadlocks Using Trace Flag 1222
ProblemI have been getting sporadic deadlocks on my SQL Server. How can I track down the queries that are causing the deadlocks so I can resolve the issue?SolutionThere are a few ways you
2017-02-13 14:17:16
378
原创 SSRS 订阅列表
有时候用户反映说，某个邮件订阅请帮我取消掉。然而SSRS在管理页面下没有一个纵览全部订阅的清单。其实可以从系统数据库当中把它们查出来。SELECT RPT.NAME AS ReportName,RPT.PATH,SUB.LastRunTime,SUB.DESCRIPTION,USR.USERNAME--,SUB.* FROM [dbo].[Subscriptions] SUB
2017-02-07 10:15:34
1947
转载 Dynamic AX 快捷键
Dynamic AX提供了非常多的快捷键，熟练使用这些快捷键可以极大的减少我们的工作量，提高工作效率。下面这篇文章根据不同的使用场景列出了可以使用的快捷键。原文来自： http://vishal-dax.blogspot.in/2012/03/shortcut-keys-in-ax-2012.htmlShortcut keys in AX 2012Breakpoints
2016-12-16 10:08:35
953
原创 Analysis local file in Cognos
外部数据，一般分为两种情况。一是需要定期上传的，一般通过ETL工具进行读取，导入到数据库生成文件。然后再加以报表分析。第二种是一些偶发的，一次性的需求，可以建议用户自行上传数据。Cognos支持导入本地文件作为external data. 1.打开report studio.进入设计页面2.点击左侧绿色图标，进入Manage External Data页面
2016-12-09 09:34:35
282
转载 Install multiple instances of Reporting Services on the same computer (for use with Microsoft Dynami
You can install multiple instances of Microsoft SQL Server Reporting Services on the same computer. In this kind of deployment environment, each instance of Reporting Services is connected to an indep
2016-11-22 09:53:13
351
原创 Migrate report from My Folders of users
经常有这样的应用场景，同事A离职，他的报表权限需要移交给接替他的同事B。由于自定义报表保存在用户A的My folders文件夹下，其他人不可见，所以必须通过以下方式来访问到这些报表。1.用管理员身份，进入IBM Cognos Administration2.找到Security标签下的Users, Groups, and Roles3.找到同事A的user4.访问到该用
2016-10-25 11:14:05
269
原创 Multiple charts with same series color
业务背景部门A和部门B各做了一张图表，格式一模一样。但是由于部门B在月没有数据，导致两张表的配色方案不一样。（Mth列）解决方案有两个1.使图表属性Series Color的值为Match. 此方法有个先决条件，所有相关图表所使用的query都必须是同一个。而各张图表显示的内容又往往是需要带有不同的筛选条件，如何共用同一个query呢？解决方法也很简单，不直接在
2016-08-31 11:35:04
340
原创 Checking Whether a String is Numeric
SSIS当中没有内置的isNumeric方法，一切还得要靠自己。1.判断字符串是否为数字(DT_I4)Column == (DT_I4)Column ? 1 : 0如果是数字的话返回1，否则返回null2.使用Derived Column过滤异常数据!ISNULL(Column) && ((DT_WSTR,20)[Col] == ((DT_WSTR,20)(DT
2016-08-17 15:10:34
352
原创 Read Registry Key in Script Task
上一篇谈到读取excel的时候，通过修改注册表值的办法来提高判断数据类型的准确性http://blog.csdn.net/u012988208/article/details/52192049但是，修复/重新安装office，安装AccessDatabaseEngine，都会造成TypeGuessRows的值会重新被改写回默认值8.那么有什么办法在SSIS作业前进行检查，事
2016-08-16 16:53:49
388
原创 Get Excel data type in SSIS
在ETL工作中总避免不了面对各式各样的数据来源。如果可以的话，建议使用其他平面文件诸如CSV作为数据源而尽量避免使用Excel。后者总会遇到各种各样的问题，一言不合就返回null值。当SSIS采用Excel data source的时候，列的数据类型是无法预设的。Excel Driver会读取Excel内前8行的内容，然后动态地进行判断，决定每个列的数据类型是什么。
2016-08-12 16:07:08
691
转载 Things You Need To Know about Nolock
Written By: Matan Yungman 26/10/2015Nolock is not the Satan, but no an angel tooSurfing the web you will find articles saying that Nolock is dangerous and shouldn’t be used, and articles stati
2016-08-09 14:03:32
212
转载 Current Running Queries
Following script is perhaps the most executed script in my 10 year Database Administration career. The script has been my first line of defense in any performance monitoring problem and has helped m
2016-08-08 10:01:59
333
原创 Skipping Items in Foreach loop container
业务背景：在使用Foreach loop container 遍历文件夹的时候，有时候需要做一些排除条件，对一些特定的文件夹或者文件不作处理。然而该控件本身并没有提供这样的过滤选项解决方法：1.在data flow之前放一个空的对象，可以是script task，也可以是sequence container.2.修改Precedence Co
2016-08-05 09:46:39
263
原创 How to fix "OLE DB provider is not registered"
SSIS从Excel2007(xlsx)文件中抽取数据保存到数据库，提示以下错误：Error 1 Validation error. Data Flow Task: Package: The requested OLE DB provider Microsoft.ACE.OLEDB.12.0 is not registered. If the 32-bit driver is
2016-08-03 15:48:43
920
原创 Different ranking function in SQL Server
一个比较直观的脚本，以比较不同的排名方法--CREATE TABLECREATE TABLE #Exam(Name VARCHAR(10),Score INT)GO--INSERT DATAINSERT INTO #ExamVALUES ('A',100),('B',90),('C',80),('D',70),('E',70),('F',60)GO--RETURN RE
2016-08-03 14:59:08
333
原创 Customize export files in SSRS
SSRS可以很方便的进行在线预览，以及导出各种平面文件。但是在使用过程中实际也遇到过用户的一些特殊要求。业务场景：1.对encode有特殊要求，比如utf-82.导出的excel有和并列导致不能添加筛选，需要删除页眉3.特殊的文件后缀名，比如.tab解决方法：1.定位找到配置文件rsreportserver.config2.备份该文件3.找到节点
2016-08-03 13:12:20
395
原创 Hide databases from user
业务场景：需要给特定用户开放特定DB的权限，但是又不希望让他看到其他的DB.解决方法：1.DENY VIEW ANY DATABASE TO [USER] --首先关闭用户所有DB的查看权限2.EXEC dbo.sp_changedbowner @loginame = N'USER' --修改特定DB的所有者为用户这样一来用户登陆SSMS以后只能看到所有者是自己的DB.
2016-08-03 10:13:18
229
原创 Hide Objects in Congos Connection
许多时候希望将某个对象隐藏掉，可以是某个文件夹，某个报表，或是某个数据包。每一个对象（文件夹/报表/数据包）都可以在属性页里勾选“Hide this entry”.如果想要看到被隐藏的文件，在用户首选项里找到选项“Show hidden entries”.上面这个选项是可以只对特定对象开放的，以避免所有用户都有查看隐藏文件的选项在admini
2016-04-22 13:35:57
287
原创 Send Report from Same Email Address
由用户反映Cognos邮件订阅失灵了。查看订阅记录看到以下信息：status为Succeeded，但是却有个小红叉。继续查看明细情况是邮件服务器返回的权限错误。在于System Specialist 的同事沟通以后得知，他回收了账号群发的功能。只保留了少部分系统账号依旧可以群发。妥协之下，解决的方法是把系统账号邮箱作为默认邮件发送箱，步骤如下：
2016-04-22 13:03:57
729
原创 SSIS使用Script task处理Active Directory
SSIS的Script Task有着很大的自由度，可以通过写代码的方式来实现各种各样的需求。这里以C#代码为例，对AD信息进行操作。首先需要添加引用System.DirectoryServices然后修改main方法即可进行下一步操作 /// /// This method is called when this script task executes
2016-03-16 16:35:36
1124
原创 VBScripit 导出AD用户信息
新建文本，把以下代码拷贝进去并修改LDAP来源，保存为.VBS文件。然后双击运行之后就可以在当前文件夹获得user.CSV的文件。Const ADS_SCOPE_SUBTREE = 2Set objConnection = CreateObject("ADODB.Connection")Set objCommand = CreateObject("ADODB.Command")ob
2016-03-16 11:28:04
958
原创 The binding status was "DT_NTEXT"错误
Error Message:The binding status was "DT_NTEXT". The data flow column type is "DBBINDSTATUS_UNSUPPORTEDCONVERSION". The conversion from the OLE DB type of "DBTYPE_IUNKNOWN" to the destination column
2016-03-11 15:28:22
1818
原创 RQP-DEF-0403错误
RQP-DEF-0403 Using a blob column in this query requires that the query subject XXXX must have either a key or a unique index.SQL SERVER数据库在操作TEXT类型的字段时，是无法支持排序或者聚合汇总的操作的。Cognos规避该问题的
2016-03-11 15:02:38
1079
原创 AD Group Type and Permissions Setting in Cognos
在与AD账号集成以后，Cognos不仅可以使用用户的个人AD账号来设置权限，也可以使用AD的用户组。使用AD用户组的好处是在对报表按照文件夹分类的时候，可以把文件夹
2016-03-07 15:19:50
778
原创 How to pass an empty string to Value Prompt
Cognos Value Prompt有个非常令人不爽的Bug.当Value Prompt是multi-select，而query的use value又包含空字符串的情况下，譬如：SELECT 'AAA' AS UseValue,'AAA' AS DisplayValueUNION ALLSELECT 'BBB' AS UseValue,'BBB' AS DisplayValueUN
2016-02-18 14:49:11
435
原创 Cognos Scheduled Report Does not Work
报表订阅在一段日期以后突然不工作了。原因是用户的账号是跟AD账号捆绑的，而公司每两个月都强制需要更新一次AD账户的密码。而cognos schedule依赖的凭证并不会一起更新。解决方法是，到用户首选项当中renew the credentials.一劳永逸的解决方法是，新建一个公共sender账号，专门用于订阅报表。并把它的密码设置为永不过期。
2016-02-17 14:53:46
291
原创 SQL CASE Express Limitation
一个很简单的带有CASE的查询语句,CASE PH.DocumentState WHEN 0 THEN '0-Draft' WHEN 10 THEN '10-In review' WHEN 20 THEN '20-Rejected' WHEN 30 THEN '30-Approved' WHEN 35 THEN '35-In external review' WHEN 40
2016-02-17 14:32:16
445
原创 Cognos多语言设置
1.运行Cognos Framework Manager，在菜单project下找到define languages2.添加任意多语言set as active用来切换在当前FM中的显示语言3.这时候不论是query subject，namespace还是item，在属性页的language一览里，针对Name,Description和Screen Ti
2016-02-17 13:39:50
1203
原创 Dynamics AX Table Inheritance 初探
表继承（Table inheritance）是AX 2012的新特性。AX当中的表并不等价于数据库表对象，有一部分AX表在数据库当中并没有对应的物理表，而仅仅在应用层作为独立的对象存在。这些表的所有字段都是继承自母表。从表结构出发理解它的原理：母表： EcoResProduct （The EcoResProduct table stores products and is th
2015-11-24 13:33:42
891
原创 COGNOS导出EXCEL大表单时不分页的方法
Excel2003单张sheet最多支持65000多行。为防止导出超大表单的时候报错，Cognos在导出数据文件的时候会把单张sheet控制在65000行以内。但是Excel2007可以支持到1048576行，分页的话就会不方便。Cognos可以通过设置Advanced setting来设置这个控制逻辑（但是默认不启用，不可思议）。1.启动Launch——IBM Cogno
2015-11-18 17:23:45
3393
转载 谈谈SQL 语句的优化技术 (2)
三、优化SQL语句的系统设计原则 仅仅简化还是不够。SQL语句的优化在系统的设计阶段就要通盘考虑。系统设计越合理，需要优化或后期返工的地方就越少。系统逻辑流程如果不合理，那么常会导致本来需要一个操作就可以解决的问题却要作好几个操作才能实现，反映在数据库上就是发出过多或过复杂的SQL语句。所以数据库系统设计是系统高性能运行的首要关键。 很多系统开发者更关心功能的实现而不是数据库系统的
2015-09-25 16:30:18
393
转载 谈谈SQL 语句的优化技术 (1)
一、引言 一个凸现在很多开发者或数据库管理员面前的问题是数据库系统的性能问题。性能不理想的系统中除了一部分是因为应用程序的负载确实超过了服务器的实际处理能力外,更多的是因为系统存在大量的SQL语句需要优化。本文通过一个例子讲述如何应用简化技术来优化SQL 语句，也讨论在系统设计阶段应该考虑的和语句性能密切相关的一些问题。 如果读者不知道应该优化数据库系统的哪些SQL语句，那么建议读
2015-09-25 16:29:49
605
转载 T-SQL语句优化的常见技巧
在SQL server 的性能优化过程中，TSQL的语句优化是很重要的一环。当您使用各种手段找出系统最需要优化的语句后，应该如何对该语句进行优化呢？下面列出一些TSQL 语句优化的常见技巧。 1． 语句的执行计划分析 首先要对该语句的执行计划（execution plan）进行分析，找出语句运行慢的原因。比如说， 举一个的例子， Table 'myTa
2015-09-25 16:29:13
420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人