- 博客(123)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 项目管理的五个过程和九大知识领域
项目管理的五个过程和九大知识领域 项目是为完成某一独特的产品或服务所做的一次性努力。根 据这个定义，项目就具有了目标明确性、活动一次性及资源消耗性等特性。换句话说，具备前面三个主要特性的活动，都可以看作是项目。现实中的项目随处可见， 如设备消缺、会议组织、技术竞赛、结婚典礼以及家居装修等等，都可以看作是项目。在这些项目的实施过程中，都存在项目管理问题，不过，实际生活与工作中...
2019-04-09 11:45:09
425
翻译 Tushare 介绍使用
Tushare简介Tushare是一个免费、开源的python财经数据接口包。拥有丰富的数据内容，如股票、基金、期货、数字货币等行情数据，公司财务、基金经理等基本面数据，后续开通债券、外汇、行业、大数据、区块链。Tushare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。官方网站为：https:...
2019-03-31 18:22:40
4218
1
转载 数据仓库建设之《元数据管理》
元数据解决方案 随着业务系统每年收集和使用的数据飞速增长，数据体量日趋增长，数据形态多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值，成为迫切的任务。一、什么是元数据 元数据（Metadata）是关于数据的数据。元数据是描述数据仓库内数据的结构...
2019-01-23 11:34:42
2780
转载 SQLSERVER角色权限
服务器角色:按照从最低级别角色(bulkadmin)到最高级别角色(sysadmin)的顺序进行描述:1.bulkadmin:这个角色可以运行BULK INSERT语句.该语句允许从文本文件中将数据导入到SQL Server2008数据库中,为需要执行大容量插入到数据库的域帐号而设计.2.dbcreator:这个角色可以创建,更改,删除和还原任何数据库.不仅适合助理DBA角
2016-06-24 16:16:54
1796
转载 SQL Server索引的维护 - 索引碎片、填充因子
实际上，索引的维护主要包括以下两个方面： 页拆分 碎片 这两个问题都和页密度有关，虽然两者的表现形式在本质上有所区别，但是故障排除工具是一样的，因为处理是相同的。 对于非常小的表(比64KB小得多)，一个区中的页面可能属于多余一个的索引或表---这被称为混合区。如果数据库中有太多的小表，混合区帮助SQL Server节约磁盘空间。 随着表(或索引)增长并且请求
2016-05-27 17:26:55
1477
转载 Why SHRINKFILE is a very bad thing, and what to do about it.
The ProblemShrinking a database file (either using SSMS or T-SQL code) should be avoided if at all possible. In an ideal situation, it is much better to size the file appropriately in the first plac
2016-05-25 10:44:16
506
转载 PAGELATCH_x和PAGEIOLATCH_x介绍
在分析SQL server 性能的时候你可能经常看到 PAGELATCH和PAGEIOLATCH。比方说执行如下TSQL语句Select * from sys.dm_os_wait_stats它输出结果里面就有Latch的有关信息，如下图所示：1.1什么是LATCH呢？Latch是SQL server内部用来同步资源访问的一个数据结构，和操作系统的critica
2016-03-08 15:06:25
594
原创 数据库置疑（可疑状态）的修复方法
首先要强调的是最好要在此数据库断开所有连接，没有未被提交的事务的状态下关掉数据库，否则可能会引起日志文件无法重做。有如下几种可行的方案：1.一般情况ALTER DATABASE DatabaseName SET EMERGENCYALTER DATABASE DatabaseName SET SINGLE_USERDBCC CheckDB (Database
2016-01-13 13:53:41
35481
1
转载 SQL Server 索引中include
开文之前首先要讲讲几个概念 【覆盖查询】 当索引包含查询引用的所有列时，它通常称为“覆盖查询”。 【索引覆盖】 如果返回的数据列就包含于索引的键值中，或者包含于索引的键值+聚集索引的键值中，那么就不会发生Bookup Lookup，因为找到索引项，就已经找到所需的数据了，没有必要再到数据行去找了。这种情况，叫做索引覆盖； 【复合索引】
2015-09-16 17:41:26
1149
转载 SQLServer excel和txt的导入导出
exec sp_configure 'show advanced options',1 --启用高级配置选项设置 reconfigure; --reconfigure with override; --reconfigure不行则都用这个 exec sp_configure 'Ad Hoc Distributed Queries',1 --启用 OPENROWSET,Ope
2015-08-06 16:27:37
836
转载 (总结) SQL Server Bulk Insert 批量数据导入
SQL Server的Bulk Insert语句可以将本地或远程的数据文件批量导入到数据库中，速度非常的快。远程文件必须共享才行，文件路径须使用通用约定（UNC）名称，即"\\服务器名或IP\共享名\路径\文件名"的形式。 * 1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便，所以这里先介绍bcp工具导出格式化文件的方法。bcp是SQL Server提供
2015-07-15 17:41:08
756
转载 sql server 系统过程
一些用在SQL 2000的企业管理GUI中，并且不打算用于其他的流程。微软已预计将其中的一些存储过程从未来的SQL Server版本中删除(或已经删除了)。虽然这些存储过程可能很有用并为你节省了很多时间，但是他们可以在任何时候改变他们的函数或简单的删除掉。 下面的图表显示了当许多存储过程从一个Microsoft SQL Server版本移入另一个版本时，引入了新的存储过程，而原来的一些则
2015-03-04 14:11:17
721
转载 SQL SERVER SQLOS的任务调度
最近，数据库系统经常出现“ 消息[298] SQLServer Error: 10054, TCP Provider: 远程主机强迫关闭了一个现有的连接。 [SQLSTATE 08S01]”一开始很迷惑，不知道原因，后来查询资料，发现 max worker thread 设置问题，由于前期 max worker thread 设置为255，连接过小，修改成0。 SQL SERVER S
2014-12-02 17:26:59
731
转载 hive load data
一、 创建表 在官方的wiki里，example是这样的：Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PART
2014-11-03 17:54:26
83091
1
转载 Hadoop/Hive简介 1
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hadoop是一个存储计算框架，主要由两部分组成： 1，存储（Hado
2014-10-20 21:16:18
652
转载 HBase 简介-1
单台设备的性能、资源、可扩展性等限制 —— 分布式系统（Hadoop）传统关系型数据库在面对海量数据时的乏力 —— 分布式数据库（HBase）关系型数据库，顾名思义，善于处理数据模型间复杂的关系、逻辑、事务。但在处理海量数据时速度、并发量、可扩展性却惨不忍睹。当然，我们可以通过巧妙的设计与二次开发来解决上述问题。速度：分表（减少单表数据量）、缓存查询、静态预生成、提高硬件性能。
2014-10-20 20:43:05
580
转载 sp_readerrorlog
通过查看SQL error Log, 可以确保操作过程都成功完成(比如说, 备份, 还原操作, 批命令, 或者其他的脚本和过程). 特别是如果一个SQL server实例被停止或重启的时候,查看SQL error log对于检测任何当前的或者潜在的问题领域非常有用, 领域包括自动恢复消息(automatic recovery messages ), 内核消息, 或者其他的服务器等级的错误消息.
2014-04-24 21:21:22
3104
转载 监视tempdb 使用情况
本主题提供了一些步骤和建议，可帮助您诊断和解决 tempdb 数据库中磁盘空间不足导致的问题。如果 tempdb 中的磁盘空间用尽，可能会导致 SQL Server 生产环境受到严重破坏，并且可能会阻止正在运行的应用程序完成操作。tempdb 空间要求tempdb 系统数据库是可供连接到 SQL Server 实例的所有用户使用的全局资源。tempd
2013-10-22 16:03:15
2312
转载 sql server 压缩日志或者数据文件
第一步： backup log database_name with no_log或者 backup log database_name with truncate_onlyno_log和truncate_only是在这里是同义的，随便执行哪一句都可以。 第二步： 1.收缩特定数据库的所有数据和日志文件，执行： dbcc shrinkdatabase (database_n
2013-10-17 15:33:21
582
转载 SQL SERVER中的逻辑读，预读和物理读
SQL SERVER数据存储的形式 在谈到几种不同的读取方式之前，首先要理解SQL SERVER数据存储的方式.SQL SERVER存储的最小单位为页(Page).每一页大小为8k，SQL SERVER对于页的读取是原子性，要么读完一页，要么完全不读，不会有中间状态。而页之间的数据组织结构为B树（请参考我之前的博文).所以SQL SERVER对于逻辑读，预读，和物理读的单位是页.
2013-09-18 15:03:09
562
转载 T-SQL查询高级—SQL Server索引中的碎片和填充因子
写在前面:本篇文章需要你对索引和SQL中数据的存储方式有一定了解.标题中高级两个字仅仅是因为本篇文章需要我的T-SQL进阶系列文章的一些内容作为基础.简介 在SQL Server中，存储数据的最小单位是页，每一页所能容纳的数据为8060字节.而页的组织方式是通过B树结构（表上没有聚集索引则为堆结构，不在本文讨论之列)如下图: 在聚集索引B树中，只有叶
2013-09-17 22:20:42
796
转载 linux进程抢占
抢占时伴随着schedule()的执行。内核提供了一个TIF_NEED_RESCHED标志来表明是否要用schedule()调度一次。根据抢占发生的时机分为用户抢占和内核抢占。用户抢占发生在内核即将返回到用户空间的时候。内核抢占发生在返回内核空间的时候。1、用户抢占：内核在即将返回用户空间时检查进程是否设置了TIF_NEED_RESCHED标志，如果设置了，就会发生用户抢占。用户抢占发生的
2013-09-05 15:36:14
849
原创 SQL SERVER 插入大批量数据有无索引的效率对比
这两天在公司做了个测试，测试在插入大批量数据时先建立索引的效率高还是后建立索引的效率高。测试结果跟之前很多人一概而论的肯定是先插入数据的效率搞结果有点出入：当只有一个聚集索引的时候，先建立聚集索引再插入数据的效率更高，有非聚集索引的时候先插入数据再建索引的效率高。 /** 说明1. 测试SQL SERVER 插入大批量数据的效率对比,
2013-08-24 17:19:42
5643
转载 sysprocesses wait type
LOCK waittypesThe following table lists the LOCK waittypes in the master.dbo.sysprocesses system table in SQL Server 2000 and SQL Server 2005.Collapse this tableExpand this tableLast
2013-08-18 13:45:09
3688
原创 查看等待信息及内存
--自己看SELECT wt.session_id, ot.task_state, wt.wait_type, wt.wait_duration_ms, wt.blocking_session_id, wt.resource_description, es.[host_name], es.[program_name]FROM sys.dm_os_waiting_tasks wt INNER JOI
2013-08-16 22:01:33
570
转载 SQL Server 2008内存及I/O性能监控
Window 32位系统环境 用户模式和内核模式(user mode& kernel mode) 为了防止用户程序访问并篡改操作系统的关键部分，Windows使用了2种处理器存取模式：用户模式和内核模式。顾名思义，内核模式是给操作系统核心代码和基本驱动用的，用户模式给用户应用程序。在内核模式下程序可以访问所有的内存和硬件，并使用所有的处理器指令。操作系统程序比用户程序有更高的权限，使
2013-08-16 21:54:31
808
转载 从waittype看sql server性能
通过DMV查看当时SQL SERVER所有任务的状态（sleeping、runnable或running）2005、2008提供了以下三个视图工详细查询：DMV用处Sys.dm_exec_requests返回有关在SQL Server中执行的每个请求的信息，包括当前的等待状态Sys.dm_exec_sessio
2013-08-16 20:50:52
1661
转载 WAIT TYPE:PAGEIOLATCH_SH
PAGEIOLATCH_SH: Occurs when a task is waiting on a latch for a buffer that is in an I/O request. The latch request is in Shared mode. PAGEIOLATCH_SH waits is very brief as they are only held on a page
2013-08-16 18:23:33
2009
转载 关于存储、数据库与架构
去年，我们曾经使用了一批SSD的PC，用来做数据库的服务器，用来提高数据库服务器的IO能力。但是从目前的使用情况来看，如果将SSD作为主存储，存在一些问题： 首先，SSD的稳定性还不够好，我们碰到了一些SSD盘损坏和SSD与机器不兼容的情况发生。 第二，SSD的容量盘都比较小，考虑到稳定性的问题，如果做RAID会进一步损失容量，性价比不高。 第三，SSD属于NAND类型的f
2013-08-11 19:24:42
803
转载 SQLServer事务的隔离级别
数据库是要被广大客户所共享访问的，那么在数据库操作过程中很可能出现以下几种不确定情况。更新丢失（Lost update） 两个事务都同时更新一行数据，但是第二个事务却中途失败退出，导致对数据的两个修改都失效了。这是因为系统没有执行任何的锁操作，因此并发事务并没有被隔离开来。脏读（Dirty Reads） 一个事务开始读取了某行数据，但是另外一个事务已经更新了此数据但没有能够及时
2013-08-07 22:20:19
528
转载 锁类型与锁机制 （3）
1． HOLDLOCK: 在该表上保持共享锁，直到整个事务结束，而不是在语句执行完立即释放所添加的锁。 2． NOLOCK：不添加共享锁和排它锁，当这个选项生效后，可能读到未提交读的数据或“脏数据”，这个选项仅仅应用于SELECT语句。 3． PAGLOCK：指定添加页锁（否则通常可能添加表锁）。 4． READCOMMITTED用与运行在提交读隔离级别的事务相同
2013-08-07 17:40:37
779
转载 SQL server锁的机制 （2）
SQL server的所有活动都会产生锁。锁定的单元越小，就越能越能提高并发处理能力，但是管理锁的开销越大。如何找到平衡点，使并发性和性能都可接受是SQL Server的难点。SQL Server有如下几种琐：1、 共享锁用于只读操作(SELECT)，锁定共享的资源。共享锁不会阻止其他用户读，但是阻止其他的用户写和修改。2、 更新锁更新锁是一种意图锁，当一个事物已经请求共享琐后
2013-08-07 17:39:01
549
转载 sql server 彻底理解锁机制（1）
在SQL Server中，每一个查询都会找到最短路径实现自己的目标。如果数据库只接受一个连接一次只执行一个查询。那么查询当然是要多快好省的完成工作。但对于大多数数据库来说是需要同时处理多个查询的。这些查询并不会像绅士那样排队等待执行，而是会找最短的路径执行。因此，就像十字路口需要一个红绿灯那样，SQL Server也需要一个红绿灯来告诉查询:什么时候走，什么时候不可以走。这个红绿灯就是锁。
2013-08-07 16:58:48
765
转载 SQL Server 2008 索引使用
微软MVP及畅销书《Hitchhiker's Guide SQL Server》的作者Bill Vaughn简要给出了SQL Server 2008的索引使用技巧。该主题基于Kimberly Tripp和Paul Randall（这两位是SQL Server高可用性和性能方面的专家）的建议。下面是主要的建议：·页（page）密度优化行大小：SQL Server 2005（及后续版本）支
2013-07-31 19:33:04
756
转载 怎样建高效索引
1、表的主键、外键必须有索引；2、数据量超过300的表应该有索引；3、经常与其他表进行连接的表，在连接字段上应该建立索引；4、经常出现在Where子句中的字段，特别是大表的字段，应该建立索引；5、索引应该建在选择性高的字段上；6、索引应该建在小字段上，对于大的文本字段甚至超长字段，不要建索引；7、复合索引的建立需要进行仔细分析；尽量考虑用单字段索引代替：A、正确选择复合
2013-07-27 15:28:10
1629
转载 SQL Server快速导入数据 各种表的速度比较
如果需要向SQL Server批量导入数据，根据导入的选项和表中的索引设置，数据导入的时间可能会在不同情况下相差甚远。如何能够把批量导入的过程尽量少花时间呢?在这里我们将会介绍几种不同的批量导入数据的方法、各种方法相应的实例及其所需的时间长短。在我们的测试中我们采取了六种不同的数据导入方法：1、表含有一个聚集索引(clustered index)和两个非聚集索引(non-cluster
2013-07-24 22:31:16
771
转载 BCP命令
bcp实用工具在Microsoft SQL Server 2000实例和数据文件之间以用户指定的格式复制数据。语法bcp {[[database_name.][owner].]{table_name | view_name} | "query"} {in | out | queryout | format} data_file [-m max_errors] [-f
2013-07-21 21:49:02
758
转载 SQL SERVER 究竟什么时候写日志
昨天看到网上有一个关于SQL SERVER 课件，便随手下载了下来看看主要讲了些什么内容，于是看到了下面两个PPT页面：由于第一张PPT上的内容不太准确（日志文件中没有“日志页”的概念，只有VLF的概念，可能是我们对“数据页”的概念太深刻了，因此弄了以“日志页”的概念出来，而PPT中说先更新高速缓冲区中的数据页，然后将事务日志写入到“日志页”，很容易让人理解成先更改高速缓冲区，
2013-07-21 15:42:46
1163
转载 SQL Server存储结构 一个字节造成的巨大性能差异
首先我们创建两张表，一张表的列长度是4039字节，另一张表的长度是4040字节，他们就只有一个字节的差距，比如以下创建表的SQL：
2013-07-21 15:20:04
527
转载 统计信息对于查询路径选择的影响
简介 SQL Server查询分析器是基于开销的。通常来讲，查询分析器会根据谓词来确定该如何选择高效的查询路线,比如该选择哪个索引。而每次查询分析器寻找路径时，并不会每一次都去统计索引中包含的行数，值的范围等，而是根据一定条件创建和更新这些信息后保存到数据库中，这也就是所谓的统计信息。 如何查看统计信息 查看SQL Server的统计信息非常简单，使用如下指令：
2013-06-29 16:48:19
689
B2C商城需求规格说明书
2010-07-03
Java正则表达式入门
2010-07-03
java 正则表达式
2010-07-03
关于男女大学生的爱情观和婚姻观异同调查报告
2010-04-19
生产者消费者问题代码
2009-12-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人