- 博客(90)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 SSH原理和公钥认证
建立过程ssh利用rsa加密的不对称性，在两者之间分享一把只有他们两个人才知道的通信密钥，通过这个通信密钥，他们再进行之后的通信。客户端接收服务端公钥，把自己产生的通信密钥加密发给服务端，服务端用私有密钥解密，此时两者采用对称密钥通信；密钥和算法协商阶段具体步骤如下：(1)服务器端和客户端分别发送算法协商报文给对端，报文中包含自己支持的公钥算法列表、
2017-08-01 14:07:33
1291
翻译 如何阅读oracle数据块data block dump文件
Dumping Oracle Blocks Brian Peasland, Raytheon at EROS Data CenterIntroduction In a few cases, it is desirable to dump the contents of an Oracle data block. These blocks may comprise
2017-07-28 17:51:35
2311
转载 oracle Supplemental Log补全日志介绍
Oracle Study--oracle Supplemental Log补全日志介绍 Oracle补全日志(Supplemental logging)特性因其作用的不同可分为以下几种：最小(Minimal),支持所有字段(all),支持主键(primary key),支持唯一键(unique),支持外键(foreign key)。包括LONG,LOB,LONG R
2017-07-27 08:57:05
2406
转载 CDH5离线安装（最新版5.3.3内置hadoop2.5.0）
首先给出官方的离线安装http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_installation.html#../topics/cm_ig_install_path_c.html 由于是最新版网上上资料比较少，很多问题只能翻墙去找答案。大家只要严格按照我的步骤
2017-07-25 08:53:34
486
转载 gcc 升级到6.1.0
# 下载源码包并解压 wget http://ftp.gnu.org/gnu/gcc/gcc-6.1.0/gcc-6.1.0.tar.bz2 tar -jxvf gcc-6.1.0.tar.bz2 # 下载编译所需依赖库 cd gcc-6.1.0 ./contrib/download_prerequisites cd .. # 建立编译输
2017-07-24 23:36:48
2245
1
翻译 JRE Version Migration Guide&Lucene JDK版本影响&升级注意
JRE Version Migration GuideIf possible, use the same JRE major version at both index and search time.When upgrading to a different JRE major version, consider re-indexing.尽量保证索引和查询时，使用相同的JRE版本，当
2017-06-13 09:24:56
912
翻译 Lucene 5.0 stored fields format & compress
PrincipleThis StoredFieldsFormat compresses blocks of documents in order to improve the compression ratio compared to document-level compression. It uses the LZ4compression algorithm by default
2017-06-08 20:12:27
557
翻译 Apache Lucene - Index File Formats
Apache Lucene - Index File FormatsIntroductionDefinitionsInverted IndexingTypes of FieldsSegmentsDocument NumbersIndex Structure OverviewFile NamingSummary of File Extens
2017-06-08 14:58:39
610
转载 awk中的循环和判断语句(转自何小波)
awk条件语句条件语句awk中的条件语句是从C语言中借鉴过来的，可控制程序的流程。14.5.1. if语句格式：{if (expression){statement; statement; ...}}$ awk '{if ($1 $ awk '{if ($1 14.5.2. if/else语句，用于双重判断。格式：{if
2016-06-20 13:38:37
11000
转载 optimizer_dynamic_sampling参数
optimizer_dynamic_sampling 参数与sql语句执行时的动态采样相关，这关系到sql的执行计划的准确与否。一般在表的统计信息收集准确的情况下执行计划（实际执行的）可以准确的，但有些情况下不一定，比如数据分布不均（要收集柱状图信息）、或使用了临时表（应用程序处于某种目的：如为了提高应用性能使用临时表存放事务的中间结果集或者将子查询作为一个临时表），都有可能执行计划不准确，最终导
2016-03-05 22:21:48
2388
转载 Linux dd命令中dsync与fdatasync的区别
在Linux系统中经常会使用dd命令来测试硬盘的写入速度，命令会涉及到两个参数：dsync与fdatasync，本文介绍一下其区别。dd if=/dev/zero of=/tmp/1Gbytes bs=4k count=256000 oflag=dsync dd if=/dev/zero of=/tmp/1Gbytes bs=4k count=256000
2016-02-20 20:29:41
3012
转载 sync/fsync/fdatasync的简单比较
之前在研究MySQL的一个参数innodb_flush_method时，就涉及到了fsync/fdatasync这些库函数（什么是库函数？它与系统调用的区别在哪？参见这里）。接下来就简单的分析一下sync/fsync/fdatasync的区别。 sync()：int sync( void )这就是它的原型，A call to this function will not re
2016-02-20 20:28:13
557
转载 linux 同步IO: sync、fsync与fdatasync
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach
2016-02-20 20:27:38
641
转载 Oracle联机日志文件丢失或损坏的处理方法
经验总结：联机日志分为当前联机日志和非当前联机日志，非当前联机日志的损坏是比较简单的，一般通过clear命令就可以解决问题。损坏非当前联机日志：1、启动数据库，遇到ORA-00312 or ORA-00313错误，如:ORA-00313: open failed for members of log group 4 of thread 1ORA-00312: o
2016-01-21 11:58:10
8543
转载 数据库不能open下查看undo段的名字
下面的测试来至于今天群里面一个朋友，open数据库的时候遇到了ORA-00600 4194错误，这个错误比较常见，并且处理方法也很简单。但是在修改参数的时候，不知道怎么去查看UNDO段的名字。下面简单的测试一把 欢迎大家加入ORACLE超级群：17115662 免费解决各种ORACLE问题,以后BLOG将迁移到http://www.htz.pw 1，数据库版本
2016-01-18 20:52:36
857
转载 Oracle汉字乱码问题原因及解决方法
Oracle汉字乱码问题原因及解决方法by wangd原因：出现中文乱码的主要原因是字符集不同。在Oracle中，我们关心三个地方的字符集：l Oracle服务器内部的字符集l NLS_LANG变量里保存的字符集l 客户端应用的字符集Oracle服务器内部的字符集这是Oracle数据库存储数据使用的字符集。在Oracl
2016-01-18 14:29:48
563
转载 ORACLE数据库测试数据插入速度
一，没有优化的速度：Executed in 69.436 secondsdrop table t purge;create table t(x int);/*清空共享池，注意在生产环境中千万不能做这步操作*/alter system flush shared_pool;create or replace procedure proc1as begin fo
2016-01-11 00:16:14
625
转载 用直接路径（direct-path）insert提升性能的两种方法
1、传统串行insert方式常见的insert方式有两种：（1） insert into table_name values(....)（2） insert into target_table select* from source_table上面这两种常规的插入式，默认都是在串行方式下的插入，会将insert的数据写入buffer_cache，插入前检查表中是否有
2016-01-11 00:15:51
1050
转载 Oracle insert /*+ APPEND */原理解析
关于insert /*+ append */我们需要注意以下三点： a、非归档模式下，只需append就能大量减少redo的产生；归档模式下，只有append+nologging才能大量减少redo。 b、insert /*+ append */时会对表加锁（排它锁），会阻塞表上的除了select以外所有DML语句；传统关于insert /*+ append */我们需要注意以下三点：
2016-01-10 22:15:45
53405
转载 oracle常规与直接路径插入(append)区别
from:http://space.itpub.net/?uid-9240380-action-viewspace-itemid-753150SQL> create table t_test(a int);Table createdSQL> insert into t_test select 1 from dual connect by level900000 ro
2016-01-10 22:04:56
2853
转载 using backup controlfile和 until cancel 区别
1. recover database using backup controlfile2. recover database until cancel3. recover database using backup controlfile until cancel;4. recover database until cancel using backup controlfil
2016-01-05 10:25:01
464
转载 利用一致性哈希水平拆分MySql单表
Sharding（切片） 不是一门新技术，而是一个相对简朴的软件理念，就是当我们的数据库单机无法承受高强度的i/o时，我们就考虑利用 sharding 来把这种读写压力分散到各个主机上去。所以Sharding 不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是Horizontal Partitioning 水平扩展(或横向扩展)的解决方案，其主要目的是为
2015-12-29 21:22:23
14905
1
转载 数据库按照手机号分库后，还需要允许用户使用邮箱、用户名等登录，怎么才能提高查询效率？
用户可以使用手机号，邮箱，编号登录，数据量特别大，需要分表，现在按照手机号hash进行分表，但是这样的话，使用邮箱或者编号登录的话怎么办呢？回答：1.数据量特别大，就算用户量再，相信贵公司的产品不会超过 3亿账号，若是如此的话，建议拆分的时候采用路由表的模式，而不是HASH，也即你们的拆分手段就做不对。2.若是按照手机号码拆分的话，则会导致其他的 邮箱地址 和 编号
2015-12-29 21:14:37
3492
转载 每天进步一点点——五分钟理解一致性哈希算法(consistent hashing)
转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中
2015-12-29 20:46:56
536
转载 间隙锁（Next-Key锁）
20.3.5 间隙锁（Next-Key锁）2008-03-27 22:22 唐汉明 翟振兴 兰丽华 关宝军 申宝柱 人民邮电出版社 字号：T | T综合评级：想读(11) 在读(4) 已读(8) 品书斋鉴(1) 已有23人发表书评《深入浅出MySQL——数据库开发、优化与管理维护》从数据库的基础、开发、优化、管理4方面对MySQL进行了详细的介绍
2015-12-27 13:07:50
6992
5
转载 SQLLDR
SQLLDR应用举例1、普通装载 LOAD DATAINFILE *INTO TABLE DEPTREPLACEFIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' (DEPTNO,DNAME,LOC)BEGINDATA10,Sales,"""USA"""20,Accounting,"Virginia,USA" 30,
2015-12-21 23:42:54
707
转载 OCP课程之ORACLE审计
一、目前数据库审计的几种类型审 计 类 型说 明语句审计按照语句类型审计SQL语句，而不论访问何种特定的模式对象。也可以在数据库中指定一个或多个用户，针对特定的语句审计这些用户权限审计审计系统权限，例如CREATE TABLE或ALTER INDEX。和语句审计一样，权限审
2015-12-16 23:49:58
661
转载 OCP知识点讲解 之 检查点队列与增量检查点
检查点的主要目的是以对数据库的日常操作影响最小的方式刷新脏块。脏块不断的产生，如何将脏块刷新到磁盘中去呢？在8i之前，Oracle定期的锁住所有的修改操作，刷新Buffer cache中的所有脏块，这种刷新脏块的方式被称为完全检查点，这极大的影响了效率，从9i之后只有当关闭数据库时才会发生完全检查点。 从8i开始，Oracle增加了增量检查点的概念，增量检查点的主要宗旨
2015-12-13 21:32:18
411
转载 检查点（Checkpoint）的本质
1.检查点（Checkpoint）的本质 许多文档把Checkpint描述得非常复杂，为我们正确理解检查点带来了障碍，结果现在检查点变成了一个非常复杂的问题。实际上，检查点只是一个数据库事件，它存在的根本意义在于减少崩溃恢复（Crash Recovery）时间。当修改数据时，需要首先将数据读入内存中（Buffer Cache），修改数据的同时，Oracle会记录重做信息（R
2015-12-13 20:08:12
27898
3
原创 使用alter tablespace create datafile恢复丢失的数据文件
测试无备份情况下，数据文件损坏的恢复！--创建测试表空间SQL> create tablespace tbs2 datafile '/u02/tbs2.dbf' size 200M;Tablespace created.SQL> --在测试表空间建表及插入测试数据SQL> create table t2(xxx varchar2(20)) tablespace tbs2
2015-12-12 00:17:58
820
原创 mongorestore 恢复mongodump文件报BSONObj size: 17794400 (0x10F8560) is invalid. Size must be between 0 and
从MONGODB2.6升级到MONGODB3.0.7，从MONGODB3.0 RESTORE 2.6DUMP的文件时，报如下错误：2015-11-05T10:31:30.131+0800 I NETWORK [conn12] AssertionException handling request, closing client connection: 10334 BSONObj size: 17
2015-12-08 12:07:57
4558
转载 my.cnf配置文件参数解释
[client]port = 3309socket = /home/mysql/mysql/tmp/mysql.sock[mysqld]!include /home/mysql/mysql/etc/mysqld.cnf #包含的配置文件 ，把用户名，密码文件单独存放port = 3309socket = /home/mysql/mysql/tmp/mysql.sockpid-file
2015-12-05 21:39:23
6720
转载 MySQL my.cnf 中文参考
MySQL my.cnf 中文参考 #BEGIN CONFIG INFO#DESCR: 4GB RAM, 只使用InnoDB, ACID, 少量的连接, 队列负载大#TYPE: SYSTEM#END CONFIG INFO## 此mysql配置文件例子针对4G内存# 主要使用INNODB# 处理复杂队列并且连接数量较少的mysql服务器##
2015-12-05 21:30:56
462
1
转载 Mongodb mmapv1存储引擎解析
mongodb的mongod服务管理一个数据目录，可包含多个DB，每个DB的数据单独组织，本文主要介绍mmapv1存储引擎的数据组织方式。Database每个Database(DB)由一个.ns文件及若干个数据文件组成$ll mydb.*-rw------- 1 ydzhang staff 67108864 7 4 14:05 mydb.0-rw-------
2015-12-05 14:14:16
1398
转载 Mongodb如何使用wiredTiger？
Mongodb 3.0支持用户自定义存储引擎，用户可配置使用mmapv1或者wiredTiger存储引擎，本文主要介绍Mongodb是如何使用wiredTiger数据库作为底层的数据存储层。目前还没有读过wiredTiger的源码，本文的内容都是基于wiredTiger官方文档，以及Mongodb对wiredTiger封装代码，有问题请指出。wiredTiger引擎存储布局wire
2015-12-05 13:49:17
7584
2
转载 ORACLE12C新特性之在线迁移活跃的数据文件
ORACLE12C新特性之在线迁移活跃的数据文件前几天把oracle11g升级到12c时，没有选择移动数据库文件，导致数据库文件控制文件日志文件都还在oracle11g的目录，为了系统文件管理方便，需要移动到12c数据库的目录，刚好可以测试一下oracle12C的新特性-在线迁移活跃的数据文件！相关文件检查:SQL> select * from v$version;BANN
2015-12-04 10:21:34
653
转载 oracle中的检查点Ckpt和SCN号
Checkpoint checkpoint是用来减少在数据库恢复过程中所花的时间(instance recovery).数据库中有个CKPT进程，这个是个可选进程，但是真正执行检查点的任务并不是有ckpt来完成的，而是ckpt在更新控制文件和数据文件头的有关信息后，通知DBWn进程，产生一个检查点，在产生检查点的时候，DBWn进程会将buffer cache中的脏数据(当前online
2015-12-02 22:57:52
1339
转载 Oracle 中的rowid
Oracle中的每个表都有一个rowid,它是一个18位字符组成字符串,例:AAANgBAABAAAO/KAAA.它包含的字符串由A-Z,a-z,0-9,+,/这些字符组成.是64进制.其中A-Z对应0-25,a-z对应26-51,0-9对应52-61,+对应62,/对应63.这个18位的字符串分成4段分别表示不同的意思(6,3,6,3),1-6位表示对象数据ID（段编号）,7-9
2015-12-02 22:56:12
318
转载 Oracle ROWID详解
1.ROWID定义ROWID：数据库中行的全局唯一地址对于数据中的每一行，rowid伪列返回行的地址。rowid值主要包含以下信息：对象的数据对象编号该行所在的数据文件中的数据块该行中数据块的位置（第一行是0）数据行所在的数据文件（第一个文件是1）。该文件编号是相对于表空间。通常来说，一个rowid值唯一标识数据中的一行。然而，存储在同一聚簇中不同的表可以有相同的r
2015-12-02 22:52:25
2167
转载 SCN号与oracle数据库恢复的关系
SCN号与oracle数据库恢复过程有着密切的关系，只有很好地理解了这层关系，才能深刻地理解恢复的原理，从而才能很好地解决这方面的问题。SCN与CHECKPOINTCKPT进程在checkpoint发生时，将当时的SCN号写入数据文件头和控制文件，同时通知DBWR进程将数据块写到数据文件。CKPT进程也会在控制文件中记录RBA(redo byte address),以标志Recover
2015-12-02 22:49:06
2507
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人