- 博客(279)
- 收藏
- 关注
RSS订阅转载 Hadoop节点添加与删除
添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@
2012-08-28 16:33:55
963
原创 数据压缩在海量数据环境下意义
海量数据环境下可以将不需要修改的数据所在的分区属性设置为压缩，然后通过move partition方式对分区的数据进行压缩，这样即可以提高查询效率又可以节省空间。 创建分区表：createtable t1 (idint,timedate)partitionbyrange(time) ( partition p1valueslessthan(to_date('2011-
2012-08-08 10:54:18
1227
原创 数据压缩对DML操作的影响
正常的insert的数据并不会发生压缩：创建了两个表 查看空间占用情况： 可以发现t2并没有被压缩，但是通过 insert /*+append */直接插入的方式就可以压缩了：可见t2被压缩了 Update操作会使压缩数据不再被压缩：
2012-08-08 10:52:53
1090
原创 表和索引在数据压缩前后空间占用情况的对比
创建压缩表create table t_compress as select * from dba_objects;创建非压缩表create table t_uncompress as select * from dba_objects;占用空间对比select segment_name,extent_id,bytes from user_extents where s
2012-08-08 10:39:48
1232
原创 全文索引表的分区交换
主要过程如谭总书中的例子：创建空的分区表createtable t1(object_id int,object_name varchar2(60),created date) partition by range(created) ( partition p2009 values lessthan(to_date('2010-01-01','yyyy-mm-dd')), p
2012-07-25 13:48:02
1135
1
原创 全文索引的性能优势
继续沿用上一题的t_btree 表，删除此表上的所有索引并在object_name一列上建立btree索引CREATE INDEX object_name_btxon t_btree(object_name);创建新表CREATETABLE t_textASSELECT *FROM t_btree创建基于object_name的全文索引createindex
2012-07-25 13:47:28
756
原创 BitMap索引性能优于B-Tree
删除题1中创建的btree和bitmap索引在status字段上创建bitmap索引createbitmapINDEX status_bmxon t_btree(status);执行两次查询发现了执行了5次cr，扫描路径是bitmap索引 删除此索引Drop index status_bmx创建btree索引执行同样的sqlSELECTCOUNT(*
2012-07-25 13:46:50
2123
原创 B-Tree索引性能优于BitMap索引
建立两张表：CREATETABLE t_btreeASSELECT *FROM dba_objects在t_btree上建立bitmap索引createbitmapINDEX object_id_bmxont_btree(object_id);执行两次查询SELECT * FROM t_btree WHERE object_id=9999;发现了执行了71次
2012-07-25 13:46:17
1750
原创 System and session state
系统级的：Session级的event的视图(session级别2个、系统级别一个)：SELECT *FROM v$session_event;SELECT *FROM v$session_wait;SELECT *FROM v$system_event;重要参数：statistics_level basic typical all
2012-07-19 10:36:00
667
原创 Statspack
用spcreate.sql进行安装先创建一个表空间：Create tablespace perfstat datafile ‘/var/oracle/oracle/oradata/traveldb/perfstat_01.dbf’ size 512M;执行plsql包：@?/rdbms/admin/spcreate.sql;输入密码、表空间、临时表空间即可。创建完成
2012-07-19 10:28:22
558
原创 Trace files
查询oracle dump文件位置：SQL> show parameter dump; NAME TYPE VALUE------------------------------------ ----------- ------------------------------background_cor
2012-07-19 10:27:22
1040
原创 oracle 组合分区
CREATETABLE t_range_hash(object_id NUMBER(5),object_name VARCHAR2(50),create_date DATE,OBJECT_TYPE VARCHAR2(20))PARTITIONBYRANGE(object_id)subpartitionbyhash(OBJECT_TYPE)SUBPARTITIONS4
2012-07-17 14:41:38
6339
1
原创 range,list和Hash 分区的性能
这里我主要比较查询性能差异首先创建如题目1中的三张表并增加记录至100w多创建的分区内的记录尽量保持平衡也就是每个分区的记录数相近 不加索引下执行下面的查询SELECT *FROM t_rangeWHERE object_id=48928SELECT *FROM t_hashWHERE object_id=48928SELECT *FROM
2012-07-17 14:40:56
4801
原创 oracle 交换表空间
设置文件输出路径：SQL> alter systemset db_create_file_dest='/home/oracle'; System altered SQL> showparameter db_create_file_dest; NAME TYPE VALUE---------
2012-07-17 14:40:10
2738
原创 创建range list和hash分区表
创建range分区表：CREATE TABLE t_range(object_id NUMBER(5),object_name VARCHAR2(50),create_date DATE,OBJECT_TYPE VARCHAR2(20))PARTITION BY RANGE(object_id)(PARTITION object_id_10000 VALUES LE
2012-07-17 14:39:15
2308
转载 oracle实例和监听器
一、静态注册静态注册指实例启动时读取listener.ora配置文件，将实例和服务注册到监听程序。无论何时启动一个数据库，默认都有两条信息注册到监听器中：实例和服务。SID_LIST_LISTENER = ( SID_LIST = (SID_DESC = (GLOBAL_DBNAME = Ora8) (SID_NAME = t
2012-06-27 17:02:52
4035
转载 SYS远程连接出错ORA-01031:Insufficient privileges
SYS远程连接出错ORA-01031:Insufficient privileges.现象：本地可以正常连接访问，在其它机器上也能通过normal方式正常访问使用，但是不能以sysdba身份连接访问，连接时报错ORA-01031:Insufficient privileges.1、检查系统参数：SQL> show parameter passwordNAME
2012-06-27 17:01:42
929
原创 Oracle 手工建库
今天运维给装了个虚拟机可是oracle启动一直报shared pool大小不足，这个下一篇会谈到解决办法，解决了这个问题后数据库启动不了，于是不得不手工建库：1. 建立需要的目录mkdir -p /oracle/product/10204/admin/bdumpmkdir -p /oracle/product/10204/admin/cdumpmkdir -p /oracle/pr
2012-06-27 16:37:53
1867
原创 Rest in sping 3.x and servlet
dispacther org.springframework.web.servlet.DispatcherServlet contextConfigLocation classpath*:/dispacther-servlet.xml 1 dispacther /service/* HiddenHttpMethodFilter
2012-06-19 18:08:14
918
原创 rest in spring 2.x
Rest in spring 2.x：@Path("/number/")@Component@Scope("singleton")public class NumberService { @POST @Consumes( { "application/x-www-form-urlencoded" }) @Produces( { "text/plain" })
2012-06-19 18:04:18
736
原创 Rest 概念
整理一下分享的ppt：About URL•identifies a web resource •Addressable•many to one•:About representation •a view of a resource’s state at an instant in time. This viewis encoded in one o
2012-06-19 18:00:02
811
原创 ibatis 调用存储过程多个传入传出参数
bean：package com.yushh.model;import java.io.Serializable;public class InParam implements Serializable { private static final long serialVersionUID = -7007323266986792615L; private String i
2012-06-19 17:54:01
4215
原创 statspack简单使用
用spcreate.sql进行安装先创建一个表空间：Create tablespace perfstat datafile ‘/var/oracle/oracle/oradata/traveldb/perfstat_01.dbf’ size 512M;执行plsql包：@?/rdbms/admin/spcreate.sql;输入密码、表空间、临时表空间即可。Stat
2012-06-12 11:34:45
608
原创 oracle的trace files
查询oracle dump文件位置：SQL> show parameter dump; NAME TYPE VALUE------------------------------------ -----------------------------------------background_core
2012-06-12 11:30:50
732
转载 Hadoop definitive guide
1. Introduction to HDFS1.1. HDFS Concepts1.1.1. Blocksl HDFS too has the concept of a block, but it is a much larger unit 64 MB by default.l Like in a filesystem
2012-05-24 15:02:15
1127
转载 MapReduce流程分析
MapReduce流程分析接触Hadoop已经1年了，一直没时间好好学习下。这几天打算好好研究下Hadoop.本来是想打算改写下TextInputFormat。看了源码后，反而更迷糊了。所以干脆连MapReduce的整个流程写下来。也当为这几天的学习作个总结。先来一个我们常写的main函数。Configuration conf = new Configuration();
2012-05-24 14:34:27
614
原创 Eclipse连接hadoop
环境配置1、Eclipse 版本 3.62、Hadoop版本 0.20.21、将\hadoop-0.20.2\hadoop-0.20.2\contrib\eclipse-plugin\下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32\eclipse\plugins\下。2、启动eclipse，点击Windo
2012-05-24 10:13:28
1578
原创 Hadoop 安装
环境：redhat 4 三台、jdk 6u21、hadoop-0.20.2（1）用root登陆,建立hadoop用户 useradd hadoop passwd hadoop(2)分别在四台机器上运行二进制文件：./jdk-6u21-linux-x64-rpm.bin (3)编辑四台机器的/etc/profile,增加如下内容export JAVA_
2012-05-24 10:07:03
863
转载 HADOOP报错Incompatible namespaceIDs
今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -reportConfigured Capacity: 0 (0 KB)Present Capaci
2012-05-23 15:43:05
506
原创 Redhat 4 关闭邮件服务及修改主机名
/etc/rc.d/init.d/sendmail stopchkconfig --level 123456 sendmail offreboothostname master永久修改：vi /etc/sysconfig/networkHOSTNAME=master
2012-05-22 17:20:33
725
原创 访问者模式
访问者模式：修改各元素类的前提下定义作用于这些元素的新操作，也就是动态的增加新的方法。ConcreteElementA和ConcreteElementB 就是原有的类，现在需要给ConcreteElementA增加一个方法visitElementA给ConcreteElementB增加一个方法 visitElementB，接口Visitor定义了这两个方法，那么怎么让新增的方法被调用呢
2012-05-15 17:08:33
563
访问者模式
访问者模式：修改各元素类的前提下定义作用于这些元素的新操作，也就是动态的增加新的方法。ConcreteElementA和ConcreteElementB 就是原有的类，现在需要给ConcreteElementA增加一个方法visitElementA给ConcreteElementB增加一个方法 visitElementB，接口Visitor定义了这两个方法，那么怎么让新增的方法被调用呢...
2012-05-15 17:08:00
106
原创 桥接模式
桥接模式：把抽象（abstraction）与行为实现（implementation）分离开来，从而可以保持各部分的独立性以及应对它们的功能扩展。其实我们经常用的mvc就是典型的桥接模式：package com.jerry.design.bridge; // 测试类public class Test { public static void main(String[] arg
2012-05-15 16:11:27
2435
桥接模式
桥接模式：把抽象（abstraction）与行为实现（implementation）分离开来，从而可以保持各部分的独立性以及应对它们的功能扩展。其实我们经常用的mvc就是典型的桥接模式：package com.jerry.design.bridge; // 测试类public class Test { public static void main(String[] arg...
2012-05-15 16:11:00
190
原创 责任链模式
责任链模式：使多个对象都有机会处理请求，从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链，并沿着这条链传递该请求，直到有一个对象处理它为止。这个定义让我们很自然地联想到了struts中的过滤器，没错，那我们自己创建一个过滤器吧：package com.jerry.design.chain;import java.util.HashMap;import java.util.
2012-05-15 15:48:42
535
责任链模式
责任链模式：使多个对象都有机会处理请求，从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链，并沿着这条链传递该请求，直到有一个对象处理它为止。这个定义让我们很自然地联想到了struts中的过滤器，没错，那我们自己创建一个过滤器吧：package com.jerry.design.chain;import java.util.HashMap;import java.util....
2012-05-15 15:48:00
107
原创 装饰器模式
装饰器模式：给一个对象添加一些额外的操作，虽然此功能可以用继承实现，但装饰模式比生成子类更灵活。核心思想是动态组合，和aop很相似，关键步骤在于对装饰器类的继承。package com.jerry.design.decorator; // 测试类public class Test { public static void main(String[] args) {
2012-05-15 10:44:17
447
装饰器模式
装饰器模式：给一个对象添加一些额外的操作，虽然此功能可以用继承实现，但装饰模式比生成子类更灵活。核心思想是动态组合，和aop很相似，关键步骤在于对装饰器类的继承。package com.jerry.design.decorator; // 测试类public class Test { public static void main(String[] args) { ...
2012-05-15 10:44:00
121
原创 解释器模式
解释器模式：通过解析器对象处理一个给定的规则，把复杂的功能分离开，让客户端选择要执行的功能。下面是个小demo，巧妙之处在Context对象的处理上：package com.jerry.design.interpreter;import java.util.ArrayList;import java.util.List; // 测试类public class Test { p
2012-05-14 16:43:12
616
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人