- 博客(118)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 文本文件导入到Hbase中
创建表sudo su -su - hadoop./hbase shellcreate 'table1',{NAME => 'DF', VERSIONS => 5} 配置环境1.修改hadoop环境vi /opt/hadoop-1.0.0/conf/hadoop-env.sh增加如下信息export HBASE_HOME=/opt/hbase-0.92.0exp...
2013-02-21 10:00:44
365
原创 spring security2
<?xml version="1.0" encoding="UTF-8" ?> - <beans:beans xmlns="http://www.springframework.org/schema/security" xmlns:beans="http://www.springframework.org/schema/beans" xmlns:xsi="http://
2012-07-15 09:44:19
159
原创 不选择使用Lucene的6大原因
Lucene是开放源代码的全文搜索引擎工具包，凭借着其强劲的搜索功能和简单易用的实现，在国内已经很普及，甚至一度出现了言搜索必称Lucene的盛景。上个月Lucene的开发团队发布了 Java Lucene 2.3.1，相信很多朋友们都用上了。在国内对Lucene的介绍可以分为3块儿： 第一类是：以车东 的Lucene：基于Java的全文检索引擎简介 为代表的基础入门介绍； 第...
2012-06-27 09:51:57
171
原创 Solr性能调优
Schema Design Considerations indexed fields indexedfields 的数量将会影响以下的一些性能： 索引时的时候的内存使用量 索引段的合并时间 优化时间 索引的大小 我们可以通过 将 omitNorms=“true” 来减少indexe...
2012-06-27 09:47:20
208
原创 Java线程：线程状态的转换
http://lavasoft.blog.51cto.com/62575/27069一、线程状态 线程的状态转换是线程控制的基础。线程状态总的可分为五大状态：分别是生、死、可运行、运行、等待/阻塞。用一个图来描述如下： 1、新状态：线程对象已经创建，还没有在其上调用start()方法。 2、可运行状态：当线程有资格运行，但调度程序还没有把它选定为运...
2012-03-14 19:45:51
77
原创 GREENPLUM介绍之数据库管理（四）-创建数据库和用户管理
GREENPLUM与ORACLE一样有着完全独立于操作系统的用户管理系统，以及权限管理系统。首先我们介绍一下GP中的数据库。在GP初始化系统后，GP会自动创建出三个数据库postgre,template0,template1. 其中postgre用作系统内部数据的存放，我们既不要删除它，也不要修改它。template1是系统默认的数据，我们创建数据库时可以以t...
2012-02-20 17:57:30
620
原创 GREENPLUM介绍之数据库管理---创建表
与其它关系型数据库一样，二维表同样是GP中最重要的存储数据对象。只不过为了更好的支持数据仓库海量数据的访问，GP在表这个层面为我们提供了更多更好的选项。从数据存储方式上看，GP的表可以分成面向行存储的普通堆积表和面向列存储的AOT表(APPEND ONLY TABLE)（当然AOT表也可以是按行存储的，但是按列存储必须是AOT表）。这样，我们...
2012-02-20 17:28:28
208
原创 深入探索 高效的Java异常处理框架
摘要：本文从Java异常最基本的概念、语法开始讲述了Java异常处理的基本知识，分析了Java异常体系结构，对比Spring的异常处理框架，阐述了异常处理的基本原则。并且作者提出了自己处理一个大型应用系统异常的思想，并通过设计一个异常处理的框架来论述此思想。 一、 异常的概念和Java异常体系结构 异常是程序运行过程中出现的错误。本文主要讲授的是Java语言的异...
2012-02-16 18:04:24
73
原创 spring ioc原理
最近，买了本Spring入门书：spring In Action 。大致浏览了下感觉还不错。就是入门了点。Manning的书还是不错的，我虽然不像哪些只看Manning书的人那样专注于Manning,但怀着崇敬的心情和激情通览了一遍。又一次接受了IOC 、DI、AOP等Spring核心概念。 先就IOC和DI谈一点我的看法。IOC（DI）：其实这个Spring架构核心的概念没有这么...
2012-02-05 21:24:23
84
原创 JAVA IO 设计模式彻底分析
一。引子（概括地介绍Java的ＩＯ） 无论是哪种编程语言，输入跟输出都是重要的一部分，Java也不例外，而且Java将输入／输出的功能和使用范畴做了很大的扩充。它采用了流的机制来实现输入／输出，所谓流，就是数据的有序排列，而流可以是从某个源（称为流源或Source ofStream）出来，到某个目的地（称为流汇或Sink ofStream）去的。由流的方向，可以分成输入流和输...
2012-02-05 15:15:11
81
原创 JAVA集合小结
AVA集合小结 下面是我自己画的，关系画得没上面好，但我自己看着清楚些还有一张下载来的： 有序否允许元素重复否Collection否是List是是SetAb...
2012-02-05 15:03:10
87
原创 JVM加载Class过程分析
我们知道，JVM是通过调用一个Class类得main方法来进入一个类得，这个main方法必须是public、static、void修饰的。但是在这之前，JVM还需要做一系列的准备工作。在这节里，我们分析一个Java类是如何被JVM加载运行的。JVM要调用一个类里的方法需要经过以下几个步骤：类装载、链接、初始化。1 类装载：JV...
2012-02-05 13:45:24
73
原创 hadoop-0.23.0 安装
1.tar -zxvf hadoop-0.23.0.tar.gz2.安装jdk： chmod 755 jdk-6u27-linux-x64-rpm.bin ./jdk-6u27-linux-x64-rpm.bin3.配置： vi hadoop-0.23.0/config/yarn-env.sh 增加 expor...
2011-12-13 09:33:31
96
原创 交房文件
1、 住宅交付使用许可证2、 注销抵押证明（宝201011003675）和（宝201011012363）两份抵押3、 缴纳物业维修基金的凭证4、 新建住宅质量保证书（带走）5、 新建住宅使用说明书（带走）6、 上海市房屋建筑面积测绘报告...
2011-11-25 12:57:09
125
原创 在实践中使用Jstat监控gc情况
性能测试过程中，我们该如何监控java虚拟机内存的使用情况，用以判断JVM是否存在内存问题呢？如何判断JVM垃圾回收是否正常？一般的top指令基本上满足不了这样的需求，因为它主要监控的是总体的系统资源，很难定位到java应用程序。在项目实践过程中，我们探索和使用了一款新工具－－Jstat。 先秀一下。Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Mach...
2011-11-10 15:49:28
87
原创 ehcache代码应用
CacheConfiguration fee = new CacheConfiguration("fooCache", 100000) .overflowToDisk(true) .eternal(true) .diskPersistent(false) .trans...
2011-09-06 17:52:08
77
原创 java内存溢出类型
一、内存溢出类型 1、java.lang.OutOfMemoryError: PermGen space JVM管理两种类型的内存，堆和非堆。堆是给开发人员用的上面说的就是，是在JVM启动时创建;非堆是留给JVM自己用的，用来存放类的信息的。它和堆不同，运行期内GC不会释放空间。如果web app用了大量的第三方jar或者应用有太多的class文件而恰好MaxPermSize设置较小，...
2011-08-26 16:09:39
86
原创 Apache ab 测试结果的分析
以前安装好APACHE总是不知道该如何测试APACHE的性能，现在总算找到一个测试工具了。就是APACHE自带的测试工具AB(apache benchmark).在APACHE的bin目录下。格式： ./ab [options] [http://]hostname[:port]/path参数： -n requests Number of requests to perform ...
2011-08-23 09:29:12
237
原创 Nginx---一些优化
http://www.howtocn.org/nginx:%E9%85%8D%E7%BD%AE%E4%B8%80%E4%B8%AA%E9%AB%98%E6%80%A7%E8%83%BD%E7%9A%84nginx_fastcgi%E6%9C%8D%E5%8A%A1%E5%99%A8nginx指令中的优化（配置文件）worker_processes 8;nginx进程数，建议...
2011-08-17 11:38:53
143
原创 Nginx---linux的tcp优化
关于Nginx内核参数的优化：net.ipv4.tcp_max_tw_buckets = 6000 timewait的数量，默认是180000。net.ipv4.ip_local_port_range = 1024 65000 允许系统打开的端口范围。net.ipv4.tcp_tw_recycle = 1 启用timewait快速回收。net.ipv4.tcp_tw...
2011-08-16 18:15:50
119
原创 Nginx---配置&监控
配置目录 /usr/local/nginx/conf 中 nginx.conf文件#运行用户 user nobody nobody; #启动进程 worker_processes 2; #全局错误日志及PID文档 error_log logs/error.log notice; pid logs/Nginx.pid; #工作模...
2011-08-16 18:06:18
66
原创 Nginx---linux安装，重启脚本
安装首先到这个网站可以下载源码包：http://nginx.org/en/download.html tar -zxvf nginx-1.1.0.tar.gz cd nginx-1.1.0./configure(由于我的电脑中没有安装PCRE库，所以只有把增加 --without-http_rewrite_moduleoption 才能通过编译。)ma...
2011-08-16 17:54:03
80
原创 深入探讨在集群环境中使用 EhCache 缓存系统
http://www.ibm.com/developerworks/cn/java/j-lo-ehcache/index.html?ca=drs-cn-0401
2011-07-22 10:38:52
76
原创 红帽企业版 6.0 KVM虚机实战攻略
在2010年4月发布的RHEL 6.0 Beta版中 ，去掉了Xen，这也许是第一个不包含XenHypervisor的知名Linux发行版，之前有报道过Red Hat有可能会在RHEL6.0中用KVM完全代替Xen，现在看来以前的消息一点不假。KVM 是指基于 Linux 内核的虚拟机(Kernel-basedVirtual Machine)。增加 KVM 到 Linux 内核是 Li...
2011-03-29 17:17:53
114
原创 大规模项目团队持续集成实践
一、持续集成基础在典型的软件项目中，集成阶段一般都是在最后，因此也是出现问题最多，而且最有可能导致不能按时交付。而持续集成（XP十二实践之一）可以用来解决这个问题。既然大家都认为“频繁地使软件在某一代码基线构建并通过测试”是个不错的做法，那么让代码每次变化时都能够成功构建并通过测试不是更好吗？通过持续集成，所有的工作都会尽可能地集成到单一的代码基线上。而每次代码的提交都会触发一次构建以及一...
2011-03-25 11:26:34
152
原创 年度技术回顾之数据库、NoSQL、开源软件
http://www.dbanotes.net/opensource/2011_tech_review.htmlhttp://blog.nosqlfan.com/html/951.html http://www.spnguru.com/趋势科技中国研发中心 SPN研发团队 -no sql http://www.tbdata.org/ 淘宝数据平台博...
2011-02-14 14:37:43
66
原创 Linux下MRTG的安装与配置
MRTG通过SNMP从设备中得到使用设备（如交换机）的网络流量信息，并把PNG格式图形以HTML方式显示出来，便于网络管理员对所监控设备（交换机）进行管理。目前市场上可网管型（智能）的交换机都支持SNMP，可以通过MRTG进行网络流量监控。 下面以Red Hat Linux 9.0为例介绍MRTG的安装与配置。 1．安装基础软件包 要安装MRTG软件包必须首先安装gcc、p...
2011-01-13 16:25:50
369
原创 优化Linux下的内核TCP参数来提高服务器负载能力
提高服务器的负载能力，是一个永恒的话题。在一台服务器CPU和内存资源额定有限的情况下，最大的压榨服务器的性能，是最终的目的。要提高Linux系统下的负载能力，可以先启用Apache的Worker模式（参考我写的《Ubuntu下配置Apache的Worker模式》一文），来提高单位时间内的并发量。但是即使这么做了，当网站发展起来之后，连接数过多的问题就会日益明显。在节省成本的情况下，可以考虑...
2011-01-12 13:44:47
319
原创 expdp 和impdp的笔记(转)
Oracle Database 10g引入了最新的数据泵(Data Dump)技术,使DBA或开发人员可以将数据库元数据(对象定义)和数据快速移动到另一个oracle数据库中.数据泵导出导入(EXPDP和IMPDP)的作用1,实现逻辑备份和逻辑恢复.2,在数据库用户之间移动对象.3,在数据库之间移动对象4,实现表空间搬移.数据泵导出导入与传统导出导入的区别在10g之前...
2010-12-15 21:05:39
80
原创 jQuery插件等
Poshy Tip - jQuery http://vadikom.com/tools/poshy-tip-jquery-plugin-for-stylish-tooltips/
2010-12-02 15:13:47
82
原创 淘宝分布式数据处理实践
近日，由中科院计算所主办的“Hadoop 中国2010云计算大会”在北京召开，今年已是第四届举办。包括百度、淘宝和中移动在内的诸多企业都展示了基于Hadoop的应用。在本次大会上淘宝数据平台及产品部基础研发组周敏介绍了淘宝对Hadoop的功能扩展和改造，分布式数据仓库的构思，并着重介绍了对Hive实践以及改造。以下是周敏在本次大会的ppt节选。 淘宝数据图淘宝望目前有会员2亿左右，日均...
2010-12-01 13:56:48
89
原创 开发环境配置---eclipse篇
1.eclipse启动速度的优化 通过以下步骤,可以优化eclipse的启动速度1，取消系统的自动折叠操作方法：Window->Preferences->Java->Editor->Folding tab.2，取消按"."后自动激活提示功能。这样会有些提高速度。操作方法：Window->Preferences->Java->Edito...
2010-11-18 11:19:08
133
原创 Oracle10gR2如何在RHEL 5下开启异步IO
异步I/O的优点：异步I/O是和同步I/O相比较来说的，如果是同步I/O，当一个I/O操作执行时，应用程序必须等待，直到此I/O执行完。相反，异步I/O操作在后台运行，I/O操作和应用程序可以同时运行，提高了系统性能； 使用异步I/O会提高I/O流量，如果应用是对裸设备进行操作，这种优势更加明显， 因此像数据库，文件服务器等应用往往会利用异步I/O，使得多个I/O操作同时执行。 ...
2010-11-08 19:04:46
83
原创 Oracle10g的数据迁移方案
网上看到一个不错的文章，转帖给大家，包括传输表空间解决跨平台及endian-ness问题的处理方法找到将数据从仓库迁移到集市的最快方法。Lora是Acme银行的数据库管理员，她现在在该银行高层管理团队高级会议上成了大家最关注的核心人物。这次会议的目的是确定一些方法，来使最终用户能够详细分析公司主数据仓库中的数据。会上提出的一种想法是创建几个小型数据集市--每个集市根据一个特定的职能...
2010-10-13 18:46:59
214
原创 Struts2 OSGi
http://www.ibm.com/developerworks/cn/web/1007_shaobing_flexosgi/index.html?ca=drs-
2010-10-09 16:35:59
163
原创 svn
http://svnbook.red-bean.com/nightly/zh/svn-book.html http://www.iusesvn.com/bbs/thread-6-1-1.html
2010-09-21 13:46:50
69
原创 Linux服务器上11种网络连接状态
通常情况下:一个正常的TCP连接，都会有三个阶段:1、TCP三次握手;2、数据传送;3、TCP四次挥手 注:以下说明最好能结合”图:TCP的状态机”来理解。 SYN:(同步序列编号,Synchronize S...
2010-06-25 16:40:07
195
原创 发现大量的TIME_WAIT解决办法
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a,S[a]}' 服务器(windows)，发现很卡,于是重启了下服务器，进入系统后，没过一会问题依旧,查看了下系统进程，发现mysql占用率达到99%，可以肯定的是mysql连接出现问题:netstat -an192.168.12.13:3306 1...
2010-06-23 16:19:36
146
原创 Linux TCP 连接数修改
一、 文件数限制修改(1) vi /etc/security/limits.conf* soft nofile 10240 * hard nofile 10240 (2) vi /etc/pam.d/loginsession requ...
2010-06-23 11:10:31
84
原创 数据仓库及其体系结构建设
1 数据仓库的概念 数据仓库( Data Warehousing )的概念最早出现于 20 世纪 80 年代。而直到 1993 年，号称“数据仓库之父”的 William H . Inmon 在其论著《Building the Data warehouse》一书中，首次系统地阐述了数据仓库的思想和相关理论，为数据仓库的发展奠定了基石。他将数据仓库定义为：“一个面向主题的、集成的、反映历史变化...
2010-06-09 15:48:17
287
关于struts2.1.2中codebehind插件---bug？
2008-11-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人