East271536394

原创 maven通过profile不同,实现环境进行打包

1.在parent 的pom.xml文件中定义                                  dev                            202.173.10.112jdbc.url>                jdbc.username>devjdbc.username>                jdbc.pwd>!

原创 hadoop 集群配置(1.0.4)

1. 服务器202.173.8.57 test01.east.cn (master--namenode)202.173.8.58 test02.east.cn (slave1--datanode)202.173.8.59 test03.east.cn (slave2--datanode)2. 配置host   vim /etc/hosts  新增加202.173.8

原创 jvm GC 参数设置

1: heap size a: -Xmx 指定jvm的最大heap大小,如:-Xmx2g b: -Xms 指定jvm的最小heap大小,如:-Xms1g c: -Xmn 指定jvm中New Generation的大小,如:-Xmn256m d: -XX:PermSize 指定jvm中Perm Generation的最小值,如:-XX:PermSize

原创 mongodb 三节点Shard Replica set 配置

1. 使用mongodb 版本     mongodb-linux-x86_64-2.2.3-rc12. 环境配置 202.173.88.57 202.173.88.59 202.173.88.69 shard1 端口 27017shard2 端口 27018shard3 端口 27019config 端口20000mongos 端口40

原创 hadoop 1.0.4 版本mapreduce 单元测试

1. 开发环境下载mrunit包     https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit 2. 编写map reduce 程序1. mapper/** * 类说明。 * * @author East271536394 * @version 2013-4

原创 elasticsearch 初探

http://www.elasticsearch.org/overview/elkdownloads/一、增加head插件elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es。或直接下载源码，在本地打开index.html运行它。该工具的git地址是： https://github.

原创 nginx 安装部署

1. 安装所需软件nginx-1.2.0pcre-8.212. 安装步骤首先安装pcre-8.21:(1)./configure--prefix=/home/kx/webserver/pcre-test-8.21--libdir=/home/kx/webserver/pcre-test-8.21/lib --includedir=/hom

原创 java 操作 zookeeper API

/** * ZooKeeper Java Api 使用样例 * * @author East271536394 * @version 2013-6-20 下午12:39:41 */import java.io.IOException;import java.util.concurrent.CountDownLatch;import org.apache.zookeeper.Cr

原创 hbase java client 操作

直接上代码~~~import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apa

原创 hbase 0.90.6 +nutch 2.0整合

1. 安装hbase    a)下载hbase-0.90.6.tar.gz版本   b)解压hbase-0.90.6   c)配置java_home       vim /conf/hbase-env.sh       export JAVA_HOME=/home/seal/seal/workspace/jdk1.7.0_04   d)执行bin/start-hbase.s

原创 一次OOM分析的过程

1. 现象 Java heap space 通过系统日志查询如下: 2013-04-11 16:53:54,569 [ActiveMQ Transport: tcp:///202.111.10.183:8006] WARN org.apache.activemq.transport.failover.FailoverTransport - Transport (/202.111.10

原创 利用cronolog对nginx日志进行分割

一、cronolog安装wget http://cronolog.org/download/cronolog-1.6.2.tar.gztar zxvf cronolog-1.6.2.tar.gzcd cronolog-1.6.2./configuremakemake install二、nginx日志配置log_

原创 mongodb删除集合后磁盘空间不释放

硬盘空间回收：mongodb删除集合后磁盘空间不释放，只有用db.repairDatabase()去修复才能释放。但是在修复的过程中如果出现了非正常的mongodb的挂掉，再次启动时启动不了的，需要先修复才可以，可以利用./mongod --repair --dbpath=/data/mongo/ 如果你是把数据库单独的放在一个文件夹中指定dbpath时就指向要修复的数据库就可以，修复

原创 vmware tools 安装不上，报错/tmp/modconfig-IgPiI7/vmhgfs-only/filesystem.c:685: error: too few arguments to

vmware tools  安装不上，报错make[1]: Entering directory `/usr/src/kernels/2.6.22.6-1-i686'  CC [M]  /tmp/modconfig-IgPiI7/vmhgfs-only/backdoor.o  CC [M]  /tmp/modconfig-IgPiI7/vmhgfs-only/backdoorG

原创 查看mongodb 当前任务

mongos> db.currentOp(){    "inprog" : [        {            "opid" : "shard0000:34451622",            "active" : true,            "secs_running" : 3,            "op" : "query",

原创 mongodb sharding 配置

启动202.173.8.57 (Shard1)./mongod --port 30001 --dbpath /home/mongodb/workspace/db/shard1 --logpath /home/mongodb/workspace/db/log/shard1.log --shardsvr --logappend --fork202.173.8.59 (Shard2)

原创 redis 非持久化配置

vim /home/East/nosql/redis-2.4.17/redis.conf#save 900 1#save 300 10#save 60 10000

原创 nginx防止批量抓取网站内容

Nginx+iptables屏蔽访问Web页面过于频繁的IP(防DDOS，恶意访问，采集器)通过分析nginx的日志来过滤出访问过于频繁的IP地址，然后添加到nginx的blockip.conf，并重启nginx脚本如下:#!/bin/shnginx_home = /Data/app_1/nginxlog_path = /Data/logs/usr/bin/tail -n5

原创 HttpClient 通过Post 上传文件。

public class UploadService { /** * 默认的URL */ private static final String DEFAULT_HTTP_POST_URL = "http://localhost:8090/uploadfile"; private Logger logger = LoggerFactory.getLogger(UploadServi

原创 crontab 调用shell 不执行解决办法

1. 新增加运行时环境    例如:30 8 * * *  source /etc/profile && source ~/.bash_profile && source ~/.bashrc &&  /home/user/workspace/redmine/redmine_wakeup.sh>>/tmp/redmine.log2. 在redmine_wakeup.sh中使用export $

原创 svn 代码统计方案

1. 整体结构     代码量查看

原创 scribe 简单使用java

1. 安装见 http://blog.csdn.net/east271536394/article/details/78495742.scribe 整体架构                                  scribe是一个服务，负责监听服务器的某个端口1464/1463              使用方式，通过java或php程序调用thrift的函数，向该

原创 日志统计scribe安装简介

在centos 6安装，操作步骤如下：1、gcc和gcc-c++系统有gcc，版本不要太老，至少3.4.6版本是不行的，我后来用的gcc是4.1.22、ruby（不知版本有啥要求，我用的1.8.5）包括ruby和ruby-devel3、python（不知版本有啥要求，我用的2.4.3）包括python和python-devel4、li

原创 Linux 小命令总结

1. kill 与ps 组合    kill -9 `ps -ef|grep java|grep -v grep|cut -c 9-15`    grep|cut -c 9-15 用户名是8位，所以占用1-8，9位是空格，10-15是pid    带参数的kill -9     ps -ef | grep seal-gb | awk '{print $2}' | xargs

原创 java mock 测试

import static org.mockito.Mockito.doNothing;import static org.mockito.Mockito.verify;import static org.mockito.Mockito.when;import org.junit.Before;import org.junit.Test;import org.mockito.Mock;

原创 RSA 加密算法(分组加密，分组解密)

import java.math.BigInteger;import java.security.Key;import java.security.KeyFactory;import java.security.KeyPair;import java.security.KeyPairGenerator;import java.security.interfaces.RSAPri

原创 apache ftpClient 多网卡上传文件超时解决。

在服务器中有多个网卡，默认的路由不是当前的ftp服务器走的路由。             修改ftpclinent.java 中的代码实现。             protected Socket _openDataConnection_(String command, String arg) throws IOException { if (__dataConnectionMo

原创 zip 文件解压缩问题解决 java.util.zip.ZipException：error in opening zip file

程序一直是运行好的，突然在另一台服务器上部署，发现不能解压文件， java.util.zip.ZipException：error in opening zip file  程序代码如下:   public static void unzip(String sourceZip, String outputPath) throws Exception { if (sourceZip

原创 Oracle 查看有哪些表被锁住

select b.owner,b.object_name,a.session_id,a.locked_modefrom v$locked_object a,dba_objects bwhere b.object_id = a.object_id select b.username,b.sid,b.serial#,logon_timefrom v$locked_objec

原创 RabbitMQ安装配置手册

RabbitMQ安装配置手册安装准备rabbitmq-server-2.7.0-1.noarch.rpmLinux：Yum: Python:安装步骤Ø  执行yum installerlang Ø  下载文件wget -O /etc/yum.repos.d/epel-erlang.repo ht

原创 RabbitMQ性能测试

测试结果4.1队列发送性能结果4.1.1单线程发送100万消息（1 X 100万）采样序号发送速率上传大小消耗时带宽利用率18745msg/s1.16G114.44s79.3%28696msg/s1.16G

原创 java 从Oracle读图片

写了一个简单的java 读取Oracle 的图片信息，程序代码如下: /** * * 生成图片 * @author zhangdongfang */ public void generate() throws SQLException, IOException { //查询数据 List tradeList = (List) tradeMarkDaoIm

原创 Oracle 报表统计SQL

--按天统计select to_char(rdate,'dd'),sum(r.added) from revision r group by to_char(rdate,'dd');--按周统计select to_char(rdate,'iw'),sum(r.added) from revision r group by to_char(rdate,'iw');--按月统计se

原创 系统性能调优

原创 添加Nginx-1.0.4/5的Munin-1.4.6的监控(Munin+Nginx)和需要依赖perl-libwww-perl

1. 确认你的nginx加载了http_stub_status_module模块，没有的话，重新编译。查看Nginx版本：view sourceprint?1[root@hexuweb102 monitor]$ /usr/local

原创 Linux 安装 Master/Node munin-1.4.6 + rrdtool-1.4.5 监控服务运行状态

因为没有看munin/INSTALL 说明，走了一些弯路，所以在安装软件前最好先看一下安装说明：view sourceprint?01### Dowlad Softs: >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

原创 Munin 安装配置

# uname -r2.6.18-53.el5用第三方的RPMforge Repository yum源来快速安装muninwget http://packages.sw.be/rpmforge-release/rpmforge-release-0.3.6

原创 ofbiz中使用Oracle 数据库配置解决时间格式问题

ofbiz 代码：http://svn.apache.org/repos/asf/ofbiz/branches/release11.04切换到oracle，创建自己的数据库账户，脚本如下。请修改自己的用户名和密码create user ofbiz identifi

原创 自动缓存js和css或者image等文件

第一步:写一个filter,可以根据路径的正则来判断该路径的请求是否需要设置max-age: public class CacheFilter implements Filter{ private static transient Log

原创 Java 高性能缓存设计思想(Memcache)

# package com.akala.dbcache.core; import java.lang.reflect.Method; import java.net.SocketException; import java.util.Ar