- 博客(151)
- 问答 (1)
- 收藏
- 关注
RSS订阅ThreadPoolExecutor 线程池源码分析-基于jdk8
测试demo, ThreadPoolExecutorTest: public class ThreadPoolExecutorTest { public static void main(String[] args) throws InterruptedException { final boolean isFair = false; ArrayBlockingQueue...
2018-09-01 02:03:46
282
gradle 基础配置java工程
JAVA APP配置 build.gradle:// builg.gradle update by wangqingsong on 20160711apply plugin: 'java'apply plugin: 'eclipse'apply plugin: 'maven'group = "com.greatwqs"version = "1.0-SNAPSHOT"...
2018-05-22 11:38:51
377
Spring4.3.2与MyBatis3.2.2整合附源码 (适合API接口类开发)
基于SpringMVC, Spring (Version 4.2.3) + MyBatis (Version 3.2.2) 的API应用 适合APP后端接口, 小程序后端接口, 前后端分离的接口支持. 开发环境: Apache Maven 3.3.3 + JDK 8 + MySQL 5.7 + Tomcat 8 支持以下特性:使用Maven 搭建整个环境, 开发环境和线上...
2018-03-04 17:15:22
267
fastjson序列化transient关键字的属性
public static String toJSONStringIgnoreTransient(Object object) { SerializeWriter out = new SerializeWriter(); try { JSONSerializer serializer = new JSONSerializer(out...
2016-08-30 10:38:18
1981
Ubuntu12.04 安装 redis-3.2.1集群
安装的整个过程参考:http://www.cnblogs.com/gomysql/p/4395504.html 一. 环境信息1. redis-3.2.1:(http://redis.io/) http://download.redis.io/releases/redis-3.2.1.tar.gztar xvf redis-3.2.1.tar.gzmake &...
2016-07-16 01:40:58
205
原创 Zz: MySQL索引背后的数据结构及算法原理
源: http://blog.codinglabs.org/articles/theory-of-mysql-index.html摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注...
2015-08-13 14:52:46
203
Ubuntu12.04_X64 apt-get install 报错404
apt-get install gcc 不能正确安装, 最后错误显示如下:Need to get 859 kB/27.1 MB of archives.After this operation, 55.5 MB of additional disk space will be used.Do you want to continue [Y/n]? YErr http://cn...
2013-09-30 12:11:25
295
原创 Nginx透传获取客户端IP地址
nginx.conf配置: location / { proxy_pass http://127.0.0.1:8080/myweb/; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $r...
2013-09-25 11:17:15
629
MySQL 使用经验合辑
一. MySQL Dump:命令行下具体用法如下： mysqldump -u用戶名 -p密码 -d 數據库名 表名 脚本名;1、导出數據库為dbname的表结构（其中用戶名為root,密码為dbpasswd,生成的脚本名為db.sql）mysqldump -uroot -pdbpasswd -d dbname >db.sql;2、导出數據库為dbname某张表(test...
2013-09-06 14:19:02
330
Ubuntu下安装Solr4.4
操作环境: Win8 / Ubuntu64（最下面）, Tomcat7, Solr4.4, Jdk7En More : http://wiki.apache.org/solr/SolrTomcat 1) 在apache官网下载solr4.4的包，解压到本地目录，如E:\apache\solr-4.4.02) 找一个目录作为solr的home目录，如D:/WebContainer/a...
2013-08-29 19:11:31
150
tomcat7 host-manager 403 access denied
tomcat-user.xml<?xml version='1.0' encoding='utf-8'?><tomcat-users> <role rolename="manager-script"/> <role rolename="manager-gui"/> <role rolename="mana
2013-08-26 14:42:49
124
Git相关资料汇总
1. 在Windows上使用msysgit Git for Windows下载地址: http://code.google.com/p/msysgit/downloads/list?q=full+installer+official+git最新的为Full installer for official Git for Windows 1.8.3在安装过程中, 注意Windows与...
2013-08-12 14:54:27
129
非技术-行业应用-战略-行业典型
微信扫一扫背后的秘密：基于运动估计的智能传图算法http://djt.qq.com/article/view/607 Win8用U盘安装:http://softbbs.zol.com.cn/1/20_224.html google全球缓存IPhttp://114.215.203.153/google/...
2013-08-10 10:27:11
171
Unicode Ascii 字符转汉字
1. Unicode字符转汉字http://www.guabu.com/zhuanma/下载官方的 java 的 json的 jar 包。http://www.json.org/java/json.zip, 可以到 http://www.json.org/java/index.html 看 javadoc。public void testUDecode() { S...
2013-08-09 15:16:32
162
MySQL仿淘宝页面评论评分统计SQL
假设淘宝有一张商品评论表,存储在MySQL中.表设计如下:ID为productlist_comment主键,UserID为用户的ID,ProductID为商品IDContent为评论的内容,CreateTime为评论的时间.Star为商品评分分数,取值为1-5;ProductID和UserID已经分别建立索引. SELECT ID, ProductID, Use...
2013-08-07 20:51:53
1331
1
MySQL优化
一. MySQL服务端配置优化1. my.ini配置优化2G内存,针对站多,抗压型的设置,最佳：table_cache=1024 物理内存越大,设置就越大.默认为2402,调到512-1024最佳innodb_additional_mem_pool_size=4M 默认为2Minnodb_flush_log_at_trx_commit=1(设置为0就是等到innodb_...
2013-08-03 11:22:15
114
HBase minor & major compactions
HBase The Definitive Guide Book Says:Since flushing memstores to disk causes more and more HFile's to be created, HBasehas a housekeeping mechanism that merges the files into larger ones using...
2013-07-23 17:46:52
154
Java jstat -gc命令
S0C：年轻代中第一个survivor（幸存区）的容量 (字节)S1C：年轻代中第二个survivor（幸存区）的容量 (字节)S0U：年轻代中第一个survivor（幸存区）目前已使用空间 (字节)S1U：年轻代中第二个survivor（幸存区）目前已使用空间 (字节)EC：年轻代中Eden（伊甸园）的容量 (字节)EU：年轻代中Eden（伊甸园）目前已使用空间 (字节)OC：Old代...
2013-07-18 17:18:30
185
原创 Linux/Unix 华丽的Shell
1. 求两个数的最大公约数和最小公倍数#!/bin/sh#=================================================================# Author : greatwqs # Info : 求两个数的最大公约数和最小公倍数...
2013-07-01 19:24:50
115
原创 MySQL使用单列索引和多列索引
讨论MySQL选择索引时单列单列索引和多列索引使用，以及多列索引的最左前缀原则。1. 单列索引 在性能优化过程中，选择在哪些列上创建索引是最重要的步骤之一。可以考虑使用索引的主要有两种类型的列：在Where子句中出现的列，在join子句中出现的列。请看下面这个查询： Select age ## 不使用索引 FROM people Where firstname='Mike...
2013-07-01 18:55:03
240
hbase-0.92.1-cdh4.1.3的HTablePool实现
hbase-0.92.1-cdh4.1.3的HTablePool实现: 1. PoolType: Reusable: （默认）一个实例池，多线程复用，内部用ConcurrentLinkedQueue装多个实例HTable; ThreadLocal: 每个线程只有一个实例,线程与线程之间互不影响, ThreadLocal; 特点是随着线程的增多,Pool中的HTable增多,但互不影响;...
2013-06-28 18:29:57
148
HBase scannerCaching&caching
HBase Version: hbase-0.94.6-cdh4.3.0在HBase Scan中有一优化: 使用 scannerCaching&caching.意思是HBaseClient从HBase服务器一次取得多少条数据回来,减少从服务器来回取数据的次数,可以设置一次从HBase服务器取scannerCaching&caching条数据.其中scannerCac...
2013-06-25 23:22:02
408
Nginx 记录请求分发日志
在nginx接收到请求之后, 需把请求分发到后端WEB服务集群.在这里需要记录分发日志, 来分析后端每台WEB服务器处理的请求数目.http {log_format main ' $remote_user [$time_local] $http_x_Forwarded_for $remote_addr $request ' '$http_x_forwarded_...
2013-06-11 16:29:34
722
原创 Linux SED 命令
一. SED初瞰.$ sed -e 'd' /etc/services用一个编辑命令 'd' 调用 sed。sed 打开 /etc/services 文件，将一行读入其模式缓冲区，执行编辑命令（“删除行”），然后打印模式缓冲区（缓冲区已为空）。然后，它对后面的每一行重复这些步骤。这不会产生输出，因为 "d" 命令除去了模式缓冲区中的每一行！在该例中，还有几件事要注意。首先，根本没有修...
2013-05-18 18:05:11
77
原创 Linux AWK 命令
sample文件如下, 便于测试:Heigh-ho! sing, heigh-ho! unto the green holly:Most friendship is feigning, most loving mere folly:Then, heigh-ho, the holly!一. 使用 1. 显示全部内容:awk '{ print }' sample 解...
2013-05-18 17:32:44
178
原创 HBase HLog结构和原理
一. HLog在HDFS上位置和RegionServer对应关系HLog持久化在HDFS之上, HLog存储位置查看:hadoop fs -ls /hbase/.logs通过HBase架构图, HLog与HRegionServer一一对应,Found 5 items ...
2013-04-11 21:06:51
1569
原创 Hadoop HDFS架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实...
2013-04-01 19:34:14
157
原创 Java6 JVM参数选项
Java 6 JVM参数选项大全（中文版） 作者：Ken WuEmail: [email protected]转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！ 本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Options 编写的译文。主要...
2013-03-30 23:47:47
114
查看HBase表在HDFS中的文件结构
为了查看HBASE表在HDFS中的文件结构.在HBASE中建立一张表结构如下:{NAME => 'USER_TEST_TABLE', MEMSTORE_FLUSHSIZE => '67108864', MAX_FILESIZE => '1073741824', FAMILIES => [{NAME => 'info', BLOOMFILTE...
2013-03-30 18:41:26
759
原创 HBase -ROOT-和.META.表结构
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基...
2013-03-29 17:35:09
154
原创 HBase架构图
HBase系统架构图Client HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPCZookeeper Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegion...
2013-03-27 17:59:44
141
原创 HBase hbase-site.xml 参数
该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml。在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。hbase.rootdir这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hba...
2013-03-27 11:04:18
283
原创 HBase 自动安装shell脚本
#!/usr/bin/env bash#greatwqs for install hbase environment.for ip in $(cat /home/hadoop/hbase-current/conf/regionservers); do scp -r /home/hadoop/hbase-version $ip:~/; ssh $ip "ln -s /ho...
2013-03-23 17:46:16
116
原创 HBase性能优化方法总结
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个...
2013-03-15 23:49:52
79
AXIS 入门测试
Axis开发测试准备:1. Axis1.4下载: http://ws.apache.org/axis/2. 复制Axis目录下的webapps/axis目录到%TOMCAT_HOME%/webapps下,需添加activation.jar,mail.jar到%TOMCAT_HOME%\axis\WEB-INF\lib下. Axis1.4有两种方法发布webservice:1. ...
2013-01-05 17:58:40
165
Tomcat远程调试
1. Tomcat:D:\AppInstall\apache-tomcat-7.0.26\bin>catalina.bat jpda run2. Eclipse:Tomcat WEB项目源码导入Eclipse.在需要Debug的代码加入断点.选择Run-->Open Debug Dialog-->...
2012-12-29 11:19:34
73
HBase修改表TTL值
1.创建测试表hbase(main):010:0> create 'DCP_TEST',{NAME => 'info',VERSIONS => 1, TTL => 214783647, BLOCKCACHE => false,IN_MEMORY=>false},{NAME=>'tempData',VERSIONS=>1,TTL=>25920...
2012-12-05 10:33:33
801
原创 SQL 执行顺序
在查询中逻辑查询和物理查询有着本质的区别，SQL不同于其它编程的最明显的特征就是处理代码的顺序，虽然总是最先写SELECT 但是几乎总在最后执行，那到底是怎么一个执行顺序呢 如下的sql查询语句执行顺序(1)from(3) join(2) on(4) where(5)group by(6) with (7)having(8) select(9) dist...
2012-11-08 14:43:49
175
HBase: HTablePool重构及优化
HBase Version: hbase-0.90.3-cdh3u1org.apache.hadoop.hbase.client.HTablePool用起来不是很方便. 所以重写了一些HTablePool, 对自己业务逻辑这块比较相关. 欢迎讨论.主要是对源代码下面4点进行改进和设置:1. 为不同的table建立的poolSize不一样, 目前HTablePool为所有的ta...
2012-08-25 14:57:04
132
Nginx: host.access.log日志切割
随着几天下来nginx的host.access.log逐渐膨胀.理想的做法就是根据每天进行区分日志文件,如host.access_20120815.log等, 日志保留最近10天的, 超过10天的日志文件则进行删除.根据上需求进行nginx的日志切割.1. 脚本nginxcutlogs.sh[devwqs@rehserver bin]$ more nginxcutlogs.sh...
2012-08-22 16:16:24
874
空空如也
Oracle PLSQL 导出数据到文件,繁体字乱码
2010-09-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人