- 博客(39)
- 收藏
- 关注
RSS订阅原创 回答一位网友对Scala的提问
本来准备在私信里直接回复了，但是发现不太方便，就简要回答在这里。问题 写道对于scala的简洁十分佩服，但又觉得比较晦涩，例如一例，Map("a" -> List(11,111)).flatMap(_._2)，可否说下最后那个函数做了什么，真正在开发的时候也会如此简洁？谢谢 先回答一点，在实际使用中，Scala毫无疑问就是这么简单。 首先Map("a" -&...
2013-10-25 14:54:02
116
Scala设计模式
Scala设计模式 我的话： 在国外网站上看到一篇文章，里面详细描述了很多设计模式，并且用Java及Scala两种语言描述，清晰的让我们看到各种常规的设计模式，在Scala中是如何在语言特性层面直接支持的。基于文章很nice，我利用今天的空闲时间将其翻译，希望大家能一起学习，讨论。翻译比较倡促，也就两小时左右，有何不当，请在下面留言指出。多谢！ps:翻译工...
2013-10-22 21:30:26
253
原创 Reasons why crontab does not work
这个链接可能会有解答 http://askubuntu.com/questions/23009/reasons-why-crontab-does-not-work 此外一定要注意，crontab的默认目录是什么，不要明明已经运行了，你还以为没运行。...
2013-07-03 09:05:01
157
原创 vim一些简单记录
mac在/usr/share/vim/vimrc linux在/etc/vimrc 1、问：后退键不能删除数据，不能往后退怎么办？ 答：在vimrc中加入set backspace=2 2、问：如何控制tab键的缩进？ 答：在vimrc中加入set tabstop=4 (任何你想要缩进的字符数) 3、问：如何在mac的vim中开启语法高亮...
2013-05-31 14:22:10
84
原创 Linux安装mysql的一些坑
1、mysql不建议在root用户下运行 2、出现服务启动不了，111错误，注意要用chown来赋予权限， 我在root用户下装的mysql，我就把usr/share/mysql/mysql.server复制到/etc/init.d/mysqld, (同时把my-huge.cnf复制/etc/my.cnf) chown -R cc /etc/init.d/mysqldchown...
2013-05-20 16:27:47
306
1
原创 改变python的默认语言设置
import sys sys.getdefaultencoding() 可以测试出默认语言，要改变的话，需要在python lib的site-packages文件夹下新建：sitecustomize.py， 这个文件比较特殊，会在python启动时来加载，所以就可以在里面写上：import syssys.setdefaultencoding('utf-8') 再次测试就...
2013-05-17 14:54:46
4509
原创 MySQLdb用户指南
原网页被墙，放这里备用。MySQLdb User's GuideContentsIntroductionInstallation_mysqlMySQL C API translationMySQL C API function mappingSome _mysql examplesMySQLdbFunctions and attri...
2013-05-17 09:15:28
195
原创 redis做缓存时的一点优化
最近集群上有个job，其中需要短时间内频繁访问缓存，大概7亿多次。我这边的缓存是使用redis来做的，问题就来了。 首先，redis中存的是普通kv，没有考虑使用hash等解结构，那么以为着这个job需要访问7亿多次redis，导致效率低，且出现很多redis的read timeout exception.我采取的一些办法：1、使用pool来管理连接，并且适...
2012-12-13 16:35:17
127
为啥要用位运算代替取模呢
在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧， JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) { return h &a...
2012-11-14 14:36:33
222
原创 vmware中 ubuntu看不到共享文件的解决方法
问题如题 解决如下：在terminal中运行sudo vmware-config-tools.pl 一路回车,结束后去/mnt/hgfs看，就有了。
2012-11-09 16:05:36
146
原创 redis -- hash_max_zipmap_entries设置过大有问题
使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑 #define ZIPMAP_BIGLEN 254#define ZIPMAP_END 255 /* Return the number of ent...
2012-11-08 14:00:25
970
原创 shell查找上个月，陷阱及野路子
date -d "-1 month" +%F 以上这段代码，假如在2012/10/31执行，结果并不会出现你预计的9月份，而是会出现八月份，原因是10月份有31天，9月份30天，所以-1 month在10月份看来要减去31天，所以直接到了8月31日这天，这不靠谱。 野路子解决：假设当天日期大于15号，那就减个十天，假如小于15号，那就使用当天日期。currday=`date...
2012-11-01 09:04:49
113
原创 简单HBase笔记
一、Client-side write buffer 客户端缓存请求描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。二、Scan的Caching描述： next( )方法请求一行就要使用一次RPC,即使你指定了next...
2012-10-26 16:35:14
90
诡异的超长时间GC问题定位
HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志：2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700...
2012-10-19 16:45:29
422
原创 ZK Timeout再讨论
http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息：Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003 ......
2012-10-18 15:29:03
723
原创 HBase异常记录
一、YouAreDeadExceptionFATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server serverName=cloud13,60020,1348890729197, load=(requests=0, regions=375, usedHeap=2455, maxHeap=6...
2012-10-09 11:19:09
536
原创 zookeeper超时--minSessionTimeout与maxSessionTimeout
很多同学可能有这样的疑问，我明明把连接zk客户端的超时时间sessionTimeout设置为180秒了，可是为什么仅仅过了40几秒就超时了？ 其实只这么设置，根本没有任何作用，因为客户端将sessionTimeout的值传给zk时，zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值 public int get...
2012-10-08 16:55:17
312
原创 HBase备份与还原
转载两篇相关文章：第一篇、http://blog.nosqlfan.com/html/3014.html HBase 增量备份和还原工具HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。下面设增量备份的python脚本。在这个脚本中，每天做增量备份，每个月15日做全备份。 import timeimport d...
2012-09-18 13:53:21
162
原创 python 集合排序 sorted 函数
Python使用sorted函数来排序： l = [2,1,3,5,7,3]print sorted(l)执行结果：[1, 2, 3, 3, 5, 7] 按列表每个元素，逗号前面的那个字符排序：l=['c,3','a,5','d:4','b,2','a,3']print sorted(l,key=lambda x:x.split(',')[0])执行结果：['...
2012-09-13 17:02:03
1549
原创 基于stream的mr程序可能出现的异常（不断更新）
运行：Jar_path=/home/ppstat/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jarout_put_path=/userstat/cc/checkcd /home/ppstat/hadoopbin/hadoop fs -test -e $out_put_pathif [ $? -eq 0 ];th...
2012-09-11 10:02:59
111
原创 Thrift安装中出现的问题（For HBase）
安装巨简单：进入thrift根目录 ./configure --> ./make --> make install 为了在某些简单环境下，决定采用python来访问hbase 1、在make的时候出现fatal error: Python.h: No such file or directory的错误：答：没有安装python-dev的包，运行sudo apt-...
2012-09-06 10:55:38
114
原创 redis-py API
Indices and tablesIndexModule IndexSearch PageContents:class redis.Redis(host='localhost', port=6379, db=0, password=None, socket_timeout=None, connection_pool=None, charset='utf-8...
2012-09-03 09:40:53
100
原创 Redis性能问题和解决方案
1.Master写内存快照，save命令调度rdbSave函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性暂停服务，所以Master最好不要写内存快照。 2.Master AOF持久化，如果不重写AOF文件，这个持久化方式对性能的影响是最小的，但是AOF文件会不断增大，AOF文件过大会影响Master重启的恢复速度。 3.Master调用BGREWRITEAOF重写AOF文件...
2012-09-01 16:56:04
77
原创 hadoop 0.20.203 数据迁移至 cdh3u3
假如用hadoop0.20.203版本，hbase会提示hdfs不支持append特性而可能会导致数据丢失，而且事实上，这种情况在我们系统中已经遇到，在写数据的时候，rs挂掉，数据丢失。 暂时准备把hadoop迁移到cdh3u3上， 因为是不同版本之间的迁移，所以只能用hftp,./hadoop distcp hftp://server1:50070/hbase/test hdfs:/...
2012-08-29 08:40:34
126
原创 HBase Backup Options
If you are thinking about using HBase you will likely want to understand HBase backup options. I know we did, so let us share what we found. Please let us know what we missed and what you use for HB...
2012-08-23 15:24:37
116
原创 shell中的判断条件及部分实用命令
#String Comparison Operators Operator True if... str1 = str2a str1 matches str2 str1 != str2 str1 does not match str2 str1 < str2 ...
2012-08-23 10:41:36
68
原创 VMWare下多虚拟机通讯
简单记录一下，我是在vmware下装了3台虚拟机(ubuntu)， 用来测试hadoop及hbase的相关代码，他们直接需要通信。 步骤如下：1、我原来已经装好了一个虚拟机，为这个虚拟机做了个snapshot，接下来的三台机子都准备由这个snapshot克隆。2、vm-->manage-->clone-->选择完全克隆 重复3遍 创建三个虚拟机3、将每个虚拟机的ne...
2012-08-16 15:13:59
178
原创 Linux定时任务设置
为当前用户创建cron服务1. 键入 crontab -e 编辑crontab服务文件 例如 文件内容如下： */2 * * * * /bin/sh /home/admin/jiaoben/buy/deleteFile.sh 保存文件并并退出 */2 * * * * /bin/sh /home/admin/jiaobe...
2012-08-14 16:22:09
99
原创 shell中的美元符号
$0 shell的命令本身(包括完整路径) $1到$9 数字表示shell 的第几个参数 $# 传递到脚本的参数个数 $* 以一个单字符串显示所有向脚本传递的参数 $$ 脚本运行的ID号 $! 后台运行的最后一个进程的ID号 $@ 与$*相同。 $- 显示shell使用的当前选项。 $? 显示最后命令的执行状况。0...
2012-08-14 10:45:50
439
原创 HBase LRU源码解析
先来看下LruBlockCache的构造，关键是看清每个参数的作用:[code="java"] /** * Configurable constructor. Use this constructor if not using defaults. * @param maxSize maximum size of this cache, in bytes * @p...
2012-08-13 14:52:51
170
原创 HBase RegionServer挂掉后的源码分析
首先肯定是HMaster通过ZK发现某RS挂掉了，HMaster使用private ServerManager serverManager来处理rs的信息：[code="java"] public synchronized void expireServer(final HServerInfo hsi) { // 首先从onlineServers中获取HServerInfo...
2012-08-13 11:20:21
291
原创 混合事务的一些备注（自用）
http://stackoverflow.com/questions/6777419/how-to-configure-spring-to-make-jpa-hibernate-and-jdbc-jdbctemplate-or-mybatihttp://stackoverflow.com/questions/2673678/what-transaction-manager-should-i...
2012-02-20 10:08:29
87
Ruby发请求
一般用wget发请求[code="java"]wget -O tmp "请求地址及参数" && cat tmp >> rt.shell[/code]，但是ruby发也很方便，对于对于后台应用已经写好，前台页面还没写完时的提前测试来说很有用。[code="java"]require 'open-uri'url = "请求地址及参数"open(url){|f|puts ..
2012-02-06 16:21:17
120
原创 mark下G1
[color=blue]简单mark下，不知道是否真有说的那么好。Garbage-First (G1) Collector is a server-style garbage collector, targeted for multi-processors with large memories, that meets a soft real-time goal with high pro...
2011-07-29 21:07:28
77
原创 Something that I should always focus on
http://www.oracle.com/technetwork/java/javase/tech/index.htmlhttp://www.oracle.com/technetwork/java/javase/tech/index-jsp-136373.html
2011-07-17 17:02:55
54
在HotSpot中如何实现分代回收
题目是个大话题，不过在Oracle官方的FAQ里，个人觉得短小而精辟。短短几句话，可以让那些对generational collector不太清楚的朋友们迅速了解：The default collector in HotSpot has two generations: the young generation and the tenured generation. Most al...
2011-03-12 14:58:43
132
原创 Struts配置模块MoudelConfig初始化的实现
Struts配置模块MoudelConfig初始化的实现 上回说到Struts的ActionServlet,其中有一步是 initModuleConfig方法,就是用于初始化MoudleConfig实例,它是整个org.apache.struts.config包的核心,在Struts应用运行时用来存放整个Struts应用的配置信息.如果有多个子应用,每个子应用都会有一个ModuleConf...
2009-12-01 15:57:32
84
原创 java动态代理
java动态代理Java动态代理类位于Java.lang.reflect包下，一般主要涉及到以下两个类： (1). Interface InvocationHandler：该接口中仅定义了一个方法Object：invoke(Object obj,Method method, J2EEjava语言JDK1.4APIjavalangObject.html">Object[] args)。...
2009-11-04 21:55:14
79
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人