- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Storm bolt/spout生命周期
在通过main函数提交topo之前，将storm相关的配置信息通过yaml文件对应类传入到bolt中，在某一个数据库连接池的公共类中同样需要相关的配置信息，因为业务和测试需求的便捷性，便将相关配置也放入了yaml中。起初是在main函数里面进行该公共类的初始化，即将相关的config信息传入，在单bolt的情况下测试没有问题，便发布到服务器并配置多个bolt，由此就引发了一个空指针的异常。后来
2014-11-26 22:15:37
1995
转载 常用Java库整理
一个典型的Java项目依赖于第三方库。本文总结的Java库适用于各种应用，比较流行并且广泛使用。其中一些还提供简单的示例（来自ProgramCreek）。Java SDK 肯定是使用最广的库，所以本文的名单焦点是流行的第三方库。该列表可能并不完善，所以如果你觉得有什么应该出现在列表中的，请留下您的评论。非常感谢！1、核心库Apache Commons Lang：来自Ap
2014-11-20 10:29:28
379
原创 Java虚拟机运行时数据区域
Java运行时的数据区和内存溢出简介1.程序计数器可以看做当前线程程序所执行字节码的行号指示器，字节码解释器工作时就是通过改变这个计数器的值来获取下一条需要执行的字节码指令的。每条线程都需要一个独立的程序计数器，各条线程之间的计数器互不影响，独立存储，被称为“线程私有”的内存。该区域是唯一一个在Java虚拟机规范中没有规定任何OutofMemoryError情况的区域。2.
2015-02-02 14:50:51
924
原创 Fabric 批量安装ZeroMQ
Fabric是一个用Python开发的部署工具，最大特点是不用登录远程服务器，在本地运行远程命令，几行Python脚本就可以轻松部署。在部署ZeroMQ的时候，写了一个脚本，用来实现多机统一部署，可以通过该脚本实现zeromq的统一部署
2015-01-04 12:01:02
813
原创 Shell脚本监控、拉起Nimbus和Supervisor进程
Nimbus和Supervisor都是快速失败，无状态的进程，Nimbus的单点问题一直没有很好的解决办法，所以我们可以对相关进程进行监控，在其挂掉时尝试重启。在之前的项目里，比较常用的方式是通过monit对相关进程进行监控，通过monit监控需要对每台机器进行配置，可以通过Fabric（http://www.fabfile.org）进行统一配置，这里不详细介绍monit监控的方式。通过S
2014-12-30 08:36:03
2178
转载 Twitter Storm源代码分析之Topology的执行过程
如何提交一个topology?要提交一个topology给storm的话， 我们在命令行里面是这么做的:帮助1storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3那么在这个命令的背后，storm集群里面发生了什么呢？stor
2014-11-26 22:27:34
687
转载 Disruptor 无锁同步框架入门
1.disruptor是什么？disruptor是一个高性能的异步处理框架，或者可以认为是最快的消息框架（轻量的JMS），也可以认为是一个观察者模式的实现，或者事件监听模式的实现。2.disruptor的原理英文：http://stackoverflow.com/questions/6559308/how-does-lmaxs-disruptor-pattern-work
2014-11-25 08:03:17
665
转载 Hive中Order by, Sort by ,Dristribute by,Cluster By的作用和用法
order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict;order by 和数据库中的O
2014-11-24 08:16:05
398
转载 Java集合总览
这篇文章总结了所有的Java集合（Collection）。主要介绍各个集合的特性和用途，以及在不同的集合类型之间转换的方式。ArraysArray是Java特有的数组。在你知道所要处理数据元素个数的情况下非常好用。java.util.Arrays 包含了许多处理数据的实用方法：Arrays.asList：可以从 Array 转换成 List。可以作为其他集合类型构造器的
2014-11-21 08:05:56
392
转载 Git的深入理解与GitHub托管服务的使用
源代码管理系统（SCM）与版本控制版本控制是一种记录若干文件内容变化，以便将来查阅特定版本修订情况的系统。本地版本控制系统许多人习惯用复制整个项目目录的方式来保存不同的版本，或许还会改名加上备份时间进行区别。这么做的唯一好处就是简单，坏处也不少：有时候会混淆所在的工作目录，一旦弄错了文件数据就没办法撤销恢复。为了解决这个问题，人们很久以前就开发了许多本地版本控制
2014-11-20 10:34:26
373
转载 Git命令整理
Git 是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码，管理私人的文档和源代码也有很多优势。Git常用操作命令：1) 远程仓库相关命令检出仓库：$ git clone git://github.com/jquery/jquery.git查看远程仓库：$ git remote -v添加远程仓库：$ git remote add
2014-11-20 10:15:55
418
转载 Git 教程整理
廖雪峰的Git教程：http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000Pro Git（中文版）:
2014-11-20 10:05:50
348
原创 hadoop 调优
红色表示有效果 蓝色表示已尝试，当前环境无效果mapred-site.xml配置文件mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum查看cpu核数：cat /proc/cpuinfo |grep "cores"|uniq 8个 map 6 reduce 2map
2014-10-27 14:33:46
464
Logback用户手册中文版
2014-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人