- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 控制shell脚本并发进程数
<!--html {font-family:Times,serif; font-size:12pt}.title {text-align:center}.todo {color:red}.done {color:green}.tag {background-color:lightblue; font-weight:normal}.timestam
2013-03-12 17:21:00
3298
原创 Linux命令行与shell脚本编程大全读书笔记(1)
<!--html {font-family:Times,serif; font-size:12pt}.title {text-align:center}.todo {color:red}.done {color:green}.tag {background-color:lightblue; font-weight:normal}.timestam
2013-03-11 10:20:40
748
原创 ThinkPad在Linux上的使用技巧
<!--html {font-family:Times,serif; font-size:12pt}.title {text-align:center}.todo {color:red}.done {color:green}.tag {background-color:lightblue; font-weight:normal}.timestam
2013-03-01 10:12:34
807
原创 Impala学习--Impala后端代码分析
Impala学习–Impala后端代码分析Table of Contents1 代码结构 2 StateStore 3 Scheduler 4 impalad启动流程 5 Coordinator 6 ExecNode 7 PlanFragmentExecutor 1 代码结构 service: 连接前端，并接受client的请求runtime: 运行
2013-02-25 17:42:27
4268
翻译 Impala学习--代码生成（Code Generation）
<!--html {font-family:Times,serif; font-size:12pt}.title {text-align:center}.todo {color:red}.done {color:green}.tag {background-color:lightblue; font-weight:normal}.timestam
2013-02-22 09:28:36
3388
原创 Impala学习--Impala前端代码分析
Impala前端代码分析Table of Contents1 概述 2 语法分析和ParseNode 3 Analyzer 4 生成执行计划和Planner 5 Catalog 1 概述 前端代码使用java。感觉使用java的原因是，本身语法分析不会占用太多时间，毫秒级可以完成，不是性能瓶颈。而且语法分析的代码通常比较复杂，逻辑较多，如果再自己管理内存
2013-02-20 19:40:30
2530
1
原创 Impala学习--Impala系统架构
Impala系统架构上图中，黄色部分谓Imapla模块，蓝色部分为运行Impala依赖的其他模块。从部署上看，Impala整体分为两部分：StateStoreImpalad其中StateStore是一个集群状态服务进程。在集群中只存在一个实例。Impalad是分布式的存在于集群中的worker进程。每一个Impalad又包含了以下部分：StateStoreS
2013-02-19 10:19:27
3750
1
原创 Impala学习--Impala概述
Imapla概述Impala是Cloudera公司的一个实时海量查询产品。是对于已有Hive产品的补充。Impala采用了和Hive相同的类SQL接口，但并没有采用MapRed框架执行任务，而是采用了类似Dremel的方式。号称秒级可以扫描PB数据。其实Impala就是自己实现了一个执行引擎。这个引擎不像MapRed一样是一个通用框架，并且也没有任何failover和high availa
2013-02-17 19:35:19
1289
原创 Python使用subprocess.Popen导致子进程hang住
subprocess用于在python内部创建一个子进程，比如调用shell脚本等。举例：p = subprocess.Popen(cmd, stdout = subprocess.PIPE, stdin = subprocess.PIPE, shell = True)p.wait()// hang hereprint "subprocess finished"在py
2013-02-05 19:05:54
1733
原创 centos上使用Dropbox
Dropbox就不用介绍了，国外的网盘，现在已经不墙，能访问了。和国内网盘相比，Dropbox起步很早。虽然免费空间很小，只有2G（国内几个公司都是免费15G），但是优势在于支持多平台。据我了解，目前国内支持mac os的网盘只有金山，而支持linux的就没有。Dropbox在windows，mac，linux都有支持，很赞。目前我使用Dropbox管理笔记，等等，所以占用空间也不大。
2013-02-05 09:07:25
795
2
原创 Hive使用注意事项（持续更新）
Hive是一个非常好用的东东。可以省去写MapReduce程序的痛苦。一般来说，Hive可以覆盖90%的MapReduce任务的需求，大大减少开发代价。但是使用Hive，有很多需要注意的地方。本文会持续整理一些，帮大家避免一些问题。1. 请不要使用Hive并行向同一个表的不同分区导入数据。有人说，我想并行导入数据，这样可能快些。Hive本身很好，但它的元数据
2012-04-29 08:54:23
736
原创 Mac系统如何卸载Sophos杀毒软件
一般来说，在Mac上卸载软件，只需要把app文件移到废纸篓里就好。但对于Sophos这种杀毒软件，由于该程序一直在启动运行，所以不能够直接将其移动到废纸篓。我也试过先手动杀死Sohpos的几个进程，但很快他们又重新被启动了。好在最后找到了正确的方法。Sophos本身就提供了一个工具用于删除它自己。当你安装好Sophos后，你可以在在这个路径下找到一个工具
2012-04-29 08:36:02
4231
数据库系统概论（第三版）
2011-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人