- 博客(34)
- 资源 (32)
- 收藏
- 关注
原创 Kafka在controller的代码设计
主要的核心类如下:controller :根据相关的上下文,创建KafkaController对象,引入多个监听器监听broker,topic,partition以及副本的状态变化。ZookeeperLeaderElector:主要负责选举当前broker为lead的过程,同时,如果出现异常情况转移lead选举权。ReplicaStateMachine:主要负责brok
2014-12-02 08:40:59 354
原创 kafka在zk中的存储结构
视频讲解的URL:http://edu.51cto.com/course/course_id-2461.html涉及到的相关项目为kafka 0.8.1.1zookeeper 3.3.6环境下面的存储的结构图片中描述了kafka在zk中的存储结构,以及存储的相关数据,绿色代表的是zk的临时节点,当对应的进程退出后,此临时的znode将自动删除。由于consume
2014-11-25 19:41:08 589
原创 apache pig的哲学
这个对于pig意味这什么?pig首先是一个apache的项目,他会帮助pig的开发者阅读本篇,了解pig未来的发展方向。pigs吃任何东西pig可以对任何数据进行操作,不管数据是否具备元数据。他可以处理非结构化的,嵌套的以及有联系的数据。他也可以通过扩展处理键值存储的数据,以及数据库中数据等。pigs可以生活在任何地方pig的目的是可以并行处理数据的语言。他
2013-07-28 17:12:31 433
原创 apache hadoop&pig国外比较好的ppt
pig&hive的介绍IBM Information Management Cloud Computing Center of Competence IBM Toronto Lab 出品bigdata 在 linkedin的应用其中包含pig的应用在里面hadoop and pig at twittertwitter中pig的应用hadoop tut
2013-07-19 16:27:09 480
转载 hadoop笔记本
海量数据大数据量,海量数据 处理方法总结布隆过滤器应用悉数那些“巨型”数据仓库Hadoop在业界的使用情况淘宝Hadoop集群的概况分布式Paxos在大型系统中常见的应用场景hadoop的实现序HDFS的基本概念HDFS 读写流程HDFS namenode源码分析HDFS datanode源码分析HDFS dfsclient读文件过程 源码分析
2013-06-28 15:49:41 380
转载 NASA是如何使用Hadoop来推动气候科学
Whenever climate scientists want to analyze data, they need to request it in its messy original format, clean it up and analyzeit. That sort of work takes up valuable time, and so it makes sense that
2013-06-27 08:53:17 462
转载 Apache Hadoop YARN 系列文章– Concepts and Applications
Other posts in this series:Introducing Apache Hadoop YARNApache Hadoop YARN – Background and an OverviewApache Hadoop YARN – Concepts and ApplicationsApache Hadoop YARN – ResourceManagerApac
2013-06-27 08:52:45 793
转载 Teradata应用hadoop为其数据服务提供支持
原文“Teradata Expands Apache Hadoop Offering for the Enterprise”地址:http://hortonworks.com/blog/teradata-expands-apache-hadoop-offering-for-the-enterprise/?utm_source=feedburner&utm_medium=feed&utm_c
2013-06-27 08:52:14 446
转载 现代数据架构和Hadoop
原文链接:http://www.r66r.net/?p=1019为了迎接大数据的挑战,现代数据中心需要更低的成本,更高容量的基础设施,以补充现有的企业级数据仓库,的RDBMS和MPP系统。 Apache的Hadoop的 ,而Hortonworks数据平台 (HDP)满足这一需求。集成和兼容HDP设计工作沿着现有的数据中心基础设施,结合现有的ETL操作,提
2013-06-26 20:08:09 1227
转载 来自于yahoo的关于pig的介绍。
来自于yahoo的关于pig的介绍。Pig是Yahoo!捐献给Apache的一个项目,目前还在Apache孵化器(incubator)阶段,目前版本是v0.5.0。Pig是一个基于 Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个
2013-06-24 09:08:57 491
转载 pig核心开发者对如何编写与执行脚本的介绍
本文作者:julienledemgithub的网址:https://github.com/julienledem/ 其中有一个项目https://github.com/julienledem/Pig-scripting-examples 是pig的一些编码,尤其是有队page rank的算法实现下面的ppt是其对pig的脚本开发的详细介绍twitter的地址: @julienled
2013-06-24 09:07:48 489
转载 Linux知识:为什么要用字符~来表示home目录
http://www.r66r.net/?p=860www.r66r.net 在 Unix风格的操作系统里(包括BSD, GNU/Linux 和 Mac OS X),通常用波浪号“~”来表示当前用户的主目录(home目录):例如,如果当前用户的home目录是/home/bloggsj,那么,输入 cd 或 cd ~ 或 cd /home/bloggsj 或 cd
2013-06-21 20:05:48 427
转载 来自于yahoo的关于pig的介绍
来自于yahoo的关于pig的介绍。pig本身就是yahoo提交给apache的开源项目。新手指数:♥♥♥文推荐指数:♥♥♥♥♥
2013-06-20 15:52:34 336
原创 CSS3 在线中文手册
CSS3 Properties地址:http://www.r66r.net/online_docs/css3/index.htmlBordersborder-colorborder-imageborder-radiusbox-shadowBackgroundsbackground-originbackground-
2013-06-19 14:53:16 563
原创 mysql5.1中文在线手册
1. 一般信息1.1. 关于本手册1.2. 本手册采用的惯例1.3. MySQL AB概述1.4. MySQL数据库管理系统概述1.4.1. MySQL的历史1.4.2. MySQL的的主要特性1.4.3. MySQL稳定性1.4.4. MySQL表最大能达到多少1.4.5. 2000年兼容性1.5. MaxDB数据库管理系统概述1.5.1. 什么是MaxDB?1.5.2. Max
2013-06-19 14:00:52 702
转载 Hadoop1.1.0中文在线手册
http://www.r66r.net/online_docs/hadoop/index.htmlHadoop文档下面的文档是一些概念介绍和操作教程,可帮助你开始使用Hadoop。如果遇到了问题,你可以向邮件列表求助或者浏览一下存档邮件。Hadoop快速入门Hadoop集群搭建Hadoop分布式文件系统Hadoop Map-Reduce教程Hadoop本地库API参考维基常见问
2013-06-19 13:57:32 543
转载 Redis 中文命令参考
在线地址:http://www.r66r.net/redis-latest-api/index.html命令目录(使用 CTRL + F 快速查找):Key(键)DELKEYSRANDOMKEYTTLPTTLEXISTSMOVERENAMERENAMENXTYPEEXPIREPEXPIREEXPIREATPEXPIREATPERSISTSORTOBJEC
2013-06-19 10:40:13 465
转载 保持简单(Keep it simple)----纪念丹尼斯.里奇(Dennis Ritchie)
www.r66r.net1954年,电气工程师阿利斯泰尔•里奇(Alistair E. Ritchie),决定举家从纽约州的布朗克斯维尔(Bronxville),搬到几十公里以外的新泽西。这样可以离他的工作单位”贝尔实验室”更近一些。13岁的丹尼斯•里奇(Dennis Ritchie),就这样随着父亲一起来到新泽西。那时,谁也没有想到,这个文静的少年将在这里待上一辈子,并且创造出改变世
2013-06-17 12:59:35 826
转载 Unladen Swallow的最后时光
unladen swallow尝试将LLVM优化引入到CPython运行时,但是去年却没有取得重大进展。现在,一篇回顾unladen swallow的文章已经确认了这个项目的死亡,不会再进行开发。它的目标曾经是多么野心勃勃;引入LLVM运行时架构作为CPython的解释器,然后将其作为一个选项,能够在JIT编译的时候打开。LLVM被用在一些高端项目中,例如全新的Clang模块编译器以及LLDB
2013-06-17 11:21:56 384
原创 Hammurapi (code review platform)详细介绍 之一
发表于 2013/06/16Hammurapi*, king of Babylon (1792-1750 BC)Hammurapi (1792-1750 BC) was the sixth ruler of a line of Amorite kings, who hadestablished themselves at the city of Babylon around 190
2013-06-17 08:14:42 540
原创 Hammurapi (code review platform)详细介绍 之二
原文网址: Hammurapi (code review platform)详细介绍 之二•Hammurapi uses modified Visitorpattern to navigate inspectors throughsource code.• Navigation is performed through Jselmodel, not through AST.• In
2013-06-17 08:13:57 430
原创 算法文集
计算机大师高德纳权威著作www.r66r.net计算机程序设计艺术(第一卷).pdfwww.r66r.net计算机程序设计艺术(第二卷).pdfwww.r66r.net计算机程序设计艺术(第三卷).pdfSedgewick 的经典算法书籍 第四版www.r66r.net算法(英文版)第4版 Robert Sedgewick.pdf
2013-06-09 16:34:23 506
原创 Antlr3V 笔记(一)
解析器的 步骤基本是:1)预测子句的类型2)调用函数来匹配子结构3)匹配词法单元4)按照需要插入代码5)执行自定义的操作 match()函数的解释 将输入流里面的词法单元和传入他的参数进行比较,然后将输入的指针向前移动。demo1分析语句“if xgrammar文件----------------------------
2013-06-09 16:19:54 447 1
原创 Antlr3V FAQ
1. ANTLRWorks调试出错:Cannot launch the debuggerTab. Time-out waiting to connect to the remote parser笔者的环境:system: win7 x64 java:jdk1.7 x64ANTLRWorks:1.5解决办法:1.5的兼容性不够好,换成1.4.3就正常运行了
2013-06-09 16:17:23 370
原创 poi(java操作office利器)在excel中生成大量数据的方式
原文网址: poi(java操作office利器)在excel中生成大量数据的方式版本poi 3.9 官网地址:http://poi.apache.org/java 6前提故事:excel2003之前版本最大数据保存65535行,对于保存大数据量的内容必须用到excel2007.最新版的excel最大可以支持100万的行的数据碰到的问题,生成大数据的时候产生的l
2013-06-06 17:29:59 469
转载 LLVM 与 Clang 介绍
LLVM 是 Low Level Virtual Machine 的简称,这个库提供了与编译器相关的支持,能够进行程序语言的编译期优化、链接优化、在线编译优化、代码生成。简而言之,可以作为多种语言编译器的后台来使用。如果这样还比较抽象的话,介绍下 Clang 就知道了:Clang 是一个 C++ 编写、基于 LLVM、发布于 LLVM BSD 许可证下的 C/C++/Objective C/O
2013-05-31 12:01:49 480
转载 东南大学编译原理课程视频
东南大学-编译原理课程:1.引论东南大学-编译原理课程:2.高级语言语法描述东南大学-编译原理课程:3.词法分析东南大学-编译原理课程:4.自上而下语法分析东南大学-编译原理课程:5.自下而上语法分析东南大学-编译原理课程:6.LR分析法东南大学-编译原理课程:7.语法制导翻译东南大学-编译原理课程:8.运行时数据区东南大学-编译原理课程:9.代码优化东南大学-
2013-05-29 12:47:57 1038
翻译 翻译:深入浅出 mahout
目录:深入浅出 mahout 001 序言翻译:深入浅出 mahout ——0002 第一部分 第一章翻译:深入浅出 mahout ——0003 第一部分 第二章翻译:深入浅出 mahout ——0004 第三部分 分类 第13章
2013-03-20 21:22:18 519
原创 python_mrjob之路 第一章第一篇 安装系统环境
序言:最近在公司内部搭建了hadoop的mapreduce集群环境。hadoop版本 1.0.4 hive版本 0.10同时部署了ganglia 3.0.3版本的系统监控程序 ,可以动态监控集群环境的机器实时的各项参数指标。已经可以用hive进行相关的数据查询,后续准备通过python语言做自定义的mapreduce计算。第一章第一篇安装p
2013-03-03 13:11:27 966 3
提供一个 正则表达式的验证工具
正则表达式验证工具 ------regDog V1.40版正则表达式验证工具 ------regDog V1.40版 正则狗创建的目的是为了更好的调试正则表达式。之前为了调试正则表达式还要写一段代码运行,现在正则狗就可以方便的调试正则表达式了,并且还包含几十个常用的正则表达式。 正则狗的整体是包含的主要功能如下: 1验证正则...
2007-09-25 12:56:18 81
计算机程序设计艺术
2012-03-09
IMB RequisitePro 手册
2010-05-17
《activmq in action 》
2010-02-10
jBPM4.3用户指南
2010-02-09
MQSeries Programming Patterns
2010-01-30
Websphere MQ入门教程
2010-01-25
基于软件体系结构的银行综合前置系统的研究与开发
2009-09-12
关于一些RPG的中文书
2009-09-01
AS400 DB2 中文讲解
2009-09-01
IBM AS400 基础操作手册
2009-09-01
AS/400e Query/400 D9C
2009-09-01
如何收集AS400系统中文件的尺寸信息
2009-09-01
AS400技术手册V2.0
2009-09-01
银行核心系统入门简介
2009-09-01
AS/400开发经验点滴
2009-08-30
AS/400培训讲义(中级)
2009-08-30
AS/400 程序员培训手册(中级)
2009-08-30
ibm websphere mq
2009-03-06
TortoiseSVN中文教程
2008-07-03
代码变更助手2008(No5)
2008-06-24
代码变更助手2008(No4)
2008-06-24
代码变更助手2008(No3)
2008-06-24
代码变更助手2008(No2)
2008-06-24
代码变更助手2008(No1)
2008-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人