fish_cool-CSDN博客

原创 druid.io中国社区群信息

我创建一个druid.io群：551526064 欢迎大家加入进来进行讨论。下个目标：突破500人！！！！！！

2015-06-09 10:25:21 4887

原创第七章：druid.io实践分享之Realtime＋kafka 二

本节重点介绍在运行过程中，这两个组件会出现什么问题及解决方式场景如下：场景1、第一次上线kafka的partition与realtime的个数关系

2016-08-18 10:18:47 8026 1

原创第七章：druid.io实践分享之realtime+kafka 一

目前使用druid已经有3年了，在整个国内互联网广告行业了解下来，我们算较早使用的团队。其优势太明显了，就是快，绝大多数的场景都可以在毫秒或秒级响应（特别是数据量足够大的情况下，还能保持良好的速度）。其二就是提供的功能特别能解决我们业务上的问题。其三整个系统相对来说还是比较封闭的，减少了不必要的依赖，json的灵活性提供了更好的二次开发的潜力。其四整体源码风格是函数式，可以使之前面向对象

2016-08-16 13:51:18 11068 8

原创 druid.io分享PPT

最近去做了一次druid科普分享，附上PPT：

2016-07-31 18:57:15 3850

转载 kudu master design（kudu主节点设计）

转载：http://blog.csdn.net/lookqlp/article/details/51355195The Catalog Manager and System TablesCatalog Manager 监听用户创建的kudu表和tablet。所有table和tablet的元数据信息以写入时复制(copy-on-write)的objects形式存储在内存和磁盘里，kudu系统的sys.

2016-07-31 18:40:58 3649

转载 kudu tablet design（kudu表设计）

Tablet是kudu表的水平分区，类似于google Bigtable的tablet，或者HBase的region。每个tablet存储着一定连续range的数据（key），且tablet两两间的range不会重叠。一张表的所有tablet包含了这张表的所有key空间。Tablet由RowSet组成，RowSet由一组rows组成（n条数据、n行数据）。RowSet是不相交的，即不同的RowSet

2016-07-31 17:46:52 9560

原创 spark机器学习源码解析及原理分析

最近我们组的尹同学将机器学习剖析完成，特分享给大家学习和参考。 https://github.com/endymecy/spark-ml-source-analysis

2016-04-28 11:07:45 3445

原创第五章：druid.io的应用场景

根据我们使用的情况来看，总结以下几点

2015-06-08 15:19:42 5557 2

原创 druid.io中文版文档

最近我们公司另一个大牛已经在进行druid.io文档的翻译并增加了自己的一些注解，后续翻译还在进行中，如有错误多多反馈。

2015-05-21 16:05:05 10229 12

原创第四章：druid.io的功能

目前druid.io的版本已经发展到0.7.1了，其功能也在不断的完善中，功能的基本描述及使用在官方文档上面已经有很详细的介绍。

2015-05-15 09:32:44 5625

原创第三章：初体验druid.io引擎

这篇文章整理的时间较长，目前我们已经使用此引擎，已经广泛覆盖到公司各业务系统中。

2015-05-14 11:50:57 9069 6

原创 2014年技术使用总结

分类：1、实时查询OLAP方面2、

2014-10-26 21:07:27 3098

原创第二章：druid.io组成部分

druid.io包括主要的节点：

2014-07-09 11:23:13 4645 4

原创第一章durid.io简介

这个项目是在2013年底开源出来的，专门针对与广告领域的实时大数据的

2014-07-09 11:19:11 5891

原创 big data for realtime (druid.io)

最近很久没写blog了，主要是这几个月在带领团队去做一个big data for realtime的项目，因为时间较为紧张。所以等上线后，再分享其内容

2014-03-30 19:41:50 3828

转载鲜为人知的编程真相（转）

当程序员的经历让我知道了一些关于软件编程的事情。下面的这些事情可能会让朋友们对软件开发感到惊讶：一个程序员用在写程序上的时间大概占他的工作时间的10-20%，大部分的程序员每天大约能写出10-12行的能进入最终的产品的代码 — —不管他的技术水平有多高。好的程序员花去90%的时间在思考、研究和实验，来找出最优方案。差的程序员花去90%的时间在调试问题程序、盲目的修改程

2014-03-30 19:39:30 2820

原创 Hbase的使用压缩日志反应的问题

最近hbase的日志量提升到了几百MB，通过日志发现：2013-12-24 11:05:08,307 INFO org.apache.hadoop.io.compress.CodecPool: Got brand-new decompressor2013-12-24 11:05:09,283 INFO org.apache.hadoop.io.compress.CodecPool: Got

2013-12-24 11:42:32 4275 1

原创执行HBase的MR程序出现的一个异常

最近在某台机器上面执行MR时，出现了以下这样的异常，信息如下：2013-12-20 16:58:48,745 INFO org.apache.zookeeper.ZooKeeper: Client environment:user.dir=/data3/mapred/local/taskTracker/hadoop/jobcache/job_201311152318_24137/attempt

2013-12-20 18:57:33 4149 2

原创 hadoop集群job出现一个奇怪的问题

今天集群的job运行出现了一个奇怪的问题，集群监控如下：通过各个节点的执行状态，日志信息如下：2013-12-20 06:38:49,580 [Main Thread] INFO org.apache.hadoop.mapred.Task: Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCal

2013-12-20 18:40:56 3424

原创 hbase的0.94.4版本一个问题

最近在使用过程中，发现了一个问题：就是对某一个rowkey做delete操作后，马上重新插入一条相同的rowkey的值。然后使用get方式操作后无法显示新插入的记录。

2013-12-19 22:04:32 1370 1

原创 hive在实际运行压缩模式中出现的问题

java.io.IOException: IO error in map input file hdfs://master:8020/tmp/hive-hadoop/hive_2013-12-05_14-11-45_842_4285479348256958995/-ext-10033/000267_0.snappy at org.apache.hadoop.mapred.MapTask$Tra

2013-12-05 15:27:38 2694

原创 hadoop集群上压缩后运行总结

通过一周的努力，整个集群都变成了可压缩各种模式。具体操作：hbase的数据迁移，hive的数据迁移

2013-12-04 10:28:48 1739

原创 hadoop任务运行报错记录

org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on/order_closed_compress/_temporary/_attempt_201311152318_5890_m_000065_0/part-m-0006

2013-11-29 18:17:40 2760 3

原创发现一个淘宝API中的BUG

最近发现一个淘宝分销API中的一个bug，主要问题是返回xml格式时，获取商品名称错误；返回是json格式时，获取商品名称正常。目前采用xml格式获取返回值，主要是因为某些店铺返回json格式时，一直报错，无法正常给用户提供产品相关信息，而采用xml的格式就正常了。测试的步骤如下：API接口： taobao.fenxiao.products.get系统参数：app_key

2013-11-25 15:28:26 2311

原创 hbase测试压缩效果报告

测试环境：Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linuxhadoop-1.0.3hbase-0.94.2hive-0.9.0Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-

2013-11-20 11:04:53 8699 16

原创 hadoop再次配置lzo

最近又重新进行了一次配置lzo压缩，步骤如下：安装前，必须的工具： lib* glibc* gcc*ant mvn注意：确定gcc版本，之前网上有人说不能使用超过4.4版本的gcc，我在安装过程中使用的gcc4.1.2的版本，也是正常的操作系统名称：Linux master 2.6.18-194.el5 #1 SMP Tue Mar 16 21:52:39 EDT 2

2013-11-14 11:06:22 3019

原创 hive各种文件格式与压缩方式的结合测试

最近在给整个集群做一个整体各种压缩方式的测试，稍候带来测试的结果报告。

2013-11-06 19:25:36 12254 4

原创 hbase应用snappy的部署

因为业务需要所以对hbase的数据做整体的压缩处理。

2013-11-05 15:55:30 7170 15

原创随记

最近很久没写博客了，主要是在更加深入的掌握hadoop的核心，目前在整理相关的资料，后续会发一系列的文章。

2013-10-31 10:35:59 1006

原创 hadoop节点出现了一个异常问题

最近集群有个节点出现一个奇怪的问题，就是jps命令可以看到Child进程，但通过top命令却显示不存在。而且在/proc目录下也没有对应的进程目录，如下图：

2013-09-09 11:33:08 1771

原创 ant学习教程连接

http://i-proving.com/2005/10/31/Ant-Tutorial/

2013-08-23 14:11:47 2377

原创 hive升级到0.11的体验

最近将hive升级到0.11的版本体验了下，发现还是有些问题需要注意。正在整理中……

2013-08-18 09:39:30 4100 7

原创补充hive升级常规操作

1、首先是安装包部署（这个不用介绍了，就是环境变量等设置）2、就是shema的升级，运行的sql文件在scripts/metastore/upgrade/mysql/，升级到什么版本就运行对应的sql，这里以0.9升级到0.10为例用mysql客户端登录mysql， mysql> use hivemeta; mysql> source /home/h

2013-08-15 10:21:17 1147

原创关于hive升级到0.11的版本问题2

通过网友的帮助，打印加载路径地址，发现果然有个类在其他地方里存在，如下：[hadoop@master ~]$ hivefile:/home/hadoop/hadoop-1.0.3/conf/file:/home/hadoop/jrockit-jdk1.6.0_29/lib/tools.jarfile:/home/hadoop/hadoop-1.0.3/file:/home/ha

2013-08-14 18:27:35 1638

原创 hive升级到0.11的问题

最近发现hive的0.11版本修改很大，其中解决了之前我碰到到一个使CPU100%的BUG(0.9版本是我自己改过的)那么在使用0.11的时候，启动hive命令，出现了下面的错误：13/07/31 10:31:15 WARN conf.HiveConf: DEPRECATED: Configuration property hive.metastore.local no longer

2013-08-06 14:42:14 2373

转载 Unsupported major.minor version 51.0

设置：window-> Preferences->java->Compiler里设置成对应的java版本即可。

2013-05-26 09:41:47 1746

原创关于时间格式化后出现的问题

最近有个同事问我一个问题，关于时间格式化的。代码如下：public static void main(String[] args) throws ParseException { SimpleDateFormat fors = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); String dates = "198

2013-05-21 18:43:04 854

转载 jBPM4.4 eclipse插件安装

一、工具下载 jBPM 图形化流程设计器采用eclipse做为平台，我们可以先到jBPM官方网站下jBPM4.4，地址：http://sourceforge.net/projects/jbpm/files/，下载后的文件为jbpm-4.4.zip，目录结构如下： [attach]271[/attach][attach]271[/attach] 这里面包含有jbpm-gdp-si

2013-05-21 16:25:32 10247 2

原创 hive开发环境中问题随记

javax.jdo.JDOFatalUserException: There is no available StoreManager of type "rdbms". Please make sure you have specified "datanucleus.storeManagerType" correctly and that all relevant plugins are in t

2013-05-13 18:27:02 2239 2

原创关于如何用Zookeeper实现分布式锁机制

之前对zk的应用场景比较好奇，后来发现hive当中已经有使用zk来实现分布式锁的实现。为了更好的理解分布式锁的实现，所以对hive这块的代码进行阅读，提升了对技术实现的理解。hive使用的是ZooKeeperHiveLockManager类来进行处理的。hive锁目前有两个类型，代码如下：public enum HiveLockMode{ SHARED, EXCL

2013-05-13 10:37:29 4455

Java Management Extensions

JMX可以用来管理网络，设备，应用程序等资源，当前规范为1.1版

2009-03-22

J2EE Connector Architecture and Enterprise Application Integration

2009-03-22

企业应用架构模式中文版

企业应用架构模式中文版企业应用架构模式中文版企业应用架构模式中文版

2009-03-11

领域建模设计领域建模设计

领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计领域建模设计

2009-03-06

标准建模语言UML教程

UML即统一建模语言，是用来说明面向对象开发系统的产品、为系统建模、描述系统架构、描述商业架构和商业过程的标准建模语言。

2009-03-01

Pattern-Oriented+Software+Architecture_resource.management3

重新上传面向模式的软件体系结构卷3:资源管理，之前的下载后不能打开。

2009-01-03

SWT.The.Standard.Widget.Toolkit.Volume.1

SWT.The.Standard.Widget.Toolkit.Volume.1，SWT学习教程

2008-12-09

系统分析与设计技术（软考用书）

系统分析与设计技术（资料非常珍贵很全面张友生的）

2008-12-07

Pattern-Oriented+Software+Architecture_resource.management

面向模式的软件体系结构卷3:资源管理 Pattern-Oriented Software Architecture Volume 3 Patterns

2008-11-22

深入java虚拟机深入java虚拟机

深入JVM，是完整版的，上次只传了部分，给大家带来不便。

2008-11-22

面向模式的软件体系结构卷1

面向模式的软件体系结构卷1：模式系统，好东西

2008-11-13

面向模式的软件体系结构卷3

面向模式的软件体系结构卷3: 资源管理

2008-11-13

Pattern.Oriented.Software.Architecture.Volume.2

面向模式的软件体系结构卷2：并发和网络化对象

2008-11-13

Developing java Beans

介绍java.beans包里的内容，并介绍javabean的体系和模型。

2008-10-25

java集群_J2EEClustering

java的集群介绍与原理java的集群介绍与原理java的集群介绍与原理

2008-10-16

java performance Tuning

java性能调整，java编程更高效

2008-07-01

JNDI教程

JNDI（Java Naming and Directory Interface）教程

2008-04-19

java JVM standard

JVM的规范介绍，可能有点老

2008-04-19

java RMI

java的Remote Method Invocation

2008-04-19

spring_ldap

spring_ldap spring_ldap spring_ldap

2010-12-21

Pattern.Oriented.Software.Architecture.Volume.5

面向模式设计架构5面向模式设计架构5面向模式设计架构5

2010-06-26

Pattern.Oriented.Software.Architecture.Volume.4

面向模式架构卷4面向模式架构卷4面向模式架构卷4

2010-06-21

Java-Concurrency-in-Practice

I was fortunate indeed to have worked with a fantastic team on the design and implementation of the concurrency features added to the Java platform in Java 5.0 and Java 6.

2010-02-01