自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

qnamqj的专栏

  • 博客(3)
  • 资源 (13)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 kafka connector之sink

1.kafka connector基本架构模型图topic logconsumerconnectorKafka connect有两个概念，一个source，另一个是sink。source是把数据从一个系统拷贝到kafka里，sink是从kafka拷贝到另一个系统里 Connectors – the high level

2016-11-29 11:32:49 4030

原创 kafka contrib包之hadoop-consumer分析

近来由于项目需要，要使用到kafka作为数据的中转站，所有的数据都会进入到kafka，再流向数据使用方，有在线的spark，有离线的spark sql；但作为离线的使用，一般数据存入于hdfs之上，为了分析的方便。我一贯的经验是建目录类似于DB的shema存放。因此这就需要有一个hadoop-consumer完成数据从kafka到hadoop的ETL。在kafka官网上有一个极短的介绍kafka源

2015-08-04 14:32:42 1131

转载 Spark概念RDD

转载自http://zhuguangbin.github.io/blog/2013/07/16/spark-core-concept/Spark的核心思想是RDD，以及对RDD的操作（transformation/action）。本篇简单介绍这些基本概念，以有利于理解Spark的原理。(一) RDD(resilient distributed dataset)

2015-04-21 15:30:47 399

基于Hadoop的大数据应用分析
基于Hadoop的大数据应用分析

2014-04-22

在Windows上安装Hadoop教程
在Windows上安装Hadoop教程，还可以，不错

2014-04-22

hadoop搭建与eclipse开发环境设置
hadoop搭建与eclipse开发环境设置

2014-04-22

北京大学解题报告与代码（搜索）
北京大学解题报告与代码（搜索） 内有详细的解题报告与代码，可参考，算法详尽，有的还有不同的算法， 是编程竞赛的不二参考资料

2013-03-28

MYSQL培训经典教程
MYSQL培训经典教程，内容简洁易用学，很容易上手，

2013-03-26

Java API文档中文版
Java API文档中文版 很详细的JDK说明文档，对于英语不好的我们，能很快了解具体的用法，还不错吧

2013-03-26

数据结构与算法综合资料库
数据结构与算法综合资料库， 内有多个经典问题的求解算法，C++程序求解等

2012-11-01

迷宫问题详细求解
迷宫问题详细求解，内有算法描述，与程序示例

2012-11-01

libsvm-mat-2.89-3(加强版)
libsvm-mat-2.89-3(加强版） matlab程序，求解SVM问题

2012-11-01

Eclipse中文教程
Eclipse中文教程，java开发的平台，详细介绍了工具的使用方法，很不错...

2012-09-21

Java编程思想第四版完整中文高清版(免费)
Java编程思想第四版完整中文高清版(免费) 高清，一本修炼JAVA内功的必看经典之书

2012-09-21

朴素贝叶斯matlab代码
朴素贝叶斯matlab代码,朴素贝叶斯分类，采用10-折交叉验证

2010-05-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除