- 博客(16)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Kafka Java API操作topic
Kafka官方提供了两个脚本来管理topic，包括topic的增删改查。其中kafka-topics.sh负责topic的创建与删除；kafka-configs.sh脚本负责topic的修改和查询，但很多用户都更加倾向于使用程序API的方式对topic进行操作。 创建topicZkUtils zkUtils = ZkUtils.apply("localhost:21
2017-05-14 22:37:05
3105
1
转载 Storm集群安装部署步骤
转载网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。1. Storm
2017-05-12 11:01:33
452
转载 JAVA中几种常用的RPC框架
RPC是远程过程调用的简称，广泛应用在大规模分布式应用中，作用是有助于系统的垂直拆分，使系统更易拓展。Java中的RPC框架比较多，各有特色，广泛使用的有RMI、HRPC是远程过程调用的简称，广泛应用在大规模分布式应用中，作用是有助于系统的垂直拆分，使系统更易拓展。Java中的RPC框架比较多，各有特色，广泛使用的有RMI、Hessian、Dubbo等。RPC还有一个特
2017-05-12 09:52:40
1418
转载 TCP/IP、Http的区别
TPC/IP协议是传输层协议，主要解决数据如何在网络中传输，而HTTP是应用层协议，主要解决如何包装数据。关于TCP/IP和HTTP协议的关系，网络有一段比较容易理解的介绍：“我们在传输数据时，可以只使用（传输层）TCP/IP协议，但是那样的话，如果没有应用层，便无法识别数据内容，如果想要使传输的数据有意义，则必须使用到应用层协议，应用层协议有很多，比如HTTP、FTP、TELNET等，也可以自己
2017-05-11 15:14:36
342
转载 HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较
转载于：http://www.cnblogs.com/wgp13x/p/4245182.html摘要： 在前篇博客里已经讲述了通过一个自定义 HBase Filter来获取数据的办法，在末尾指出此办法的性能是不能满足应用要求的，很显然对于如此成熟的HBase来说，高性能获取数据应该不是问题。下面首先简单介绍了搜索引擎的性能，然后详细说明了HBase与MySQL的性能对比，这里的数据都是
2017-05-10 15:23:15
2119
转载 Windows下使用Hadoop2.6.0-eclipse-plugin插件
首先说一下本人的环境:Windows7 64位系统Spring Tool Suite Version: 3.4.0.RELEASEHadoop2.6.0一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码
2017-05-06 11:41:43
400
转载 深入理解Java类加载器：线程上下文类加载器
1 线程上下文类加载器 线程上下文类加载器（context class loader）是从 JDK 1.2 开始引入的。类 Java.lang.Thread中的方法 getContextClassLoader()和 setContextClassLoader(ClassLoader cl)用来获取和设置线程的上下文类加载器。如果没有通过 setContextClassLoader
2017-05-06 11:40:00
521
转载 MapReuce 算法设计--Combiner 和 In-Mapper Combing
转载的比较好得mapreduce优化算法之前提到从MapReduce 可控和不可控的方面我们可以挖掘出一些有用的设计模式。在可控方面Key 和Value 数据结构的自定义给了我们很大的发挥空间。本篇要讲述的就是Pairs 和Stripes 。这两种设计模式并没有利用MapReduce 的框架机制，而是巧妙的利用数据结构来实现的。但是依然可以利用我们之前提到的Combiner 和In-Map
2017-05-05 16:45:27
460
转载 Java类加载原理解析
1 基本信息 每个开发人员对Java.lang.ClassNotFoundExcetpion这个异常肯定都不陌生，这背后就涉及到了java技术体系中的类加载。Java的类加载机制是技术体系中比较核心的部分，虽然和大部分开发人员直接打交道不多，但是对其背后的机理有一定理解有助于排查程序中出现的类加载失败等技术问题，对理解java虚拟机的连接模型和java语言的动态性都有很大帮助。
2017-05-05 14:52:24
265
原创 Hbase的Java开发API操作实现
Hbase的JavaAPI，提供了对于Hbase数据的表的创建，修改，删除，数据写入，删除，修改，查询（Scan，get两种方法）。下面是综合的一个Hbase操作实例；import java.io.IOException;import java.util.ArrayList;import java.util.Collection;import java.util.HashMap;imp
2017-05-04 10:56:38
849
原创 CDH开启kerberos，Java连接Hbase
在使用CDH过程中，按照要求开启了Kerberos安全认证权限，使用java的api连接hbase的方法。 首先需要在CDH中添加认证的用户，获取此用户的.keytab文件。
2017-03-15 16:08:36
3364
2
转载 sqoop使用中文手册
文章转载自：http://www.zihou.me/html/2014/01/28/9114.htmlSqoop中文手册8,038浏览 1条回复子猴：Sqoop在我们的实际工作中有一些应用，为了对Sqoop的使用有个更全面的了解，于是我花了一些时间将Sqoop的使用整理成了一份中文手册，我自认还是非常全面的，覆盖到了Sqoop所有的方面。虽然对每一个用法
2017-02-16 16:26:38
952
转载 Hbase热点
Hbase的表会被划分为1....n个Region,被托管在RegionServer中。Region二个重要的属性：Startkey与EndKey表示这个Region维护的rowkey的范围，当我们要读写数据时，如果rowkey落在某个start-end key范围内，那么就会定位到目标region并且读写到相关的数据。 默认情况下，当我们通过hbaseAdmin指定TableDes
2017-02-13 21:04:41
365
原创 CDH开启kerberos后，HDFS连接的Java——API参数配置
大数据平台的安全认证Kerberos是一个比较麻烦的东西，但往往为了平台的安全需要开启，开启后使用JavaAPI操作HDFS，需要进行用户登陆认证。
2017-01-07 18:27:21
3579
java6 webservice 如何以现有的wsdl格式发布webservice
2014-12-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人