qq_806913882-CSDN博客

原创网络驱动简介

文档原地址：https://docs.microsoft.com/zh-cn/windows-hardware/drivers/network/introduction-to-network-drivers

2017-10-08 17:02:21 413

原创微软官网关于网络驱动程序设计指南

微软源网页：https://docs.microsoft.com/zh-cn/windows-hardware/drivers/network/网络驱动简介

2017-10-08 17:00:15 579

原创微软官网上关于驱动开发教程的文档结构

微软硬件驱动开发中心首页：https://developer.microsoft.com/zh-cn/windows/hardware 微软驱动程序开发文档首页：https://docs.microsoft.com/zh-cn/windows-hardware/drivers/index 下面所列出的文档都可以在上面那个文档中找到相关链接，为了方便就单独的提出来了。 Windows 驱动程序基

2017-01-19 20:59:42 305

原创 MapReducer中文编码

如果输入文件有中文，输出文件可能会出现乱码。乱码问题的话一般都是编解码错误。本文的最后有一篇参考文档，那篇文档已经解决了问题了，但是，可是自己是小白，那篇文档没做解释的话，有的我理解不了，所以就把那篇文章解释了一遍。基础好的可以直接看那篇文章。编码的问题首先看一下这段代码String s = "中国";Text t1 = new Text();Text t2 = new Text();t1.

2017-01-07 09:25:23 2076

原创 Hadoop2.X的ChainMapper和ChainReducer

编程过程中，有时候需要多个map才能完成任务，虽然知道ChainMapper和ChainReducer可以做到这一点，但是不是很清楚，从网上到的一些讲解也不是很清楚，所以自己看API文档，总结了一下。这个是ChainMapper和ChainReducer的官方API文档。 http://hadoop.apache.org/docs/r2.7.3/api/index.htmlChainMappe

2017-01-05 14:22:34 2702 1

引入和说明熟悉mapreduce执行流程的都知道，mapreduce流程中，一共有两类排序，第一种是对于key的排序，默认是是根据key的递增排序。第二种是对于reduce的组排序，将两条记录的key带入到分组函数中，如果返回0，则说明两个记录是一组的，所以就把他们的value合到一个迭代器中，也就是reduce函数的第二个参数。最下面那个代码（小标题是总体代码）包括了 map ，reduce，两

2016-12-22 09:38:34 2084

原创 mapreduce的输入格式详解

输入流程解析文件从上传到HDFS到输入到map函数中，大致可以分为4步。文件上传到hdfs中，被划分为若干份block，输入时，将所有block读取，划分为若干个split，每个split对应与一个map task，然后每个split划分为多个recordvoid map( K1 key, # record的key V1 value, # record的value

2016-12-19 15:22:02 1072

转载 Java线程池ExecutorService

转载于：【Java线程】Java线程池ExecutorService http://blog.csdn.net/vking_wang/article/details/9619137线程池 ExecutorService 详细介绍以及注意点区别 http://blog.csdn.net/chenaini119/article/details/51849222学习zookeeper时，看的代码中

2016-12-17 16:17:00 316

原创 ZooKeeper实战

在极客学院学习了zookeeper课程，为了理解更加深刻，大致写一下课程内容master选举架构图那个WorkServer节点创建了master节点，则此节点就是整个集群的master。程序流程WorkServer创建的时，即添加监听器，一旦master节点被删除，则立刻创建master节点，如果创建成功，则其就是master，如果创建不成功，则说明有WorkServer已经创建了master节点，

2016-12-16 21:24:44 2308

原创 hadoop与zookeeper完全分布式安装

集群配置主机名 NN DN RM NM ZK JN node1 √ √ √ node2 √ √ √ √ node3 √ √ √ √ √ node4 √ √ √ √注：打勾的说明，本台主机配置有该项服务。服务

2016-12-12 09:39:25 2033

原创 hive sql详解

hive数据类型hive基本数据类型基本类型大小（字节）描述 TINYINT 1 有符号整数 SMALLINT 2 有符号整数 INT 4 有符号整数 BIGINT 8 有符号整数 STRING 最大2GB 字符串，类似SQL的VARCHAR类型 FLOAT 4 单精度浮点数 DOUBLE 8 双精度

2016-12-11 22:39:25 7229

原创 Hbase完全分布式安装

下载hbase安装包从hbase下载地址找一个下载网站，然后下载一个安装包，本文下载hbase的版本为hbase-1.0.3-bin.tar.gz 解压安装包# 解压安装包到/usr/localcd /usr/localtar -zxvf hbase-1.0.3-bin.tar.gz配置文件 hbase-env.sh# 配置JDK路径JAVA_HOME

2016-12-11 09:51:22 486

原创 Hbase访问方式之Hbase shell

Hbase的访问方式1、Native Java API：最常规和高效的访问方式； 2、HBase Shell：HBase的命令行工具，最简单的接口，适合HBase管理使用； 3、Thrift Gateway：利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据； 4、REST Gateway：支持REST 风格的Http API访问H

2016-12-10 09:42:04 10783

原创 Hadoop2.X伪分布式安装

安装JDK配置ssh免密码登录配置hosts文件下载hadoop安装包并安装配置hadoop环境变量创建一些用到的文件夹和文件更改hadoop目录的所有用户配置hadoop文件aHadoop-envshb mapred-envshc yarn-envshdcore-sitexmle hdfs-sitexmlfmapred-sitexml格式化HDFS启动服务测试是否启

2016-12-07 23:13:35 435

转载 Hive系统架构简介

文章转载自：http://www.yiibai.com/hive/Hive是什么Hive 不是Hive特点Hive架构Hive架构的更一般的架构Hive工作原理Hive是什么？Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步

2016-12-07 22:06:24 3887

一方天地