- 博客(38)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 Spark分布式环境搭建
Spark分布式环境搭建 1. 准备 Scala安装包：scala-2.11.7.tgz SPARK安装包：spark-1.1.0-bin-hadoop2.4.tar.gz2. 说明默认已安装了hadoop环境，jdk，配置了免密码登录，设置了主机名。我们一共有三台机器，分别为：hadoop1，hadoop2，hadoop3。其中hadoop1为
2015-11-21 18:41:12
480
原创 Servlet 文件上传
Servlet文件上传1. 使用InputStream通过request.getInputStream（）获取文件输入流，上传解析代码如下 publicvoiddoPost(HttpServletRequest request, HttpServletResponse response) throws Servle
2015-11-04 17:19:39
450
原创 jersey使用
Jersey使用一、 环境1. Tomcat62. Jdk1.73. Jersey 在https://jersey.java.net/download.html 下载jaxrs-ri-2.22.1.zip二、 过程1. 创建myeclipse创建web
2015-10-23 11:18:11
1623
原创 java NIO
JAVA NIO1. Java NIO 概述Java NIO 由以下几个核心部分组成： Channels,Buffers ,Selectors虽然Java NIO 中除此之外还有很多类和组件，但在我看来，Channel，Buffer 和 Selector 构成了核心的API。其它组件，如Pipe和FileLock，只不过是与三个核心组件共同使用的工具类。因此，在概述中我将集
2015-06-18 11:51:22
523
原创 solr集群环境搭建
Solr集群环境搭建一． 准备1. 下载：solr-4.4.0.zip solr安装包apache-tomcat-7.0.47.tar.gz tomcat安装包2. 说明：其中集群环境采用nginx做分发（也可以使用apache），nginx的安装这里不再介绍。我们共有四台机器，分别如下10.10.42.16410.10.42.165
2015-06-17 18:20:44
712
原创 oozie-4.1.0 安装
Oozie安装一．准备默认hadoop，maven，mysql已经安装，我的hadoop是2.5.0下载oozie安装包：oozie-4.1.0.tar.gz http://mirror.bit.edu.cn/apache/oozie/ 下载ext-2.2.zip http://oozie.apache.org/docs/4.0.1/DG_QuickStart.ht
2015-02-28 11:10:37
2628
原创 hive jdbc 调用
HIVE学习总结 Hive只需要装载一台机器上，可以通过webui，console，thrift接口访问（jdbc，odbc），仅适合离线数据分析，降低数据分析成本（不用编写mapreduce）。 Hive优势1. 简单易上手，类sql的hql、2. 有大数据集的计算和扩展能力，mr作为计算引擎，hdfs作为存储系统3. 统一的
2015-02-24 15:04:47
1102
原创 Hbase Mapreduce编程
Hbase Mapreduce编程hadoop，hbase安装参考：http://blog.csdn.net/mapengbo521521/article/details/41777721hbase表创建数据插入参考：http://blog.csdn.net/mapengbo521521/article/details/43917119hbase mapreduce参考：http://
2015-02-24 12:32:14
1102
1
原创 Hbase java API 调用详解
Hbase java API 调用一． hbase的安装参考：http://blog.csdn.net/mapengbo521521/article/details/41777721二．hbase访问方式Native java api：最常规最高效的访问方式。Hbase shell：hbase的命令行工具，最简单的接口，适合管理员使用Thrift gateway：利用t
2015-02-23 18:23:30
1522
原创 日志收集分析系统架构
日志收集分析系统架构 一．部署架构 日志收集系统一般包括如图所示三层。Web服务器层，日志收集层，日志存储层。Web服务器层是日志的来源，一般部署web应用供用户访问，产生日志，该节点上一般需要部署日志收集程序的agent。日志收集层手机web服务器产生的日志传输给日志存储层，存储层一般使用分布式文件系统HDFS,日志可以存储在hdfs上或者hbase上。以scribe作
2015-02-23 16:09:35
1809
原创 Hadoop性能调优
Hadoop性能调优 Hadoop在处理任务时性能是否足够好，这里的性能主要包括时间和空间两个指标。调优一般要注意以下几个方面： 1. 输入文件尽可能的大HDFS的默认块文件的大小为64M,假如有1000,个文件，每个文件的大小都是2.3m，那么存储这些文件需要占用1000个块，那么一共会占用64000M大小的空间，如果将这些文件合并大小为2.2G，只有36个块，占
2015-02-16 12:48:12
825
原创 hadoop 2.x 编译打包
1. 需要编译打包的代码如下： package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;
2015-02-15 11:59:03
760
原创 KAFKA安装和使用
KAFKA安装和使用WINDOWS: 准备软件：kafka_2.11-0.8.2.0.tgz安装步骤：1. 创建目录D:\kafka，将kafka_2.11-0.8.2.0.tgz解压到该目录下，解压两份，并重命名为kafka1和kafka2.并在这两个目录下创建文件kafka1/log/logs, kafka2/log/logs2. 在D:\kaf
2015-02-11 11:49:02
1228
原创 Elasticsearch集群安装与使用
ES集群安装与使用2、准备Elasticsearch：http://www.elasticsearch.org/downloadelasticsearch-head：http://mobz.github.io/elasticsearch-head/Linux环境：两台 2、ES安装1. 解压elasticsearch-1.4.2.tar.gz， tar -zvxfelast
2015-01-25 19:04:48
2142
原创 MongoDB安装与使用
MongoDB安装与使用WINDOW下载mongodb-win32-i386-2.6.0.zip并解压进入：mongodb-win32-i386-2.6.0\bin 启动mongodb：mongod.exe --dbpath d:/data/mongoMongoDB基本命令用成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。
2015-01-24 16:20:30
452
原创 Memcached安装与使用
Memcached安装与使用 WINDOW1. memcached-win32-1.4.4-14在D:\memcached2. 在终端（也即cmd命令界面）下输入 ‘D:\memcached\memcached.exe-d install' 安装3. 再输入： ‘D:\memcached\memcached.exe-d start' 启动。（需要注意的: 以后memcached
2015-01-24 15:01:45
564
原创 mongoDB安装与使用
MongoDB安装：下载mongodb-win32-i386-2.6.0.zip并解压进入：mongodb-win32-i386-2.6.0\bin 启动mongodb：mongod.exe --dbpath d:/data/mongo MongoDB基本命令用成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。 输入hel
2015-01-22 13:34:25
601
原创 redis 安装与使用
安装：1. 下载的windows版本是redis-2.0.2，解压到D盘下：D:\redis-2.0.22. 启动Redis服务（conf文件指定配置文件，若不指定则默认）：D:\redis-2.0.2>redis-server.exe redis.conf启动cmd窗口要一直开着，关闭后则Redis服务关闭。redis-server.exe：服务程序r
2015-01-22 13:22:46
594
原创 Linux apache tomcat 集群搭建
Apache tomcat 集群搭建 准备：OS：rhel-server-5.4-x86_64-dvd.isoJDK: jdk-7u71-linux-x64.tar.gzApache：httpd-2.4.10.tar.gzTomcat：apache-tomcat-7.0.57.tar.gzMod_jk：tomcat-connectors-1.2
2014-12-12 17:24:44
576
原创 Linux eclipse安装hadoop插件
准备：eclipse安装包：eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz hadoop插件：hadoop-eclipse-plugin-2.5.0.jar （可以到网上下载，也可自己编译）cp eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz /home/hadoop/tools tar
2014-12-06 19:35:49
1056
原创 Linux mysql安装
mkdir–p /home/tools将MySQL-server-5.5.21-1.linux2.6.x86_64.rpm,MySQL-client-5.5.21-1.linux2.6.x86_64.rpm复制到/home/tools下安装服务端:rpm -ivhMySQL-server-5.1.7-0.i386.rpm安装客户端：rpm -ivhMySQL-client-
2014-12-06 19:33:26
395
原创 hadoop-2.5.0,hbase,hive,pig,sqoop,zookeeper 集群安装
1. 准备工作软件准备: 1) Hadoop: hadoop-2.5.0.tar.gz2) Jdk: jdk-7u71-linux-x64.tar.gz3) Hive:apache-hive-0.13.1-bin.tar.gz4) Hbase:hbase-0.98.8-hadoop2-bin.tar.gz5)
2014-12-06 19:25:28
3321
原创 Strom集群搭建
Strom集群搭建1. 准备Jdk strom的部分代码用java编写，需要依赖jdk，我用的是1.7Python storm依赖python，如果系统自带的python为2.6以下版本需要升级,可以直接在终端输入：python查看系统自带python版本Zookeeper strom使用zookeeper做服务协调，zookeeper安装参考：http://blog.
2018-06-14 19:53:55
486
原创 如何贡献代码到github开源项目
登录github在github中查找需要需要贡献代码的项目，点击右上角的“fork”，这时即可在github个人项目区看到fork的项目：https://github.com/username（用户名 ）打开git客户端，clone 项目到本地 git clone https://github.com/username/projectname 说明：usernam...
2018-05-08 18:50:28
756
转载 netstat命令怎么查看端口是否占用
转自：http://www.ahlinux.com/start/cmd/527.htmlnetstat命令是一个监控TCP IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息，这里我只用到其netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息，这里我只用到其中的部分功能.n
2016-08-19 17:30:59
6427
转载 系统负载是什么
一、系统负载转自：http://www.ruanyifeng.com/blog/2011/07/linux_load_average_explained.html1. 如何查看负载在Linux系统中，使用uptime命令查看（w命令和top命令也行）。这行信息的后半部分，显示"loadaverage"，它的意思是"系统的平均负荷"，里面有三个数字，我们可以从中判断系统负荷
2016-08-19 10:48:29
3855
转载 HTTP 长连接与短连接
1. HTTP协议与TCP/IP协议的关系 HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议，在传输层使用TCP协议，在网络层使用IP协议。IP协议主要解决网络路由和寻址问题，TCP协议主要解决如何在IP层之上可靠的传递数据包，使在网络上的另一端收到发端发出的所有包，并且顺序与发出顺序一致。TCP有可靠，面向连接的特点。 2. 如何理解HTTP
2016-08-15 11:08:10
1370
原创 Mahout安装与配置
Mahout安装与配置1：环境：需要安装hadoop我安装的是Hadoop2.5Hadoop安装参考：http://blog.csdn.net/mapengbo521521/article/details/41777721下载地址：http://mirrors.cnnic.cn/apache/mahout/0.11.1/apache-mahout-distribution-
2015-12-02 15:24:23
607
转载 flume 收集日志到HDFS
作者同类文章X转自：http://www.aboutyun.com/thread-7949-1-1.html问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何
2015-11-30 14:14:16
1103
原创 基于flume+kafka+storm日志收集系统搭建
基于flume+kafka+storm日志收集系统搭建1. 环境192.168.0.2 hadoop1192.168.0.3 hadoop2192.168.0.4 hadoop3已经安装了jdk1.7并配置了环境变量2. 安装版本Flume：apache-flume-1.5.0-bin.tar.gz http://mirrors.cnnic.cn/a
2015-11-30 14:04:13
2716
转载 Storm原理详解
转自：http://blog.itpub.net/29754888/viewspace-1260026/ 1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有
2015-11-27 10:49:32
1958
原创 Strom集群搭建
Strom集群搭建1. 说明Storm0.9以前的版本依靠0MQ传输数据，但是0mq对操作系统的依赖程度高，不要配置，容易出现兼容性问题。0.9以后的版本采用jetty做数据传输，所以不需要在安装0MQ2. 准备Jdk strom的部分代码用java编写，需要依赖jdk，我用的是1.7Python storm依赖python，如果系统自带的python为2.6以下
2015-11-26 10:04:40
829
原创 Spark基于zookeeper的HA
Spark基于zookeeper的HA1. 准备Zookeeper环境参考：http://blog.csdn.net/mapengbo521521/article/details/41777721Spark环境参考：http://blog.csdn.net/mapengbo521521/article/details/499666772. 配置spark进到
2015-11-23 10:39:40
460
转载 Keepalived实现Redis Failover自动故障切换
Keepalived实现Redis Failover自动故障切换 参考资料：http://patrick-tang.blogspot.com/2012/06/redis-keepalived-failover-system.htmlhttp://deidara.blog.51cto.com/400447/302402 背景介绍：目前，Redis还没有一个类似于MySQL
2015-11-04 18:06:03
415
转载 Memcache 入门
Memcached概念：Memcached是一个免费开源的，高性能的，具有分布式对象的缓存系统，它可以用来保存一些经常存取的对象或数据，保存的数据像一张巨大的HASH表，该表以Key-value对的方式存在内存中。 官网下载地址： http://www.memcached.org/运行环境： linux，BSD，windows都可跑协议理论：http://code.sixapa
2015-11-04 17:44:47
502
原创 MongoDB安装与使用
MongoDB安装与使用WINDOW下载mongodb-win32-i386-2.6.0.zip并解压进入：mongodb-win32-i386-2.6.0\bin 启动mongodb：mongod.exe --dbpath d:/data/mongoMongoDB基本命令用成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。
2015-11-04 17:29:16
369
原创 Kafka安装与配置
KAFKA安装和使用WINDOWS: 准备软件：kafka_2.11-0.8.2.0.tgz安装步骤：1. 创建目录D:\kafka，将kafka_2.11-0.8.2.0.tgz解压到该目录下，解压两份，并重命名为kafka1和kafka2.并在这两个目录下创建文件kafka1/log/logs, kafka2/log/logs2. 在D:\kaf
2015-11-04 17:28:55
525
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人