- 博客(8)
- 收藏
- 关注
RSS订阅原创 Hadoop集群（第3期）_VSFTP安装配置
1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。 在速度方面，使用ASCII代码的模式下载数据时，VSFTP的速度是Wu-FTP的两倍，...
2012-11-06 09:35:54
134
原创 Hadoop集群（第1期）_CentOS安装配置
1、准备安装 1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每...
2012-11-06 09:35:03
92
原创 Hadoop集群（第2期）_机器信息分布表
1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。2、集群机器详细信息2.1 Master服务器...
2012-11-06 09:34:50
77
原创 jdk 1.5中的concurrent 在多线程并发中的使用
我们都知道，在JDK1.5之前，Java中要进行业务并发时，通常需要有程序员独立完成代码实现，当然也有一些开源的框架提供了这些功能，但是这 些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现，比如使用java之前的wait()、 notify()和synchronized等，每每需要考虑性能、死锁、公平性、资源管理以及如何避免线程安全性方...
2012-11-06 09:34:40
118
原创 Linux下Memcache的安装方法
首先去官方下载最新的版本,现在最新的是memcached-1.4.1 ,然后就编译安装了.另外,Memcache用到了libevent这个库用于Socket的处理,所以还需要安装libevent，libevent的最新稳定版本是libevent-1.4.12 .1.先进这个两个文件下载回来,放到临时目录下cd /usr/local/srcwget http://memcache...
2012-11-06 09:34:31
64
原创 提高nutch爬取效率
Here are the things that could potentially slow down fetching下面这些是潜在的影响爬取效率的内容： 1) DNS setup 2) The number of crawlers you have, too many, too few. 3) Bandwidth limitations 4) Number o...
2012-11-05 14:40:22
113
原创 Nutch2.1+mysql+solr3.6.1安装部署
1、mysql 数据库配置 linux mysql安装步骤省略。 创建数据库与表 CREATE DATABASE nutch DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE TABLE `webpage` (...
2012-11-05 14:39:20
79
原创 jdk 1.5中的concurrent 在多线程并发中的使用
我们都知道，在JDK1.5之前，Java中要进行业务并发时，通常需要有程序员独立完成代码实现，当然也有一些开源的框架提供了这些功能，但是这些依然没有JDK自带的功能使用起来方便。而当针对高质量Java多线程并发程序设计时,为防止死蹦等现象的出现，比如使用java之前的wait()、notify()和synchronized等，每每需要考虑性能、死锁、公平性、资源管理以及如何避免线程安全...
2012-11-05 14:37:00
76
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人