- 博客(7)
- 收藏
- 关注
RSS订阅转载 Centos Python 开发平台搭建
安装mysql首先去http://dev.mysql.com/downloads/mysql/5.5.html#downloads站点下载 MySQL-devel-5.5.29-2.linux2.6.i386.rpm MySQL-client-5.5.29-2.linux2.6.i386.rpm MySQL-server-5.5.29-2.linux2.6.i386.rpmyum inst
2015-04-20 11:47:34
441
转载 CentOS 6.5 下安装 Redis 2.8.7
wget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzcd redis-stablemake前面3步应该没有问题，主要的问题是执行make的时候，出现了异常。 异常一： make[2]: cc: Command not found 异常原因：没有安装gcc 解决方案：
2015-04-20 10:17:20
239
转载 Google's BigTable
题记：google 的成功除了一个个出色的创意外，还因为有 Jeff Dean 这样的软件架构天才。官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据比如 RSS 数据源。 以下发言 是 Andrew Hitchcock 在 2005 年10月18号 基于： Google 的工程师
2015-03-06 11:48:53
375
转载 Google文件系统
GFS这三个字母无需过多修饰，《Google File System》的论文也早有译版。但是这不妨碍我们加点批注、重温经典，并结合上篇Haystack的文章，将GFS、TFS、Haystack进行一次全方位的对比，一窥各巨头的架构师们是如何权衡利弊、各取所需。1. 介绍 我们设计和实现了GFS来满足Google与日俱增的数据处理需求。与传统的分布式文件系统一样，GFS着眼在几个重要的目标，比如性
2015-03-06 11:47:58
2422
转载 MapReduce:超大机群上的简单数据处理
摘要 MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作. 以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数
2015-03-06 11:32:08
529
原创 HDFS架构
NameNode管理节点NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 文件结构： fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间 Namenode始终在内存中保存metedata
2015-03-04 16:57:21
297
原创 Hadoop技术操作记录
Hadoop技术操作记录解决windows8.1[MSI文件不能安装问题]run.zip 请运行该文件。： 安装Centos注意事项： 其他的自行安装即可以上是我自己安装过程中的注意事项，下面开始进入Linux准备过程一、准备Linux环境1修改点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：1
2015-03-04 16:51:50
453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人