毕加索爱编程-CSDN博客

原创 11月份总结

感觉十一月份过的非常快，当再一次静下心坐在屋里喝茶看书的时候，发现今天已经是这月的最后的一天了。这一月相对来说还是很充实的，有很多的感悟，也有很多值得注意和改进的地方。总结一月的学习工作，主要侧重于几点：1.工作中心主要在SaaS技术方案的设计上，完成文件的编写；2.项目申请、谈判响应文件、合同整个项目整体的流程怎么办理；3.Hadoop多租户方面进一步的调研；4.看书的一些感悟。1.Sa

2014-11-30 14:50:24 752

原创 linux系统之工具篇（三）集群管理工具Nmap

yum install nmap

2014-10-23 18:20:22 1326

原创 Linux系统之工具篇（二）集群管理软件clustershell

一、简介实验室机房有大概百台的服务器需要管理，加上需要搭建Hadoop以及Spark集群等，因此，一个轻量级的集群管理软件就显得非常有必要了。经过一段时间的了解以及尝试，最终选择了clustershell这个软件，原因如下：1、安装方便。一条指令就能轻松安装。2、配置方便。很多集群管理软件都需要在所有的服务器上都安装软件，而且还要进行很多的连接操作，clustershell就相当的方便

2014-10-23 17:28:15 5255

原创大数据之Hadoop平台（五）Hadoop多用户管理

前言最近有一些需求，就是需要在hadoop集群中实现多用户管理，因此在网上搜了很多的资料。其中有一种方法感觉还是比较可行，链接：http://cn.soulmachine.me/blog/20140206/大概方式是：先新建一个用户test1，然后把hadoop的安装目录复制一份copy到这个用户test1的目录下，再赋一下权限，然后这个用户就可以向集群提交程序了。后来经过一些列的尝试，发现确

2014-10-20 14:43:35 3615

原创大数据之Hadoop平台（四）Centos6.5（64bit）Hadoop2.5.1、Zookeeper3.4.6、Hbase0.98.6.1安装使用过程中错误及解决方法

hadoop错误总结

2014-10-17 11:06:27 3777

原创经典排序算法c++实现，自己复习，不断更新

最近身边的人各种地找工作，

2014-10-06 12:14:13 703

原创算法设计之最长公共子序列（LCS）问题

一、动态规划1、什么是动态规划先解释一下什么是动态规划，动态规划的英文名字是：Dynamic Programming ，首先要说明的是这里的Programming和程序设计里面的编程没有关系，而是指表格查询法（tabular method），即将每一步计算的结果存储在表格里，供随后的计算查询使用。有动态规划的名字可以看出它和分而治之策略之间的不同。即在动态规划下，我们将问题分解为小问题

2014-10-04 20:09:26 1447 1

原创 Linux系统之工具篇（一）DRBD 单双主模式区别详解，Centos6.5（64bit）与nfs文件系统使用结合测试

一、简介DRBD（Distributed Replicated Block Device）相当于一个网络的raid1。

2014-09-27 15:46:38 3371

原创算法设计之分治法、减治法

一、减治法

2014-09-25 20:30:34 3015 3

原创 Linux系统之工具篇（一）DRBD Centos6.5（64bit）编译安装，双主模式

一、简介DRBD(Distributed Rep;icate Block Device)是基于块设备在不同的高可用服务器之间同步和镜像数据的软件，通过它可实现在网络中的两台服务器之间基于块设备级别的实时或者异步镜像或同步复制。DREB可以理解为网络的raid1Raid1：其原理就是将一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID 1的操作方式是把用户写入硬盘的数据百分之百地

2014-09-25 17:31:46 4223 2

原创大数据之Hadoop平台（一）Centos6.5（64bit）编译Hadoop2.5.1源码

Apache官网提供了Hadoop2.5.1已编译的程序，但是在Centos6.5上anzhuang

2014-09-24 21:38:52 3618 3

原创大数据之Hadoop平台（二）Centos6.5（64bit）Hadoop2.5.1伪分布式安装记录，wordcount运行测试

注意：以下安装步骤在Centos6.5操作系统中进行，安装步骤同样适于其他操作系统，如有同学使用Ubuntu等其他Linux操作系统，只需注意个别命令略有不同。注意一下不同用户权限的操作，比如关闭防火墙，需要用root权限。单节点的hadoop安装出现的问题会在如下几个方面：JDK环境的配置、防火墙是否关闭、root用户和hadoop用户的不同操作等。在搭建的过程中细心一点，按照下面的

2014-09-24 21:16:35 2447 1