diana_cherry-CSDN博客

原创 Hadoop 2.2.0 HDFS HA(Automatic Failover)搭建

因为在工作中没有使用hadoop1，虽然前2年自己也搭建过hadoop1，但是理解不深，这次搭建hadoop2的hdfs，还是花了不少时间，文章主要用于自己归纳整理知识，如果不对的地方，欢迎指正。HA是hadoop2的一项重大改进，解决了单点故障的问题.hadoop2在64位机器上需要编译：http://blog.csdn.net/w13770269691/article/details/

2014-02-16 11:51:14 3353 2

转载 linux awk数组操作详细介绍

原文地址：http://www.cnblogs.com/chengmo/archive/2010/10/08/1846190.html用awk进行文本处理，少不了就是它的数组处理。那么awk数组有那些特点，一般常见运算又会怎么样呢。我们先看下下面的一些介绍，结合例子我们会讲解下它的不同之处。在 awk 中数组叫做关联数组(associative arrays)，因为下标记可以是数也可以是串

2013-05-27 14:21:46 678

转载 C语言字符串函数大全

原文来自：http://www.byvoid.com/blog/c-string程序开头要声明#include 函数名: stpcpy功能: 拷贝一个字符串到另一个用法: char *stpcpy(char *destin, char *source);程序例:#include #include int main(void){ char str

2013-04-24 16:02:53 709

转载如何使用gcc编译器?

原文来自 :http://linux.chinaunix.net/doc/2004-10-05/22.shtml目录:GCC rules开始...预编译编译汇编连接另外两个重要选项调试小结站点链接摘要:要想读懂本文，你需要对C语言有基本的了解，本文将介绍如何使用gcc编译器。首先，我们介绍如何在命令行方式下使用编译器编译简单的C源代码。然后，我

2013-02-19 10:41:59 548

原创 c语言多进程递增输出一个变量

#include #include #include #include #include #include #include typedef struct{ int i; int lock;}Flag;void error_and_die(const char *msg) { perror(msg); exit(EXIT_FAIL

2013-01-21 11:03:43 1044

转载 C语言typedef的四个用途和两个陷阱

原文来自：http://www.duote.com/tech/5/14700.html教程贴士：定义一种类型的别名，而不只是简单的宏替换。可以用作同时声明指针型的多个对象　　用途一：　　定义一种类型的别名，而不只是简单的宏替换。可以用作同时声明指针型的多个对象。比如：　　char* pa, pb; // 这多数不符合我们的意图，它只声明了一个

2012-11-16 14:37:43 548

转载 C语言中函数指针的详细介绍

原文来自：http://soft.chinabyte.com/database/398/12283898.shtml函数在内存中有一个物理位置，而这个位置是可以赋给一个指针的。一零点函数的地址就是该函数的入口点。因此，函数指针可被用来调用一个函数。函数的地址是用不带任何括号或参数的函数名来得到的。(这很类似于数组地址的得到方法，即，在只有数组名而无下标是就得到数组地址。)　　怎

2012-11-13 15:52:56 703

原创 c语言函数指针的定义

函数指针变量定义的一般形式为：　　类型说明符 (* 指针变量名 )();　　其中 " 类型说明符 " 表示被指函数的返回值的类型。 "(* 指针变量名 )" 表示 "*" 后面的变量是定义的指针变量。最后的空括号表示指针变量所指的是一个函数。()中也可以加入形参的定义。例子：int (*operator)();int (*operator2

2012-11-13 15:50:46 697

转载 Perl 读写 .gz .tgz 等压缩文件

原文来自：http://qyiyunso.blog.163.com/blog/static/350776862010111511336701/1. 使用PERL直接读取压缩文件 use pipe.gz格式文件1open(FIN,"gzip -dc $infilename|") or die ("can not open $infilen

2012-11-12 15:09:48 9540

转载测试Linux平台Inode使用情况的过程命令

原文来自：http://linux.ccidnet.com/art/3067/20090909/1882213_1.htmlLinux/Unix like OS 的文件系统中每个目录树中的节点并不是像 Windows 那样直接包含文件的具体信息，而只包含了文件名和 Inode number 。通过 Inode number 所找到对应于文件名的 Inode 节点中才真正记录了文件的

2012-11-06 15:53:02 1037

原创 shell中的循环常见写法

1.遍历文件：for f in my_dir/*txt;doecho $fdone2.动态参数，遍历参数（就是参数个数不定）for i in $*;doecho $idone

2012-10-25 10:38:32 457

原创 perl对于utf8编码文件的substr

perl脚本本省使用utf8编码，环境默认编码为utf81.加上use utf8;后，print substr("哈哈",0,1),"\n";就正常输出了2.但是，读入utf8编码的文件在做substr还是有问题，加上 FH,"就好了Wide character in print 的警告信息，加上3.但是，会有binmode(STDIN, ':encoding(utf8)');

2012-09-14 16:54:13 1448

转载 Perl 的线程中的共享

原文来自：http://blogread.cn/it/article.php?id=3754线程是一个好东西，他不象进程占用那么多的内存，因不他不需要主空间，不需要进程控制块。他只共享所有主进程的所有内容。所以今天我们来研究一下线程的特点之一，共享的变量。在线程中变量的基本使用的方法如果你打算使用线程，常常会在多个子线程之间共享一些变量，常用的共享的变量可以是标量，数组，散

2012-09-12 17:17:37 1748

转载 Java多线程编程总结

Java多线程编程总结转自：http://lavasoft.blog.51cto.com/62575/27069下面是Java线程系列博文的一个编目： Java线程：概念与原理Java线程：创建与启动Java线程：线程栈模型与线程的变量Java线程：线程状态的转换 Java线程：线程的同步与锁Java线程：线程的交互

2012-09-07 15:48:52 666

转载在中文Excel 2007中安装使用Solver tool（规划求解）

转自：http://caoanroad4800.blogetery.com/2007/12/17/%E5%9C%A8%E4%B8%AD%E6%96%87excel-2007%E4%B8%AD%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8sover-tool%EF%BC%88%E8%A7%84%E5%88%92%E6%B1%82%E8%A7%A3%EF%BC%89/

2012-07-24 17:06:50 27681 1

原创 hadoop in action 学习疑点

一、在5.3 Creating a Bloom fi lter这一节中，有一个distribute的例子，其中一段代码如下：protected int[] getHashIndexes(E obj) {int[] indexes = new int[numHashFunc];long seed = 0;byte[] digest;try {MessageDigest md

2012-07-03 17:31:57 766

转载 shell中单引号、双引号、反引号、反斜杠的区别

出自：http://hi.chinaunix.net/?306269/viewspace-44406shell 可以识别4种不同类型的引字符号: 单引号字符' 双引号字符" 反斜杠字符\ 反引号字符`1. 单引号 ( '' )# grep Susan phonebookSusan Goldberg 403-212-4921Susan Topple 212-2

2012-06-12 16:48:07 1278

转载 shell转换时间格式

出自：http://www.cxybl.com/html/shell/20111103/7834.html这个命令也很长不知道你的那个时间字符串写得有误没一般不会写成这样（1）：12/dec/2010:10:11:22 最多是写成（2）：12/dec/2010 10:11:22 不过这都没关系，只是多一个sed命令（1）的变换方法 date -d `echo 时间串 | sed

2012-06-01 09:20:56 2505

原创 windows下搭建hadoop开发环境遇到的问题

----1.ssh localhost，遇到connection closed by ::1的问题，解决方法：（来自：http://www.hadoopor.com/thread-1441-1-1.html）在Win7下Cygwin中，使用sshlocalhost命令，出现Connectionclosedby127.0.0.1的问题。解决方案：1、开始——运行——services.msc

2012-04-10 14:07:27 1074

转载 mysql中limit用法

原文来自：http://hi.baidu.com/sppeivan/blog/item/51e1cfe6d367ce23b93820b7.html使用查询语句的时候，经常要返回前几条或者中间某几行数据，这个时候怎么办呢？不用担心，mysql已经为我们提供了这样一个功能。SELECT * FROM table LIMIT [offset,] rows | row

2012-03-31 16:33:36 646

转载 mysqldump参数选项及w参数说明

原文出处：http://hi.baidu.com/yghao123/blog/item/7a6e2b1f763a4806304e15bd.html实用程序，为备份或为把数据转移到另外的SQL服务器上倾倒一个数据库或许多数据库。倾倒将包含创建表或充实表的SQL语句。 shell> mysqldump [OPTIONS] database [tables]如果你不给定任何表，

2012-03-30 15:55:33 4055

原创 mysql 导出数据

使用mysqldump导出整个个数据库：mysql -h host -u user -ppasswd 数据库名导出一张多多张表 :mysql -h host -u user -ppasswd 数据库名表名1 表名2....按条件导出一张表:mysql -h host -u user -ppasswd 数据库名表名1 -w where后面的条件

2012-03-30 15:54:13 522

原创 perl File::Tail模块的使用

最近在做一个实时数据的工作，需要读取不断更新的文件，类似shell中tail的功能，使用了perl的File::Tail模块,简要代码如下use File::Tail;my $file=File::Tail->new(name=>&new_file($first_file_date),interval=>1,maxinterval=>10,tail=>-1,reset_tail=>-1

2012-03-16 15:53:59 3316

转载 Linux下如何查看CPU信息, 包括位数和多核信息

Linux下如何查看CPU信息, 包括位数和多核信息 # uname -aLinux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux(查看当前操作系统内核信息)# cat /etc/issue |

2012-03-15 15:00:07 745

转载复制虚拟机不能上网的问题解决

原文：http://bbs.chinaunix.net/thread-1918368-1-1.html概要：复制虚拟机时会同时复制MAC需要修改/etc/udev/rules.d/70-persistent-net.rules 的配置

2012-03-14 17:56:26 1285

转载 LinuxShell算术运算

原文转自：http://www.cppblog.com/fwxjj/archive/2009/09/04/95342.htmlBash shell 的算术运算有四种方式:1：使用 expr 外部程式加法 r=`expr 4 + 5`echo $r注意! '4' '+' '5' 这三者之间要有空白r=`expr 4 * 5` #错误乘法 r=`expr 4 \* 5`

2012-03-05 16:26:37 447

转载 shell命令trap用法

原文出处：http://hi.baidu.com/hnfhnq/blog/item/55b5abdc58fb9da7cc1166ee.html 一. trap捕捉到信号之后，可以有三种反应方式：　　(1)执行一段程序来处理这一信号　　(2)接受信号的默认操作　　(3)忽视这一信号　　二. trap对上面三种方式提供了三种基本形式：　　第一种形式的tr

2012-03-01 16:44:22 1725

转载 Java String中的hashCode函数以BKDR Hash Function实现

String 类中的hash函数如下： public int hashCode() { int h = hash; if (h == 0) { int off = offset; char val[] = value; int len = count; for (int i = 0; i

2012-02-15 10:21:57 4135

转载各种字符串Hash函数比较

文章转摘自http://www.cmykrgb123.cn/blog/string-hash-compare/常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。常用字符串哈希函数有BKDRHash，APHash，DJB

2012-02-14 21:53:21 752

原创 Linux面试题自己写的答案不断更新

1.统计文件a.txt中“每个单词”的重复出现次数？若该文件大到几个G又该如何处理？tr "[:punct:]| " "\n" 对于打文件可以先用split分割文件，在把处理结果合并

2012-02-03 15:05:07 942

转载硬链接与软连接的区别_(转)

首先我们需要了解linux下硬链接以及软连接的基本概念.硬链接：新建的文件是已经存在的文件的一个别名，当原文件删除时，新建的文件仍然可以使用.软链接：也称为符号链接，新建的文件以“路径”的形式来表示另一个文件，和Windows的快捷方式十分相似，新建的软链接可以指向不存在的文件.下面详细介绍一下硬链接和软连接之间的区别.1.硬链接和原来的文件没有什么区别，而且共享一

2012-02-03 11:32:54 35834 3

原创据说是百度的面试题之一,自己写的答案

1、写脚本实现，可以用shell、perl等。在目录/tmp下找到100个以abc开头的文件，然后把这些文件的第一行保存到文件new中。A:head -q -n 1 `find . -maxdepth 1 -type f -name "f*"|head -n 2 ` >new head -q 是指在head多个文件时不显示文件名2、写脚本实现，可以用shell、perl等。把文

2012-01-14 16:56:12 1199

原创 vmware虚拟机无线联网，宿主机：win7，虚拟机：centos6.2

网络环境：家庭路由器连接方式：桥接，bridge1.将虚拟机的IP，dns等设置为和宿主机一样我这边的环境是宿主机的ip为静态ip，dns设置为ISP提供，具体请参照宿主机的相关设置虚拟机ip设置：---1）修改/etc/sysconfig/network-scripts/ifcfg-eth0：相关设置如下DEVICE="eth0" BOOTPROTO="sta

2012-01-07 11:50:32 2329

原创 vmware 安装CentOS出现的错误解决

提示找不到镜像文件，在右下角出光盘形状的图标中，Conneted的选项勾选即可

2012-01-05 11:24:20 828

转载 yum和apt-get用法及区别

yum和apt-get用法及区别一般来说著名的linux系统基本上分两大类： 1.RedHat系列：Redhat、Centos、Fedora等 2.Debian系列：Debian、Ubuntu等 RedHat 系列 1 常见的安装包格式 rpm包,安装rpm包的命令是“rpm -参数” 2 包管理工具 yum 3 支持tar包

2011-11-23 09:22:29 403