自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据开发

水很深学游泳

  • 博客(5)
  • 资源 (1)
  • 收藏
  • 关注

原创 脚本调试_sh -x 、set -x

sh -x 脚本名.sh 对整个脚本进行跟踪[root@master shellexer]# cat bash.sh #!/bin/bashvar=$1echo $var[root@master shellexer]# sh -x bash.sh hello+ var=hello+ echo hellohello         #脚本输出结果 #带+的表示被跟踪的代码

2017-04-23 18:40:49 5214 1

转载 stdin,stderr,stdout

这三个概念对于linux的初学者来说可谓是不太好理解,但是这个概念有特别常见,下面就来讲讲他们的意思。标准输入 是程序可以读取其输入的位置。缺省情况下,进程从键盘读取 stdin 。标准输出 是程序写入其输出的位置。缺省情况下,进程将 stdout 写到终端屏幕上。标准错误 是程序写入其错误消息的位置。缺省情况下,进程将 stderr 写到终端屏幕上

2017-02-17 14:50:20 444

转载 HDFS中SecondaryNameNode合并fsimage和edit log操作

本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。 //-------------------------------------------------------------------------------------------------------------------------------------Namenode 是 H

2016-12-15 23:16:08 2513 1

原创 Hadoop的benchmark测试IO性能测试TestDFSIO测试时java.io.FileNotFoundException: TestDFSIO_results.log (Permission

这个工具在cloudera下运行会出错, 其实map和reduce分别都完成了,但就是在最后一步会报错:java.io.FileNotFoundException: TestDFSIO_results.log (Permission denied)原因是运行程序一般使用hdfs身份运行,但是这时写result文件没有权限。虽然TestDFSIOresults.log文件是保存在本地

2016-12-09 19:44:07 4201 1

转载 Apache Tez:一个运行在YARN之上支持DAG作业的计算框架

参考http://dongxicheng.org/mapreduce-nextgen/apache-tez/

2016-12-07 09:47:08 650

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除