第九滴眼泪-CSDN博客

转载 Linux系统监控工具之vmstat详解

vmstat是一个十分有用的Linux系统监控工具，使用vmstat命令可以得到关于进程、内存、内存分页、堵塞IO、traps及CPU活动的信息。一、前言很显然从名字中我们就可以知道vmstat是一个查看虚拟内存（Virtual Memory）使用状况的工具，但是怎样通过vmstat来发现系统中的瓶颈呢？在回答这个问题前，还是让我们回顾一下Linux中关于虚拟内存相关内容。

2013-08-15 16:53:52 878 1

转载 Http协议头部信息

Accept：告诉WEB服务器自己接受什么介质类型，*/* 表示任何类型，type/* 表示该类型下的所有子类型，type/sub-type。 Accept-Charset：浏览器申明自己接收的字符集Accept-Encoding：浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法（gzip，deflate）Accept-Language

2013-08-13 18:50:30 1047

原创 MapReduce例子1--wordcount

1.MapReduce编程模型MapReduce采用的是“分而治之”的思想，把对大数据集合的操作，分发给一个主节点管理下的各个分节点共同完成，通过整合各个分节点的中间结果，得到最终结果。简单的来说MapReduce就是”任务的分解和结果的合并“。在hadoop中，用于执行MapReduce的机器角色有两种，一是JobTraker，主要负责任务的调度，二是TaskTraker，主要负责执行任

2013-05-12 14:13:47 1558

原创来北京的第64天

时间过的飞快，一眨眼的功夫两个月过去了。在这城市里慢慢的稳定了下来，躁动的心慢慢的静了下了。生活上没有多少变化，每天上班，下班，睡觉。更多是心态上的变化，很微妙。偶尔去同学那边玩会，渐渐的找到了刚来的那种感觉，找到自己的方向。为了来到这个城市扎根欠下一屁股债，估计年前能够还完，其实在北京实习2k，不算高，不过公司还不错，基本上没有加班，安排的工作也比较轻松，

2012-11-03 17:26:37 1032 2

原创 Java程序员应该知道的10个Eclipse调试技巧

调试可以帮助识别和解决应用程序缺陷，在本文中，作者将使用大家常用的的开发工具Eclipse来调试Java应用程序。但这里介绍的调试方法基本都是通用的，也适用于NetBeans IDE，我们会把重点放在运行时上面。　　在开始之前，推荐大家去看看Eclipse shortcuts这篇文章，它将会给你带来很多方便。在本文中使用的是Eclipse Juno版(Eclipse 4.2)，在开始前给大

2012-10-30 12:53:55 1350

原创百度2013年校园招聘笔试题——WEB前端研发类

1. 请写出至少三个CSS3中新添加的样式属性的名字；2.请运用javaScript找出所有ClassName包含text的标签，并将它们的背景颜色设置为黄色；3.用HTML/CSS实现下面的图片内容：4.浏览器的缓存和本地存储相关内容有哪些？这些在什么环境下都各自能起到什么作用？5.我们把一个数字倒着读和原数字相同的数字称之为对称数，（例如1,121,

2012-10-13 17:15:38 2894

原创 Strust2文件下载

每回碰到上传下载的功能时都需要花费相对多的功夫来重新组织，今天索性就总结一个自己常用的方法。1.JSP页面怎么写2.Action怎么写 private String fileName; private String dataName; public String getFileName() { //设置客户端默认字符集编码 ServletActionC

2012-10-08 20:28:57 1773

原创通过Mysql语句得到mysql安装路径

通过Mysql语句得到mysql安装路径：select @@basedir as basePath from dual

2012-09-27 17:15:59 1175

原创 90后来北京的第21天

9月1号来的吧，然后就找房子，找工作，还有一年毕业。刚来的时候自己雄心壮志的，觉得自己能好好的作为一番，可是现实总是那么的打击人，虽然在学校做过很多项目，但是数据结构和一些基础的东西都还给了老师，好几个面试官说我基础太差了，这个时候我就开始反思，到底那个地方没有准备好呢？自己的方向如何去定呢？现在的自己在一家公司的里实习，但是做的是J2EE的工作，而自己不太喜欢，虽然曾经喜欢，

2012-09-22 17:58:03 2849 6

原创心痛2012--成长

一个人在家把声音开到最大..........直到我的世界里除了这首曲子什么也不剩下...听不到尘世的喧嚣...没人读懂的第九天堂...一个人写下所有的寂寞.... 突然想起了妈妈.....想起了那双充满期待的眼神....我感到羞愧....想哭...又强忍着让泪水....依

2012-09-18 23:56:00 917 2

原创用 Ganglia 监控hadoop集群

随着数据中心的增长和管理人员的缩减，对计算资源使用有效监视工具的需求变得比以往更加迫切。术语监视在应用到数据中心时可能会让人混淆，因为它的含义会根据具体的说话者和听众而有所不同。例如：在集群中运行应用程序的人员会思考：“我的作业什么时候运行？它什么时候会完成？以及与上一次相比，它是怎样执行的？”网络运营中心（NOC）的操作员会思考：“什么时候会出现表示需要解决问题的红灯并安排服务

2012-08-12 17:03:10 13506 8

原创 hadoop启动错误总结

1.hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied把所有Datanode节点执行下面命令[hadoop@hadoop3 local]$ chown -R hadoop:hadoop hadoop-0.20.2/2.2012-08-05 1

2012-08-05 15:12:16 11000 4

原创 Linux下SSH免密码登录

搭建hadoop集群的时候一定会用到的就是SSH免密码登录[hadoop@hadoop1 ~]$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty

2012-08-04 17:48:10 6878

转载奇虎360老员工揭秘公司内幕：上传用户数据

今天一份从奇虎360离职的老员工揭秘爆料，让外界倒吸一口冷气。原来外界的传言一直是半真半假。真的是奇虎360无底线程度确实超出了人类的想象，假的是世人对奇虎360的揣测还远远没有达到奇虎360的真正底线。以下是老员工的爆料：奇虎360的“后门”在2010年才被瑞星捅出来，大批工程师验证后确实存在“后门”窃密嫌疑。但是外界不知道的是，奇虎360窃密从来不需要后门。绝大部分360的用户都没

2012-08-04 15:37:09 4484

原创如何搭建hadoop集群

今天决定重新搭建hadoop集群，如果是新手看这篇文章一定不要觉得很难，你只需要耐心和细心就ok了准备工作1.判断机器上是否有ssh服务，[jinyang@OnlyKing Desktop]$ ssh -verisonOpenSSH_5.3p1, OpenSSL 1.0.0-fips 29 Mar 2010Bad escape character 'rison'.

2012-08-02 20:08:44 1169

转载一个男人关心的东西决定了他的层次

一、拥有自信和风度男人到了二十几岁后，就要开始学着用心去经营自己了，它体现在自己的思想与涵养上。自信是一个男人最重要的品质，自信的男人就你像一只在暴风雨中战斗的海鸥。海鸥所要说的只有一句话“让暴风雨来的再猛烈些吧”，只因为它无所畏惧。一个自信的男人，总是能够感染别人，无论这些人是朋友还是敌人。要使别人对你有信心，就必须要先对自己充满信心。自信的男人可以战胜一切困难。一个有风度的男人就像一片

2012-08-01 16:16:59 1624

原创 hadoop源码研读之路（八）----DataNode本地数据块管理

刚接触Hadoop的时候，老师问我咱们上传的数据存放到那里了，我说我不知道，当时很囧。呵呵。在hdfs-site.xml中dfs.data.dir/home/hadoop/data这行数据就代表了数据块存放地址，现在才明白过来。在Linux上有四个目录1.current存放的是当前有效的数据块，2.detach存的是快照3.tmp保存的hi一些操作需要的临时

2012-07-27 16:31:26 1270

原创 hadoop源码研读之路（七）----HDFS的数据管理

HDFS主要通过NameNode、DataNode和Client端来管理数据NameNode主要负责管理文件系统的命名空间、集群的配置、和存储块的复制。NameNode会将系统的元数据存储在内存中。元数据主要包括下面几个信息：1.namespace用来描述整个文件系统的体系结构（文件树）2.access control information 用来检测访问和控制权限3.ma

2012-07-27 11:18:44 1251

原创 hadoop源码研读之路（六）----RPC的Client端和Server端

既然是RPC，就一定有Client端和Server端，如果进行一次HDFS的读写，其中一个DataNode需要跟NameNode建立连接，也需要和其他的DataNode建立连接，那么每一个Client需要维护多个连接。同时为了减少不必要的连接，Client的做法是拿Connectionid来作为Connection的ID。RPC Client的结构Client.Connecti

2012-07-19 21:26:37 1708

原创 hadoop源码研读之路（五）----Java动态代理

熟悉设计模式的人对于代理模式可能都不陌生。代理对象和被代理对象一般实现相同的接口，调用者与代理对象进行交互。代理的存在对于调用者来说是透明的，调用者看到的只是接口。代理对象则可以封装一些内部的处理逻辑，如访问控制、远程通信、日志、缓存等。比如一个对象访问代理就可以在普通的访问机制之上添加缓存的支持。这种模式在RMI和EJB中都得到了广泛的使用。传统的代理模式的实现，需要在源代码中添加一些附加的类。

2012-07-16 16:31:27 1750

原创 hadoop源码研读之路（四）----IPC.RPC

写这篇文章的时候比较吃力，因为我也不知道什么是IPC，基础知识太薄弱了。进程间通信（IPC，Inter-Process Communication），指至少两个进程或线程间传送数据或信号的一些技术或方法。进程是计算机系统分配资源的最小单位。每个进程都有自己的一部分独立的系统资源，彼此是隔离的。为了能使不同的进程互相访问资源并进行协调工作，才有了进程间通信。这些进程可以运行在同一计算机上或网络连

2012-05-30 11:40:31 2020

原创 hadoop源码研读之路（三）----序列化

简单来说，序列化就是将对象（实例）转换为字符流（字符数组）的过程，转换后的字符流可用于网络传输或写入磁盘；相对的，反序列化就是将字符流转换成对象的过程。Hadoop有自己的序列化实现，并已提取为Avro子项目。序列化要求具有字符流紧凑，处理快速，可扩展，多语言支持特性。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。Hadoop中定义了两个序列化相关的接口：Writable

2012-05-22 21:26:48 4064 1

原创 hadoop源码研读之路（二）----配置类

Configuration是org.apache.hadoop.conf包中的主类Configuration类中包含了10个属性private static final Log LOG = LogFactory.getLog(Configuration.class);LOG是记录日志的对象private boolean quietmode = ture;quietmod

2012-05-15 21:43:17 1561 1

原创 Hadoop源代码研读之路（1）

首先，阅读过此文的朋友，希望你们能留下宝贵的意见。此背景以hadoop-0.20.2为基础解压完之后如下：/bin:包含一些集群的命令/C++:应该是在hadoop上用C++开发的接口/conf:hadoop的配置文件/contrib:一些插件/docs:说明文档/ivy:不知道什么意思/lib:一些架包/librecordio:也不知道什么意思/src

2012-05-14 11:49:04 1909

原创 hadoop启动和关闭脚本分析

1.启动hadoopstart-all.sh 包含两个部分"$bin"/start-dfs.sh (start dfs daemons)"$bin"/start-mapred.sh (start mapred daemons)2.查看start-dfs.sh."$bin"/hadoop-config.sh"$bin/hadoop-daemon.sh --config $

2012-04-19 18:32:32 1940

原创 Linux下安装Mysql

Linux for Mysql 下载地址：http://www.mysql.com/downloads/mysql-4.0.html#downloads我的环境：redhat 企业版6.1首先查看Linux系统中是否有自带Mysql#rpm -qa | grep -i mysql我的显示如下mysql-5.1.52-1.el6_0.1.i686mysql-devel-5.1

2012-04-19 00:48:51 887

转载通过java读取HDFS的数据

通过JAVA直接读取HDFS中的时候，一定会用到FSDataInputStream类，通过FSDataInputStream以流的形式从HDFS读数据代码如下：import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.

2012-04-11 22:04:58 18341 1

转载 Android屏幕密度（Density）和分辨率的关系

最近正在做Android的UI设计，故搜集了一些Android上进行UI设计的一些资料，现和各位分享下。首先说说density，density值表示每英寸有多少个显示点，与分辨率是两个不同的概念。Android主要有以下几种屏：QVGA和WQVGA屏density=120；HVGA屏density=160；WVGA屏density=240；下面以48

2012-04-06 18:04:46 633

原创 Android开发如何去除标题栏title

去除标题栏title其实非常简单，他有两种方法，一种是在代码中添加，另一种是在AndroidManifest.xml中添加：1、在代码中实现：在此方法setContentView（R.layout.main）之前加入：requestWindowFeature(Window.FEATURE_NO_TITLE);标题栏就没有了。2、在AndroidManifest.xml中实现

2012-04-06 11:21:25 485

转载 Linux如何关闭防火墙和查看防火墙的具体情况

1.Linux下关闭和开启防火墙1) 重启后生效开启： chkconfig iptables on关闭： chkconfig iptables off2) 即时生效，重启后失效开启： service iptables start关闭： service iptables stop需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关

2012-04-05 21:00:04 3075

原创 Hadoop上传文件时候的错误

[root@hadoop1 桌面]# hadoop fs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误12/04/05 20:32:45 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.I

2012-04-05 20:57:17 7609 5

原创 Eclipse下链接DFS出错

Eclipse开发hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=READ_EXECUTE, inode="system":hadoop:supergroup:rwx-wx-wx错误，解决方法：在hdfs-site.xml 中取消权限校验，即加

2012-04-05 11:02:29 2064

原创 2012/3/27

昨天做演讲相对来说准备的还是比较充分的，虽然最后留的时间不是很多但是我觉得自己讲的还是有思路的，昨天李老师给我说，4月10号要交项目，压力好大，真的，最近我觉得进度太慢了，很多东西都没有做，今天的任务是：《hadoop权威指南》第一章到第四章看完，《Android讲义》第二章到第六章看完，加油，加油！！

2012-03-27 10:07:08 760

原创 2012/03/26

周五的时候我妹妹来我们学校参加证券考试，所以呢，这几天都是在陪她，也没有怎么去学习，自己玩了两天Dota，一转眼竟然快到4月份了，要抓紧时间了，不然项目就真的完不成了，晚上开年级会，辅导员让我上去讲些经验，心里好没有底气啊，今天的任务是：写演讲的PPT，和重新搭建一下Hadoop环境因为自己把另一台机器给重装系统了，加油，努力！！！

2012-03-26 08:47:47 534

原创 2012/3/23

昨天跟媳妇去新区了，顺便去图书馆借了几本书，回来的就一直看书了，看来不能一个劲的学，还要补充课外的一些知识，昨天从书本上获得了很多的知识，看来要多读书，读好书hadoop的环境还是没有搭建好，老是出问题，今天下午还要开会，所以今天的任务是把这周的没有完成的任务给完成了，把上周制定的周计划在看看，还有什么没有完成的，加油，今天金美学长给我发来学习Hadoop的资料，我很高兴。

2012-03-23 10:42:51 578

转载解决linux下javac -version和java -version版本显示不一致

redhat 企业版 6.1上安装上JDK结果java -version的版本和javac -version的版本不一致，原来系统中以前安装的有jdk1.6解决办法[javascript] view plaincopy[root@localhost usr]# $JAVA_HOME/bin/java -version bash: /bin/java: 没有那个文件或目录

2012-03-21 20:33:30 6719 1

转载 Linux安装和卸载JDK

下载JDK（下面给出一个下载地址）：http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586-rpm.bin看有的资料上说有些Linux自带的有jdk1.4；如果自带的有jdk1.4的话首先要把jdk1.4卸载掉。具体做法：输入命令：#rpm -qa | grep gcj

2012-03-21 15:36:01 16944

原创 2012/3/21

今天早上去Android课，困死了，今后晚上争取能在12点之前睡觉。今天的任务是继续搭建hadoop环境，完成Android作业编写项目开发方案加油，

2012-03-21 10:13:15 500

转载如何修改Linux主机名

执行命令 hostname，修改当前系统的主机名 # hostname newhost修改 /etc/sysconfig/network，使得下次启动时使用新的主机名 hostname=newhost修改 /etc/hosts。

2012-03-20 21:34:34 465

ACM试题锦集

Java版文件系统

可编程计算器(PHP)

Eclipse+Tomcat+环境配置

语义网论文架构.doc

空空如也