zs918-CSDN博客

原创 hadoop学习009

1，hadoop直接编译.java文件建立工作目录，并新建.java文件放入其中建立classes目录，用于放置生成的.class文件：编译成.classes文件首先更新CLASSPATH，将需要调用jar包填入打开用户环境变量文件：sudo gedit ~/.bashrc填入如下内容：export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAV

2015-12-10 17:15:11 306 1

原创 hadoop学习008

ps：最近有一些学习之外的事情，在实验室大部分时间都在整理可用的电脑，用来搭建一个完全分布式的hadoop。1，hadoop完全集群搭建从实验室若干台淘汰机器中找出7台可用的闲置台式机，安装视频切换器，连接网线，安装ubuntu系统建立统一用户名，设置密码，重启选择新建统一用户名登陆sudo useradd -m -G sudo zspasswd zs修改主机名，位于/e

2015-12-06 14:11:59 334

原创 hadoop学习007

1，在ubuntu上搭建了hadoop伪分布式系统jdk安装jdk下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html解压文件，修改文件名$ sudo mkdir /usr/lib/jvm$ sudo tar zxvf jdk-7u80-linux-x6

2015-12-01 15:20:56 368

原创 hadoop学习006

1，《Hadoop in Action》笔记Hadoop集群需要专门指定一个服务器作为主节点，该服务器通常会驻留NameNode和JobTracker进程该服务器负责联络并激活所有从节点上的DataNode和TaskTracker守护进程，因此需要能够远程访问到集群中的每个节点Hadoop使用了无口令（passphraseless）SSH协议实现远程访问SSH采用标准的公钥加密来生成一堆用

2015-11-30 22:09:03 278

原创 hadoop学习005

1，《Hadoop in Action》笔记2，物理&科幻黑洞：密度极大但体积极小的天体黑洞引力极大，使得包括光在内的已知物质都无法脱离黑洞由质量足够大的恒星在核聚变反应的燃料耗尽而死亡后，发生引力坍塌而产生科学家猜测穿过黑洞可能会到达另一个空间，甚至是时空三体：刘慈欣科幻小说费米悖论：1950年一天，诺贝尔奖获得者、物理学家费米和别人讨论飞碟和外星人问题时，突

2015-11-29 17:24:28 286

原创 hadoop学习004

1，《Hadoop in Action》笔记实现了PutMerge，即合并本地文件后放入HDFS。程序中大多数类库采用Hadoop中定义好的import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;impor

2015-11-28 19:19:52 383

原创 hadoop学习003

1，《Hadoop in Action》笔记Hadoop在分布式计算和分布式存储中都采用主/从（master/slave）结构，其中存储部分称为HDFSHadoop运行后会在主从服务器上运行一些驻守进程（daemons）：NameNode：位于HDFS主端，跟踪文件的如何被分割成文件块以及在存储在哪个节点上，NameNode节点不允许单点失效DataNode：位于HDFS从端，

2015-11-24 14:46:56 309

原创 hadoop学习002

ps：昨天看了《我的少女时代》，洗了几件衣服，听了2集《逻辑思维》。1，论文讨论同学投的一篇CHI会议论文review意见出来了，得的分数不错，很为之高兴，功夫不负有心人与之讨论了很久rebuttal2，《Hadoop in Action》笔记看了第一章，主要是大数据与hadoop的相关背景3，coursera《大数据导论》第一课也是大数据的背景

2015-11-23 22:11:20 303

原创 hadoop学习001

1，mac安装eclipse官网下载eclipse安装包：http://www.eclipse.org/downloads/packages/eclipse-ide-java-developers/mars1在mac上直接安装eclipse出现jvm版本低问题，升级jvm：http://www.oracle.com/technetwork/java/javase/downloads/j

2015-11-21 12:14:45 406

原创毕业找工作

实习公司：网易游戏（2个月）校招offer：网易游戏，腾讯游戏，今日头条最后选择：今日头条选择原因：1，直觉上认为大数据是未来趋势，发展空间较大，技术性也较强；游戏开发更看重所在组游戏的成功与否，运气成分较大，技术积累潜力有限2，今日头条已完成C轮融资，度过创业危险期，目前正在快速发展，里面会有很多锻炼和学习机会；大公司螺丝钉化比较严重，发展受限3，北京互联网氛围更好，适合

2015-11-17 18:43:11 379

zs918的博客