木木水夕-CSDN博客

原创 eBay招聘

广告：世界级电商公司eBay最近在招各个级别的开发人员，产品经理，方向有支付，risk，infra等，有需要的朋友请联系电话17521291329，微信：mumuzhixiduan，我可以帮忙内推。...

2018-11-29 21:47:30 510

原创 Spark学习之（三）小例子

Spark学习之（三）小例子 2017年10月8日 14:11 使用map filter scala> sc.parallelize(List(1,2,3,4,5,6)).map(_ * 2).filter(_>5).collectres1: Array[Int] = Array(6, 8, 10, 12) Wordcount

2017-11-05 21:13:21 327

原创 Spark学习之（二）Spark 集群环境搭建(standalone)

Spark 集群环境搭建(standalone)2017年11月5日, 星期日 19:11接上文hdfs集群搭建，我分别在四个node（一个master.hadoop 三个slave node）上搭建spark集群，这个集群是standalone模式。 spark集群安装也需要配置无密码登录，因为我之前安装hadoop时已经安装过了，所以这次就不用在重新配置了。安装

2017-11-05 20:55:00 430

原创 Spark学习之（一） HDFS 集群环境搭建

HDFS 集群环境搭建 2017年11月4日, 星期六 23:21 背景：项目中使用spark进行数据分析，数据保存在HDFS中，因此搭建了HDFS和Spark环境，现在记录环境搭建过程。环境：公司环境中是使用的真实的机器，我在家里面也搭建了一套相似的环境，不过这套环境是用VMWare虚拟机（VMware-workstation-full-12.

2017-11-05 20:51:17 2481

原创 ubuntu vi 方向键等乱码

ubuntu vi 乱码

2014-09-05 11:39:53 777

转载 Java内存分配全面浅析

本文将由浅入深详细介绍Java内存分配的原理，以帮助新手更轻松的学习Java。这类文章网上有很多，但大多比较零碎。本文从认知过程角度出发，将带给读者一个系统的介绍。进入正题前首先要知道的是Java程序运行在JVM(Java Virtual Machine，Java虚拟机)上，可以把JVM理解成Java程序和操作系统之间的桥梁，JVM实现了Java的平台无关性，由此可见JVM的重要性。所以

2014-05-13 14:09:28 549

转载 zookeeper 使用场景介绍

本博客转自：http://jm-blog.aliapp.com/?p=1232ZooKeeper典型应用场景一览分享按钮查看PDF版本ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介

2014-03-13 14:35:01 2430

原创 linux 命令

最近做项目，需要写脚本，根据某一个process id kill 掉该进程以及其下的所有子进程。代码如下：pstree pid -p| awk -F"[()]" '{print $2}'| xargs kill -9

2013-11-29 17:09:49 602

原创 hadoop mapreduce执行流程

我们以wordcount为例，假设有个6400M的文件，100台hadoop机器（准确地说应该是tasktracker机），默认block大小为64M，这样每台执行map的文件刚好是一个64M的block文件（假设这个分发过程已经完成，同时忽略备份数之类的细节），并且我们使用10个reduce任务来归并文件。Hadoop的mapreducer的执行过程如下：这100台机器上面的map都是并发、

2013-09-02 11:28:25 583

转载 eclipse配置文件eclipse.ini参数解释

eclipse.ini中的参数：-vmargs：说明后面是VM的参数-Xms40m：虚拟机占用系统的最小内存-Xmx256m：虚拟机占用系统的最大内存-XX:PermSize：最小堆大小。(一般报内存不足时,都是说这个太小, 堆空间剩余小于5%就会警告,建议把这个稍微设

2011-12-05 09:28:16 8022

原创 mysql 数据库备份还原

根据项目需要，要对数据库进行定时备份，以及还原，服务器是windows系统采用windows自带的计划任务定时启动一个批处理文件。备份批处理：备份前需要做以下修改：2.2.1 确认要保存数据库备份文件的文件夹存在，如下图，且目录要以/结尾2.2.2 如下图中配置数据库名字DB_NAME，备份文件保存后缀名字BAKUP_FILE_NAME，数据库连接主机，用户名，密码 @

2011-11-23 17:21:00 635

转载 java 线程Thread.Sleep详解

我们可能经常会用到 Thread.Sleep 函数来使线程挂起一段时间。那么你有没有正确的理解这个函数的用法呢？思考下面这两个问题： 1、假设现在是 2008-4-7 12:00:00.000，如果我调用一下 Thread.Sleep(1000) ，在 2008-4-7 12:00:01.000 的时候，这个线程会不会被唤醒？2、某人的代码中用了一句看似莫明其妙的话：Thread.S

2011-09-21 09:54:28 650