- 博客(891)
- 收藏
- 关注
RSS订阅原创 sqoop2 调研
sqoop2 调研 日期 版本 说明 修改人员 确认人员 2015-12-16 2.0 第二版 bean beansqoop简介sqoop 即 SQL to Hadoop ，是一款方便的在传统关系数据库与 Hadoop 之间进行数据迁移的工具，充分利用 MapReduce 并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，sqoop1和sqoop
2016-02-25 14:16:35
2032
转载 SparkContext的parallelize的参数
在一个Spark程序的开始部分，有好多是用sparkContext的parallelize制作RDD的，是ParallelCollectionRDD，创建一个并行集合。例如sc.parallelize(0 until numMappers, numMappers)创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份。在集群模式中，
2016-02-02 13:32:01
6958
转载 base64 shell编码解码
编码echo ss | perl -e 'use MIME::Base64; $_ = encode_base64(解码echo ss | perl -e 'use MIME::Base64; $_ = decode_base64(<>); print;'
2016-01-29 09:47:17
2542
转载 POP3、SMTP和IMAP之间的区别和联系
POP3POP3是Post Office Protocol 3的简称，即邮局协议的第3个版本,它规定怎样将个人计算机连接到Internet的邮件服务器和下载电子邮件的电子协议。它是因特网电子邮件的第一个离线协议标准,POP3允许用户从服务器上把邮件存储到本地主机（即自己的计算机）上,同时删除保存在邮件服务器上的邮件，而POP3服务器则是遵循POP3协议的接收邮件服务器，用来接收电子邮件的。
2016-01-27 10:12:55
1098
原创 parallels deskop for mac
pd添加现有虚拟机就行如何添加现有的虚拟机到Parallels Desktop中链接：http://www.parallelsdesktop.cn/tianjia-xuniji.htmlpd没激活成功看这个◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆如果您之前安装过Parallels试用版或之前版本，没卸载干净导致仍然出现试用到期的提示。操作一次
2016-01-25 23:36:31
915
转载 查看LINUX进程内存占用情况
可以直接使用top命令后，查看%MEM的内容。可以选择按进程查看或者按用户查看，如想查看oracle用户的进程内存使用情况的话可以使用如下的命令： (1)top top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器 可以直接使用top命令后，查看%MEM的内容。可以选择按进程查看或者按用户查看，如想查看oracle用
2016-01-25 11:05:19
531
转载 Linux系统下如何查看物理内存占用率
Linux下看内存和CPU使用率一般都用top命令，但是实际在用的时候，用top查看出来的内存占用率都非常高，如：Mem: 4086496k total, 4034428k used, 52068k free, 112620k buffersSwap: 4192956k total, 799952k used, 3393004k free, 1831700k cached
2016-01-25 10:47:08
1130
转载 mac 查看图片的方式
1. [command] + [4] Cover Flow方式 2. [command] + [A] 全选，按 [Option] + [空格] (全屏方式） 预览或全屏预览的时候 [command] + [回车]（索引选图） 我自己多数是：直接[空格]，方向键换图， 或 全屏幻灯片方式：cmd+A => Opt+空格 => cmd+回车 => 回车 补充： [Option] + [空格] 全屏方
2016-01-24 16:58:38
1813
转载 sqoop使用经验总结及问题汇总
问题导读1.导入数据到HDFS，需要注意什么？2.在测试sqoop语句的时候，如何限制记录数量?3.sqoop导入时什么情况下会多导入一条数据?一、sqoop 导入数据到HDFS注意事项分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--field
2016-01-15 15:25:29
20348
1
原创 shell export 作用
shell 与 export命令用户登录到Linux系统后，系统将启动一个用户shell。在这个shell中，可以使用shell命令或声明变量，也可以创建并运行shell脚本程序。运行shell脚本程序时，系统将创建一个子shell。此时，系统中将有两个shell，一个是登录时系统启动的shell，另一个是系统为运行脚本程序创建的shell。当一个脚本程序运行完毕，脚本
2016-01-08 17:37:00
817
转载 maven -Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME
from : http://www.itnose.net/detail/6377974.html遇到错误：-Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME解决办法：在环境变量中设置M2_HOME。设置之后仍然报错，maven与你的IDE不兼容，建议换低版本的ma
2016-01-05 14:41:02
495
转载 shell脚本----if（数字条件，字符串条件，字符串为空）
二元比较操作符,比较变量或者比较数字.注意数字与字符串的区别.1.整数比较 [cpp] view plaincopyprint?-eq 等于,如:if [ "$a" -eq "$b" ] -ne 不等于,如:if [ "$a" -ne "$b" ] -gt 大于,如:if [ "$a" -gt "$b" ]
2015-12-23 14:45:14
666
1
转载 Hive内置数据类型
Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。下面的表格列出这些基础类型所占的字节以及从什么版本开始支持这些类型。数据类型
2015-12-18 13:30:40
484
转载 VIM查看文件编码 文件编码格式转换 文件名编码转换
如果你需要在Linux中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。下面介绍一下，在Linux中如何查看文件的编码及如何进行对文件进行编码转换。查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim中可以直接查看文件编码:set fileenco
2015-12-18 13:27:39
553
转载 Fix the "Do you want the application 'IntelliJ IDEA 14.app'
Fix the "Do you want the application 'IntelliJ IDEA 14 CE.app' to accept incoming network connections" promptI've started to get this prompt come up every time I opened IntelliJ: Do you wa
2015-12-08 13:37:23
1719
原创 linux shell中 if else以及大于、小于、等于逻辑表达式 简介
if ....; then....elif ....; then....else....fi[ -f "somefile" ] ：判断是否是一个文件[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限[ -n "$var" ] ：判断$var变量是否有值[ "$a" = "$b" ] ：判断$a和$b是否相等-r file
2015-12-04 17:23:25
2443
转载 IntelliJ IDEA启动不了 legacy Java SE 6 runtime.
升级后你会发现Eclipse，IntelliJ等应用都不能启动了，你会看到如下的错误。To open "IntelliJ IDEA" you need to install the legacy Java SE 6 runtime.这是因为系统升级后JVM升级到了1.7，而应用指定了依赖1.6的版本。这时你有两种选择：1 下载安装JDK6并指定JAVA_HOME2 修改
2015-11-25 09:16:00
1621
原创 my_zshrc
my_zshrcif brew list | grep coreutils > /dev/null ; then PATH="$(brew --prefix coreutils)/libexec/gnubin:$PATH" alias ls='ls -F --show-control-chars --color=auto' eval `gdircolors -b $HOME/.di
2015-11-19 08:55:43
485
转载 普通用户执行sudo命令方法
xxx is not in the sudoers file.This incident will be reported.的解决方法1.切换到root用户下,怎么切换就不用说了吧,不会的自己百度去.2.添加sudo文件的写权限,命令是:chmod u+w /etc/sudoers3.编辑sudoers文件vi /etc/sudoers找到这行 ro
2015-11-18 09:58:40
5409
转载 java 特种兵笔记：论道 unilay
感悟：变通：让标准变成价值，给你一种思想和标准，你可以有不同的使用，不能死扣定理，我们需要解决问题！看书：分两类，一类根据知识点进行罗列，而且结构清晰，可以看完一章有选择进行总结（不是笔记，总结是带有自己理解的），一类是零乱但是重要，需要边看边划出重要点（重要点是你还未遇到的坑或者知识点），然后看完一章进行总结。千万不要坚定地认为什么方式快，什么方式慢，一定要讲究场景。（存在即
2015-08-03 22:58:25
552
转载 栈帧、局部变量表、操作数栈
1.定义 栈帧（stack frame）是用于支持虚拟机进行方法调用和方法执行的数据结构，它是虚拟机运行时数据区中的虚拟机栈的栈元素。栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息。 每一个方法从调用开始到执行完成的过程，就对应着一个栈帧在虚拟机栈里面从入栈到出栈的过程。 对于执行引擎来说，活动线程中，只有栈顶的栈帧是有效的，称为当前栈帧，这
2015-07-21 09:58:34
1874
转载 使用IOUtils和FileUtils
文本输出应该比较常用，以前都是通过反复的创建InputStream, InputReader, OutputStream, OutputWriter等去输入输出文本，比较麻烦。Apache提供了一个commons-io.jar包，里面有很多IO相关的工具，比如输入输出文本等，着实方便了很多。比如读取一个文件： Java代码 // by File
2015-07-06 20:24:28
1004
转载 apache kafka系列之server.properties配置文件参数说明
--rockybean每个kafka broker中配置文件server.properties默认必须配置的属性如下：[java] view plaincopybroker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer.byt
2015-06-29 11:36:15
566
转载 Kafka集群partition replication自动分配分析
1. Kafka集群partition replication默认自动分配分析下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：(1)(2)当集群中新增2节点，Partition增加到6个时分布情况如下：副本分配逻辑规则如下：
2015-06-28 17:11:10
2005
转载 深入浅出JMS（一）——JMS简介
JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。如果手机只能进行实时通话，没有留言和短信功能会怎么样？一个电话打过来，正好没有来得及接上，那么这个电话要传递的信息肯定就收不到了。为什么不能先将信息存下来，当用户需要查看信息的时候再去
2015-06-06 12:02:18
510
转载 消息订阅发布系统Apache Kafka分布式集群环境搭建和简单测试
一、什么是kafka? kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）二、kafka的官方网站在哪里？
2015-06-05 17:13:49
565
转载 Kafka(二)：环境搭建&测试
本文基于Kafka 0.8在一台机器上构建一个3个节点的kafka集群，并测试producer、consumer在正常情况下的行为，以及在lead broker/follow broker失效情况下的行为1.下载并解压kafka 0.8.0 release$ mkdir kafka$ wget http://apache.dataguru.cn/kafka/0.8.0/ka
2015-06-05 17:06:27
862
转载 Kafka(一)：基础
本文基于Kafka 0.81. 引言互联网够公司的日志无处不在，web日志，js日志，搜索日志，监控日志等等。对于这些日志的离线分析（Hadoop），wget&rsync虽然人力维护成本较高，但可以满足功能行需求。但对于这些日志的实时分析需求（例如实时推荐，监控系统），则往往必须要引入一些“高大上”的系统。传统的企业消息系统（例如WebSphere）并不是非常适合大规模的日
2015-06-05 15:14:11
519
转载 XStream转换时忽略未知字段
XStream是一个用于将对象序列化为xml以及将xml生成对象的库，通过它可以非常方便的做对象与xml(json等其他格式)之间的转换。但是在使用XStream过程中，会遇到xml元素与对象元素并不是一一匹配的情况，而导致程序抛出异常。通过以下方法可以解决这个问题：XML转为对象时XML的要素比对象多?1234
2015-06-04 14:17:14
7421
1
转载 XML,Object,Json转换之浅析Xstream的使用
XML,Object,Json转换之浅析Xstream的使用请尊重他人的劳动成果，转载请注明出处：XML,Object,Json转换之浅析Xstream的使用 XStream的是一个简单的库，主要用于Java对象和XML之间的转换。但XStream也内置了对Json的支持。1.Xstream的特点：这里直接引用Xstream官方的叙述:灵活易用：在更高的层次上提供了简单、灵
2015-06-04 10:40:56
620
转载 关于通过Date.getTime()得到1970年01月1日0点零分问题验证
我的博客：通常认为Date.getTime()可以得到得到1970年01月1日0点零分以来的毫秒数,经过实践证明是错误的实际上通过Date.getTime()的到的是1970年01月01日8点中以来的毫秒数，实践代码如下 public static String getTimestamp_1970() throws Exception { java.text.Simp
2015-06-02 16:27:07
3747
转载 git add 详细介绍
一、前言git add命令主要用于把我们要提交的文件的信息添加到索引库中。当我们使用git commit时，git将依据索引库中的内容来进行文件的提交。二、基本git add 表示 add to index only files created or modified and not those deleted 我通常是通过git add 的形式把我们添加到索引库中，可
2015-05-31 07:29:27
919
原创 工作常用的命令积累
工作常用的命令积累0. 找出 =与& 之间的字符串 并输出 awk '{print $3}' (1) awk -F"[=|&]" '{print $2}' file1 > file2 (2) awk -F"[:|\n]" '{print $2}' file1 > file2 awk -F"[\^|\^]" '{print
2015-05-29 18:09:44
585
转载 thrift的使用介绍
一、About thrift 二、什么是thrift，怎么工作？ 三、Thrift IDL 四、Thrift Demo 五、Thrift 协议栈 以及各层的使用（java 为例） 六、与protocolbuffer的区别 一、About thrift thrift是一种可伸缩的跨语言服务的发展软件框架。它结合了功能强大的软件堆栈的
2015-05-28 23:13:51
677
转载 flume-ng+Kafka+Storm+HDFS 实时系统组
http://www.aboutyun.com/thread-6855-1-1.htmlhttp://blog.csdn.net/zxcvg/article/details/18600335/
2015-05-28 00:17:28
649
原创 安装 protobuf
下载protobuf2.5 ?1http://pan.baidu.com/s/1o6v4Sae解压:?1tar -zxf protobuf-2.5.0.tar.gzcd:?
2015-05-27 19:21:26
538
转载 Google 的开源技术protobuf 简介与例子
今天来介绍一下“Protocol Buffers ”（以下简称protobuf）这个玩意儿。本来俺在构思“生产者/消费者模式 ”系列的下一个帖子：关于生产者和消费者之间的数据传输格式。由于里面扯到了protobuf，想想干脆单独开一个帖子算了。 ★protobuf是啥玩意儿？ 为了照顾从没听说过的同学，照例先来扫盲一把。 首先，protobuf是一个开源 项 目（官方站点
2015-05-26 00:38:24
582
转载 redis-JedisPoolConfig配置
JedisPoolConfig config = new JedisPoolConfig(); //连接耗尽时是否阻塞, false报异常,ture阻塞直到超时, 默认trueconfig.setBlockWhenExhausted(true); //设置的逐出策略类名, 默认DefaultEvictionPolicy(当连接超过最大空闲时间,或连接数超过最
2015-05-24 16:09:50
611
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人