- 博客(40)
- 收藏
- 关注
RSS订阅原创 Hive设置转换任务相关配置参数
hive中选择数据并不一定都只能执行MapReduce任务。对于一些select原表的基本操作，可以通直接读出，不启动MapReduce。参数配置：hive.fetch.task.conversionminimal/none/morehive.fetch.task.conversion.threshold超过该大小时，查询转换成Fetch任务。
2017-03-19 16:07:35
789
原创 判断IP地址是否在某个指定的网段内
最近用到了判断IP地址是否在某个指定网段的功能。需求如下： 输入：给定IP地址网段起始IP网段结束IP 输出：给定IP是否在给定网段范围内。 思路： 一开始想到的是将IP进行split，逐个跟网段起始IP和结束IP比对，但是写完以后发现细节问题太多。后来参考mysql的 inet_aton(ip)方法将IP转换成数值形式之后再进行比较
2017-03-08 17:50:58
9286
1
原创 SparkLauncher 1.6 版本bug
简要介绍了SparkLauncher 类，并指出在Spark 1.6版本中其应用过程中相关类的一个Bug，该Bug目前在Spark 2.0中得到解决。
2016-12-12 22:47:34
2363
原创 Linux Shell 数组
最近在写一些Linux Shell脚本程序，使用了数组ARRAY，因此细看了一下数组的一些知识，参考一些比较清晰明了的文章，总结在本文。
2015-07-13 18:11:13
653
原创 Linux下定时任务配置-crontab
实际中经常有一些任务需要定期执行，人工操作比较麻烦，如果定时执行将会省去很多人力，还可以在一些资源占用不多的时间段执行，linux下crontab命令就实现了这一便捷的功能，实现脚本的自动化运行。常用的crontab命令参数: crontab -l：列出定时任务文件的内容 crontab -e：编辑定时任务文件的内容 crontab文件的格式：M H D m d cmd. 其中： * M
2015-07-10 16:08:47
793
原创 Pig基础学习【持续更新中】
本文参考了Pig官方文档以及已有的一些博客，并加上了自己的一些知识性的理解。目前正在持续更新中。Pig作为一种处理大规模数据的高级查询语言，底层是转换成MapReduce实现的，可以作为MapReduce的一种脚本语言，大大简化了对数据操作的代码。
2015-07-10 14:34:16
876
原创 3Sum——leetcode
Given an array S of n integers, are there elements a, b, c in S such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note:Elements in a triplet (a,b,c
2015-02-05 16:56:02
556
原创 Reverse Integer
Reverse digits of an integer.Example1: x = 123, return 321Example2: x = -123, return -321此题看似简单，但有几种情况要注意：对于10这种数字的处理；对于溢出的处理。溢出不意味着ans_before解法一：采用x=reverse(reverse(x)) 的技巧判断是否溢出：public
2015-02-04 17:38:24
567
原创 Symmetric Tree
Given a binary tree, check whether it is a mirror of itself (ie, symmetric around its center).For example, this binary tree is symmetric: 1 / \ 2 2 / \ / \3 4 4 3But the f
2015-02-04 14:07:00
502
原创 Queue 的用法
对Queue 进队出队的使用不是很了解，刷题时想要直接用，所以查了一下。平时用的话用add 和remove 即可。Queue进队：boolean add(E e) //如果不会违反空间限制的话，插入指定对象e 到队列中，如果成功返回true，空间不够抛出异常。boolean offer(E e) //如果不会违反空间限制的话，插入指定对象e 到队列中。出队：E eleme
2015-02-04 12:28:46
562
原创 Compare Version Numbers
Compare two version numbers version1 and version1.If version1 > version2 return 1, if version1 version2 return -1, otherwise return 0.You may assume that the version strings are non-empty and co
2015-02-02 19:14:59
535
原创 Rotate Image
You are given an n x n 2D matrix representing an image.Rotate the image by 90 degrees (clockwise).Follow up:Could you do this in-place?public class Solution {//inplace solution publi
2015-01-30 09:39:18
456
原创 Singleton模式——对象创建型模式
Singleton模式即为单例模式/单件模式。（一）意图——保证一个类仅有一个实例，并提供一个访问它的全局访问点。如一台计算机可以有多个端口，但是应该统一管理这些端口，避免访问冲突。——选择Singleton模式就是为了避免不一致状态的发生。（二）动机一个全局变量使得一个对象可以被访问，但是它不能防止产生实例化多个对象。为解决以上问题，使类本身负责保存它的唯一实例，这个类保证没
2015-01-14 10:37:49
514
原创 Eclipse中使用maven构建web项目中遇到的问题
根据在Eclipse中使用maven构建web项目中遇到的问题，给出解决办法，以备以后使用。
2015-01-13 22:51:07
1119
原创 Bridge模式——对象结构型模式
今天看了Bridge模式，对其进行简单的总结，并给出几篇通俗易懂的文章链接。（一）意图——将抽象部分和它的实现部分分离，使它们都可以独立地变化。适用于从多维度描述的类型，拆解开来，使其能沿着各维度独立变化。脱耦。（二）动机——解决继承机制带来的不足。1）扩展抽象不方便。扩展时要重新定义一个新的类。2）继承机制使得客户代码需要重新编译。为解决以上两个问题，使用桥接的方式使得抽
2015-01-13 15:23:59
654
原创 spark 部署问题
spark的web UI 端口设置：spark-env.sh 中设置SPARK_MASTER_WEBUI_PORT 为自己想设置的端口号。
2014-11-25 22:56:27
502
原创 Reverse Words in a String
Given an input string, reverse the string word by word.For example,Given s = "the sky is blue",return "blue is sky the".开始这么写的：
2014-11-17 23:01:17
518
原创 Find Minimum in Rotated Sorted Array
package leetcode;/* * * 注意问题： * 1. 原序列升序、降序问题，两种情况都要考虑 * 2. 边界问题，如果只有两个元素时要单独考虑，在num[mid]==num[left]判断中考虑 * 3. 采用2叉查找的思想 * */public class findMinInRotatedSortedArray { public int findMin(int[]
2014-11-16 22:49:48
471
原创 Map.Entry用法示例
一般在HashMap中可以通过key值得到value值，以key作为检索项。Map.Entry可以作为条目的检索项。HashMap中有entrySet()方法，返回值是Set>,对于返回的条目集合，可使用迭代器访问每个条目的Key和Value值。Map.Entry中的主要方法：1、getKey() ,返回值是K；2、getValue()，返回值是V；3、setValue（V value），返回值是
2014-02-25 11:38:16
1973
原创 enum枚举类型的使用
修饰符为public static enum，不用加final，否则提示错误。枚举类的所有实例必须在枚举类中显式列出(,分隔，; 结尾)。列出的实例系统会自动添加 public static final 修饰。允许开发者给枚举类型增加任何方法和属性，也可以实现任意的接口，即枚举类型内可以有方法和属性。举例：public static enum State {
2014-02-14 09:07:20
661
原创 旧版API的TextInputFormat源码分析
TextInputFormat类package org.apache.hadoop.mapred;import java.io.*;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoo
2014-02-13 21:26:09
959
原创 block和split的理解
两者是从不同的角度来定义的：HDFS以固定大小的block为基本单位存储数据（分布式文件系统，实际存储角度，物理存储单位），而MapReduce以split作为处理单位（编程模型角度，逻辑单位）。对于文件中的一行记录，可能会划分到不同的block中，也可能划分到不同的split中。split是逻辑上的概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等，它的划分方法完全
2014-02-13 11:38:32
2467
原创 XML Basic
XML声明：XML中属性的value值要被引号（单引号or双引号）引起来，如： Tove JaniXML元素中有,&,'," 时用实体引用：<less than>>greater than&&ersand''apostrophe""quotation mark如：if salary 错误；if salary < 10
2014-01-20 23:59:14
685
原创 安装配置hive中遇到的问题
1，mysql中添加用户名时总出现如下问题：ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement 解决办法：flush privileges; //新设置用户或更改密码后需要用该命令刷新mysql的
2013-10-13 14:47:08
730
原创 实战Hadoop中遇到的几个类、接口说明
1. Configuration ：public 类型接口，这个接口包含的多数方法是进行与数据属性有关的操作。 几个方法： 1）addProperty(String key, Object value): Add a property to configuration 2）setProperty(String key, Object value): Set a pro
2013-09-22 22:33:25
821
原创 Hadoop中几个基本命令行命令
对HDFS操作的几个命令（必须是Hadoop命令，否则只是对本地操作）1. 查看HDFS中某个目录或文件的包含哪些文件和文件夹： bin/hadoop dfs/fs -ls 文件（夹）路径 若是非空文件夹，则为目录：查看结果显示目录下的文件和文件夹。 若是空文件夹：查看结果为空。 若是文件：查看结果为该文件本身信息。 对于查
2013-09-19 08:57:55
1002
原创 安装和配置Tomcat
今天第一个技术难题，说难也不难，被鄙视的彻彻底底。 理解上的问题纠正：Xftp里面我们看到的只是自己电脑上和集群里面的文件，集群里面有master 服务器和slaves 服务器 ，一个NameNode 和若干DataNodes 。前述与HDFS（Hadoop 分布式文件系统）是不同的，要查看HDFS 里面的内容可以进入到某个地址，是不是在master服务器上容我稍后再查看。
2013-09-12 22:10:39
621
原创 PAT (BL) 1001
链接：http://pat.zju.edu.cn/contests/pat-b-practise/1001 /*1001. 害死人不偿命的(3n+1)猜想 (15)卡拉兹(Callatz)猜想：对任何一个自然数n，如果它是偶数，那么把它砍掉一半；如果它是奇数，那么把(3n+1)砍掉一半。这样一直反复砍下去，最后一定在某一步得到n=1。卡拉兹在1950年的世界数学家大会上公布了这
2013-07-03 21:19:16
597
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人