- 博客(46)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 map/reduce的原理| hive 用户手册| hive SERDE | map参数调整 | UDF
map/reduce的原理| hive 用户手册| hive SERDE | map参数调整 | UDF
2015-03-10 16:14:25
2187
转载 MapReduce实现基本SQL操作的原理-join和group by，以及Dinstinct
详细讲解SQL编译为MapReduce之前，我们先来看看MapReduce框架实现SQL基本操作的原理Join的实现原理select u.name, o.orderid from order o join user u on o.uid = u.uid;在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下
2015-02-03 09:59:26
13809
1
转载 yarn container内存调优——防止container被kill
今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在JAVA中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Java heap space的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据库的时候，有几个表的返回数据量比较大约有50万左右
2015-01-25 16:59:21
12227
原创 linux shell 读文件按行处理
linux shell 读文件按行处理一种方式是用 cat和反引号ps:反引号在Linux中起着命令替换的作用。命令替换是指shell能够将一个命令的标准输出插在一个命令行中任何位置。一种是用管道或者重定向 ' | '表示管道连接，在linux中管道就是一个特殊的文件描述符。
2015-01-25 16:52:44
2232
转载 c++ find, find_if查找元素
std::find: 查找容器元素, find只能查找容器元素为 [cpp] view plaincopy#include #include #include int main() { std::vectorint> v; for (int i = 0; i
2014-06-14 20:45:02
2166
原创 android 自动更新的实现
主要原理是：在应用启动的时候，去取服务器上版本号 ，与当前应用的对比如果有更新则下载下面这个是获取当前应用的版本信息下面则是通过java net包来get版本信息，进行比较服务器端格式如下 version_1.0.2HttpURLConnection 获取输入流，再用BufferedReader 缓冲流，readline成String，再比较
2014-06-01 19:04:45
977
原创 ios 继承UIView实现自定义视图——实现画图
主要的原理包括：继承UIView ，重载drawrect和重载触摸事件待实现的功能还有，路径数组保存等。用可变数据保存path路径画曲线是通过二次贝塞尔曲线实现的这里可以得到画图的UIImage对象 UIGraphicsBeginImageContext(self.bounds.size); [self.layer renderInContext:UIGraph
2014-05-30 16:00:47
3055
原创 图像处理之——浮雕效果实现
#include#include#includetypedef unsigned short WORD;typedef unsigned long DWORD;typedef unsigned char BYTE;/*typedef struct tagBITMAPFILEHEADER { WORD bfType; DWORD bfSize; W
2014-05-20 16:19:47
5750
1
原创 百度star2014
#includeint test(int n,int m,int v,int k){ __int64 temp; int flag=0; int c_num=0; __int64 temp2; if(m>=n) return 0; if(m<0) return -1; temp=m; while(temp>=0&&(temp-v)>=0){ temp2=(tem
2014-05-18 09:48:47
718
原创 Android popupwindow以及windowManager总结——实现悬浮效果
Android有三类窗口应用程序窗口 (Application Window): 包括所有应用程序自己创建的窗口，以及在应用起来之前系统负责显示的窗口。子窗口(Sub Window)：比如应用自定义的对话框，或者输入法窗口，子窗口必须依附于某个应用窗口（设置相同的token)。系 统窗口(System Window): 系统设计的，不依附于任何应用的窗口，比如说，状态栏(Status
2014-05-15 21:30:10
4790
原创 Android asynctask使用
继承asynctask，有三个参数三个参数的含义是第一个表示输入参数，第二个为progress，表示当前的进度，第三个为doInbackground 返回值需要一个参数传入url，返回一个result结果，如果没有网络则返回空import java.io.InputStream;import java.util.ArrayList;import java.util.Li
2014-05-11 21:03:10
895
原创 mysql手记
MyISAM不支持事务、也不支持外键，但其访问速度快，对事务完整性没有要求。 InnoDB存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全。但是比起MyISAM存储引擎，InnoDB写的处理效率差一些并且会占用更多的磁盘空间以保留数据和索引。
2014-05-10 19:34:25
817
转载 C++:STL标准入门汇总
C++:STL标准入门汇总学无止境！！！第一部分：（参考百度百科） 一、STL简介STL（Standard Template Library，标准模板库)是惠普实验室开发的一系列软件的统称。它是由Alexander Stepanov、Meng Lee和David R Musser在惠普实验室工作时所开发出来的。现在虽说它主要出现在C++中，但在被引入C++之前该技术就已
2014-05-10 10:52:02
630
原创 c++基础回顾
c++继承方式公有继承，父类的私有成员不可访问，通过父类的公有函数以及保护函数访问私有继承，父类成员在派生类中为私有成员等。初始化顺序先父类，再是派生类，析构刚好相反，当用父类指针或者引用实现多态时，析构函数要声明成虚函数，不然只会调用父类的析构函数#include using namespace std;class base{private :float x;publ
2014-05-10 10:41:09
827
原创 Android实现自定义view---绘制图片
主要原理是：extends view重载onDrow(),需要一bitmap，重载view，在 canvas上画临时bmp，当按下确定的时候按下 画到real_bmp上,其他的跟前面的基本上没有什么区别。 import com.example.test.R;import android.app.Activity;import android.content.Con
2014-05-04 18:21:35
2342
原创 排序算法-冒泡——插入——快排
冒泡排序，往两个方向泡，一个往小泡，一个网大泡#include#include#includevoid bubble_sort(int *a,int n){ int temp; for(int i=0;i<n;i++) for(int j=0;j<n-i-1;j++){ if(a[j]>a[j+1]){ temp=a[j]; a[j]=a[j+1];
2014-04-29 11:18:30
876
原创 jdbc 连接mysql数据库
jdbc驱动到官网下载，放在jdk的相关目录下面，或者jar文件加入到工程下面package test_mysql;import java.sql.*;import java.util.Set;public class testjdbc { public static Connection getConnection() throws ClassNotFoundException, S
2014-04-28 15:14:11
1306
原创 图像处理之关键代码——Android
一、软件设计的基本原理和采用的主要方法(算法)与技术算法：图像读入后，把数据放到数组中去。灰度化用的是最终像素=0.3*R+0.59*B+0.11*G这个公式反色使用255减去原像素得到最终像素怀旧效果用的是0.393*R+0.769*G+0.189*B高斯模糊用的是矩阵的卷积远算，算子是1/16{1,2,1,2,4,2,1,2,1},高斯模糊在模糊的同时有考虑每个像素的比重，
2014-04-26 12:12:44
1372
原创 Android surfaceview使用——重载onTouchEvent
surface上绘制bitmap，同时重载onTouchEnvetpublic class bmpdrow extends SurfaceView implements SurfaceHolder.Callback { private Bitmap bmp; private Resources res; private SurfaceHolder holder; priva
2014-04-26 12:04:45
4287
转载 select,poll,epoll的区别以及原理
select的本质是采用32个整数的32位，即32*32= 1024来标识，fd值为1-1024。当fd的值超过1024限制时，就必须修改FD_SETSIZE的大小。这个时候就可以标识32*max值范围的fd。对于单进程多线程，每个线程处理多个fd的情况，select是不适合的。1.所有的线程均是从1-32*max进行扫描，每个线程处理的均是一段fd值，这样做有点浪费2.1
2014-04-26 10:49:16
817
原创 贪心算法——hdu2037——活动安排问题
Problem Description“今年暑假不AC？”“是的。”“那你干什么呢？”确实如此，世界杯来了，球迷的节日也来了，估计很多ACMer也会抛开电脑，奔向电视了。作为球迷，一定想看尽量多的完整的比赛，当然，作为新时代的好青年，你一定还会看一些其它的节目，（永远不要忘记关心国家大事）假设你已经知道了所有你喜欢看的电视节目的转播时间表，你会合理安排吗？（目标是能
2014-04-22 10:59:15
893
原创 hdu 2553 n皇后问题
#include#include#define max 10int map[max][max];int palce[max];int ans[max];/*表示这一行的皇后放在哪一列*/int num;int check(int t,int x,int n){ int i,j,k; int flag=1; for(i=0;i<x;i++){ if(
2014-04-14 12:13:25
781
原创 hdu-1102 prim算法
#include #include #define max 110int map[max][max];int key[max];int parent[max];int used[max];int select(int n){ int index=-1; int min=10000; int i; for(i=1;i<=n;i++){ if(key[i]<min&&us
2014-04-13 19:53:13
735
原创 畅通工程---hdu1007
Problem Description某省调查城镇交通状况，得到现有城镇道路统计表，表中列出了每条道路直接连通的城镇。省政府“畅通工程”的目标是使全省任何两个城镇间都可以实现交通（但不一定有直接的道路相连，只要互相间接通过道路可达即可）。问最少还需要建设多少条道路？ Input测试输入包含若干测试用例。每个测试用例的第1行给出两个正整数，分别是城镇数目N ( < 1000 )和道路数目M；随后的
2014-04-13 11:37:37
849
原创 android ListView以及自定义adapter测试
public class listview extends Activity{ private LinkedHashMap params; private List data_set; private ListView listview; private myadapter2 myadapter; public void onCreate(Bundle save){ super.
2014-04-08 19:52:25
1076
原创 12306模拟get方法 ——json解析数据
12306模拟get方法 ——json解析数据主要难点在于参数的构造,hashmap以及treemap的顺序与插入的顺序不一致，所以只能用list或者用linkedHashmap，其次在于json的解析，尝试过google的gson，不好用，不过有一大优势，gson可以把对象序列化为json，或者从json中构建对象，最后用json解析实现的。
2014-04-04 22:30:28
3307
1
转载 2014-03-29 阿里巴巴实习生招聘笔试题
第一题选C，不解释吧，按位与就行 第二题选D，不解释，2*3*sizeof(int*)=48（64位机器上是8字节一个指针） 第三题选C，我不确定，不过，应该是的 第四题选D，明显考的是补码 第5题选D，果断访问错误（这是Java的代码） 第6题选B，大家都懂 第7题果断A啊 第8题果断
2014-04-03 15:44:11
873
原创 java https连接以及乱码问题解决办法
用如下命令导入证书文件到jdk中去keytool -import -alias 12306 -keystore cacerts -file D:\srca12306\srca.cer -trustcacerts keytool -import -keystore %JAVA_HOME%\jre\lib\security\cacerts -file D:\srca12306\srca.cer
2014-04-03 15:36:37
25680
转载 java多线程
关于Java多线程知识可以看看《Thinking in Java 》中的多线程部分和《Java网络编程》中第5章多线程的部分以下是参考>的 1. sleep() & interrupt() 线程A正在使用sleep()暂停着: Thread.sleep(100000); 如果要取消他的等待状态,可以在正在执行的线程里(比如这里是B)调用
2014-03-27 22:01:43
586
原创 高精度加法以及乘法运算
#include#includeusing namespace std;int big_math[1000];int char_int(char *s,int *t){int count=strlen(s);char *p=s+count-1;for(int i=0;it[i]=(int)(*p-'0'); }return count;}void i
2014-03-25 16:01:17
771
原创 华为机试 Word maze
5 5SOLOCPUCYEKLQHCRSOLFAIAOPGRBC#include #includechar test[22][22];int move[4][2]={{-1,0},{0,-1},{0,1},{1,0}};char w[101];int m,n;int visited[22][22];int dfs(int x,int
2014-03-22 19:09:49
1380
原创 迷宫问题回溯算法
9 91 1 6 80 0 1 0 0 0 1 0 10 0 1 0 0 0 1 0 00 0 0 0 1 1 0 1 10 1 1 1 0 0 0 0 10 0 0 1 0 0 1 0 00 0 0 0 0 1 0 1 00 1 1 1 1 0 0 1 01 1 0 0 0 1 0 1 11 1 0 0 0 0 0 0 0#include#
2014-03-22 16:46:38
804
转载 linux负载检测命令
1，查看磁盘df -h2,查看内存大小freefree [-m|g]按MB,GB显示内存vmstat3,查看cpucat /proc/cpuinfo只看cpu数量grep "model name" /proc/cpuinfo | wc -l4，查看系统内存cat /proc/me
2014-03-17 11:12:09
689
原创 单词的全排列同时去重复的元素
主要用到回溯算法，用排列树框架#include#includeusing namespace std;char test[200][20];//int n;int count1;inline void swap(char *s,char *t){char temp;temp=*s;*s=*t;*t=temp;}void dfs(int t
2014-03-15 15:22:23
900
转载 各种字符串hash函数比较
常用的字符串Hash函数还有ELFHash，APHash等等，都是十分简单有效的方法。这些函数使用位运算使得每一个字符都对最后的函数值产生影响。另外还有以MD5和SHA1为代表的杂凑函数，这些函数几乎不可能找到碰撞。常用字符串哈希函数有BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash等等。对于以上几种哈希函数，我对
2014-03-15 14:12:59
776
原创 智能指针实现
智能指针(smart pointer)的一种通用实现技术是使用引用计数(reference count)。智能指针类将一个计数器与类指向的对象相关联，引用计数跟踪该类有多少个对象的指针指向同一对象。智能指针主要是通过引用技术的原理，封装指针本身，需要有复制构造函数，重载=，*，->等，通过模板类来实现，再深入一点，可以自由决定是否复制指针所指的对象，参考accelerated c++
2014-03-15 11:48:34
768
原创 算法导论——输油管道问题解法
输油管道问题解法输油管道问题求的是中位数，用顺序统计量解决。不需要管X坐标，只需要管Y坐标，就OK了。如果n是奇数，求(n-1)/2的顺序统计量如果n是偶数，求[N/2,N/2+1]闭区间里面的任意一点，都可以的。程序中采用下中位数证明如下：用n为偶数，举例子。假设T为[N/2,N/2+1]闭区间里面的任意一点，现在移动T距离为d。当不超过这个区间的时候，必然有N/2的
2014-01-04 12:23:01
2944
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人