Franksten-CSDN博客

翻译自己设置mapreduce程序的map个数和reduce个数

设置reduce个数（一个reduce生成一个文件）1、如果不指定reduce个数，hive会基于一下两个参数自动计算（1）hive.exec.reducers.bytes.per.reducer 这是每个reduce处理的数据量，默认为1G=1000000000 （2）hive.exec.reducers.max(每个任务的最

2017-12-21 11:49:04 7129

原创 shell脚本中写sftp

#!/bin/bashv_date=$1project_name=$2v_file=serv_d.txtHOST=10.0.0.0USER=aaaaPASSWORD=bbbduiduan_path=/data/aalocal_path=/home/bbbecho "starting to sftp..."lftp -u ${USER},${PASSWORD}

2017-11-28 22:19:02 6916

原创 oracle创建序列

创建序列-- Create sequence create sequence ID_INCREMENTminvalue 1maxvalue 9999999999999999999999999999start with 1increment by 1cache 20; 挂JOB语句declarevar1 varchar2(500);var2 var

2017-11-28 21:00:04 425

原创 shell学习笔记

今天莫名的有一种失落感，很多事，自己都无能为力，任由这个世界将自己随意摆布。随便记录一点Linux的知识，今天就这样吧0、shell脚本开头的#!/bin/bash是告诉我们这个shell是在什么环境下运行的，它不是注释在脚本中没有写#!/bin/bash的情况下，shell仍然可以执行，这可能是系统的$SHELL环境变量指定了脚本的运行环境1、shell脚本中的set -x是做

2017-11-28 20:25:26 439

原创虚拟机静态IP地址配置

在win7上通国虚拟机方式安装CentOS后，需要配置网络，连接secureCRT等，这当中遇到了一些问题，去网上百度的答案都是说不到点子上，特此将自己配置网络的过程总结了一下1．vmware网络配置要配置网络，第一步就是配置VMware，安装好VMware后，win7一般会给他分配vmnet1和vmnet8两个网络适配器，如下：（1）将虚拟机的网络适配器由桥接模式改为NA

2017-11-16 23:07:31 4864

翻译 hive参数配置及说明

hive参数配置及说明#分类 Hive.exec.mode.local.auto #决定 hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行）默认值：true hive.exec.mode.local.auto.inputbytes.max # 如果 hive.exec.mode.local.auto

2017-11-16 22:55:00 1803

原创 hive创建自定义函数

由于关系型数据库中的函数在Hive中不能完全支撑,所以当项目需要关系型制定的函数时,我们可以通过编写Java来编写自定义函数.编写一个1、示例:（1）必须导入两个jar包：如下图中绿色方框中的jar包，在网上可下载到（2）创建类必须继承UDF类（3）类必须重写evaluate方法方法可以重载，根据自己的需求编写自己的方法（4）写好之后测试无误，打包

2017-11-16 22:36:04 3145 1

原创 Centos7mini版安装VMwareTools

Centeos7mini版由于没有安装VMwareTools导致Linux下无法挂载Windows下的文件夹，下面是我自己安装VMwareTools时遇到的一些问题和解决方法，仅供参考如果安装了VMwareTools直接跳到第5步执行1、下载好VMwareTools安装镜像文件在VMware界面中，菜单栏虚拟机--安装VMwareTools（如果显示灰色，关闭虚拟机后

2017-07-23 22:06:27 2517

虚拟机静态IP配置

在win7上通国虚拟机方式安装CentOS后，需要配置网络，连接secureCRT等，这当中遇到了一些问题，去网上百度的答案都是说不到点子上，特此将自己配置网络的过程总结了一下

2017-11-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人