- 博客(22)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 nginx日志处理
一、日志分类 Nginx日志主要分为两种：访问日志和错误日志。日志开关在Nginx配置文件（/etc/nginx/nginx.conf）中设置，两种日志都可以选择性关闭，默认都是打开的。1、访问日志 访问日志主要记录客户端访问Nginx的每一个请求，格式可以自定义。通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。Ngin
2015-02-11 13:06:04
713
原创 impala,hive行转列
HiveFor Hive, I use collect_set() + concat_ws() from https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF.But if you want to remove duplicated elements, write your own UDF should
2014-12-02 21:54:31
16289
原创 sqoop向关系数据库导入数据
if [[ $upper_sys == "MYSQL" ]] ; then echo "sqoop export --connect \"${sq_connet_url}?useUnicode=true&characterEncoding=utf-8\" --username ${lower_user} --password {sq_passwd} --table ${lo
2014-11-25 15:29:09
647
转载 hive-DML语句
Loading Data into Managed Tables -- 加载数据到表[sql] view plaincopyprint?LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country = 'US',
2014-11-18 14:00:52
588
转载 hive学习3-DDL语句
Databases in Hive -- 在HIVE 中使用数据库Hive offers no support for row-level inserts, updates, and deletes.Hive doesn’t support transactions. Hive adds ex-tensions to providebetter performance i
2014-11-18 13:57:55
939
原创 hive学习2-文件格式
hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfil
2014-11-18 13:51:57
446
转载 hive学习1-数据类型
在官方的wiki里，example是这样的：Sql代码CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_nam
2014-11-18 13:32:00
482
转载 开始学习hadoop 一些概念糊涂了吧
Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉，转换成本低，类似作用的Pig就
2014-11-18 13:29:52
604
转载 sqoop使用及hadoop 启动时候warning处理
Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，重命名为sqoop，然后在文件/etc/profile中设置
2014-10-14 09:40:25
1385
转载 Oracle join
NESTED LOOP:对于被连接的数据子集较小的情况，嵌套循环连接是个较好的选择。在嵌套循环中，内表被外表驱动，外表返回的每一行都要在内表中检索找到与它匹配的行，因此整个查询返回的结果集不能太大（大于1 万不适合），要把返回子集较小表的作为外表（CBO 默认外表是驱动表），而且在内表的连接字段上一定要有索引。当然也可以用ORDERED 提示来改变CBO默认的驱动表，使用USE_NL(tabl
2014-08-27 09:22:44
565
转载 Oracle analyze分析
ORACLE数据库的PL/SQL语句执行的优化器，有基于代价的优化器（CBO）和基于规则的优化器（RBO）。 RBO的优化方式，依赖于一套严格的语法规则，只要按照规则写出的语句，不管数据表和索引的内容是否发生变化，不会影响PL/SQL语句的"执行计划"。 CBO自ORACLE7版被引入，ORACLE自7版以来采用的许多新技术都是只基于CBO的，如星型连接排列查询，哈希连接查询，反向
2014-08-07 14:20:20
1311
转载 Oracle数据字典
数据字典是Oracle存放有关数据库对象信息的一组表和视图结构，其用途是用来描述数据的。比如一个表的创建者信息，创建时间信息，所属表空间信息，用户访问权限信息等。它们由脚本$oracle_home/rdbms/admin/catalog.sql创建，存放在SYSTEM表空间中。 Oracle中的数据字典有静态和动态之分。 静态数据字典主要是由表和视图组成，是在用户访问数据字典时不
2014-07-31 10:15:14
385
转载 oracle字符串聚合
listagg 函数--oracle 11g release 2 2010-09-04 21:45:10| 分类：默认分类 |举报|字号 订阅 本文描述了在oracle 11g release 2 版本中新增的listagg函数，listagg是一个实现字符串聚合的oracle内建函数。作为一种普遍的技术，网络上也有多种实现字符串聚合的方法。本文会
2014-07-29 10:40:55
1427
转载 shell--let-expr
整数运算一般通过 let 和 expr 这两个指令来实现，如对变量 x 加 1 可以写作：let"x = $x + 1" 或者 x=`expr $x +1‘，个人感觉，二者差不多，前者表达比较简单，择优用之 在bash中,let可以用来做数值运算bash-2.05b$ export n=20bash-2.05b$ n=n+1bash-2.05b$ echo $nn+1n+1
2014-07-16 22:20:30
616
原创 shell-tee-uptime
#! /bin/bash# script startLOG_FILE="Script.log"{date who uptime } |tee -a $LOG_FILE exit 0
2014-07-16 22:07:36
814
原创 Datastage 部署流程（9.1版本）
最近在用datastage 开发job ，IBM InfoSphere Information Server Manager
2014-07-15 09:56:04
893
原创 搞懂Nosql—Hash
哈希算法(1). 哈希算法的基本原理： 哈希算法的提出和应用背景，对于一个庞大的字符串数组array，给你一个字符串让你判断它是否在这个字符串数组中并找到它，最好的办法就是把这个庞大的字符串数组构建成一个哈希表，然后在进行查询是否有这个字符串。 (2).构建hash table的过程：一般是采用一个32的整数来代表一个字符串，首先这个array的字符串已经存在内存或者磁盘中，我
2014-07-14 16:47:25
656
转载 Ubuntu 固定iP
首先设置IPsudo gedit /etc/network/interface 将其内容删除 加上一下内容 auto loiface lo inet loopback auto eth0iface eth0 inet staticaddress 192.168.1.47netmask 255.255.255.0network 192.168.
2014-07-12 21:17:05
453
1原创 perl多进程读写文本
用perl use Fcntl qw(:flock);my $sum; my $kk=$ARGV[0];open wr , ">>/wls/dsadm/etl/test.txt" ;flock(wr, LOCK_EX);for($i=1;$i{ $sum=$i; print "$sum\n" ; print wr $sum.$k
2014-07-09 17:31:21
884
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人