- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 通 用 缩 写 表
通 用 缩 写 表缩写全称addrAddressadmAdministratorappApplicationargArgumentasmassembleasynasynchro
2018-01-17 09:37:03
590
转载 Spark的运行架构
转自：http://blog.csdn.net/gamer_gyt/article/details/51822765只保存了部分内容方便查阅，完整的点击链接查看1：Spark的运行模式2：Spark中的一些名词解释3：Spark的运行基本流程4：RDD的运行基本流程一：Spark的运行模式 Spark的运行模式多种多样，
2017-09-12 20:06:06
680
转载 spark createDirectStream保存kafka offset(JAVA实现)
转自：http://blog.csdn.net/xueba207/article/details/50381821保存起来便于查阅问题描述最近使用spark streaming处理kafka的数据，业务数据量比较大，就使用了kafkaUtils的createDirectStream()方式，此方法直接从kafka的broker的分区中读取数据，跳过了zookeeper，
2017-09-12 19:50:32
368
转载 Mysql的表的碎片清理
最近在生成环境下的MySQL运行下降，有些sql执行也慢，首先检查下慢查询日志是否开启 show variables like ‘slow_query_log%’ 在看慢日志设置的时间 show variables like ‘long_query_time%’; 可以看到开启了慢查询，find / -name slow-query.log查找慢日志 发现里面的sq
2017-04-21 09:32:08
2213
转载 vmware虚拟机三种网络模式详解
原文来自http://note.youdao.com/share/web/file.html?id=236896997b6ffbaa8e0d92eacd13abbf&type=note由于linux目前很热门，越来越多的人在学习linux，但是买一台服务放家里来学习，实在是很浪费。那么如何解决这个问题？虚拟机软件是很好的选择，常用的虚拟机软件有vmware workstatio
2017-04-17 12:32:18
374
转载 Hive相关链接
Hive高级查询(group by、distribute by、 order by、 join等)http://www.07net01.com/2015/07/875703.html
2016-09-18 11:46:16
243
转载 kafka入门介绍及环境搭建
问题导读1.kafka是否需要zookeeper？2.kafka是什么？3.kafka包含哪些概念？4.如何模拟客户端发送、接受消息初步测试？5.kafka cluster怎么同zookeeper交互的？1.前言由于项目涉及到kafka，自己以前没有接触过这方面的，学习了下，将搭建kafka运行环境同大家分享。2.搭建步骤
2016-06-28 18:13:52
3586
转载 flume和kafka区别
日志采集系统flume和kafka有什么区别及联系，它们分别在什么时候使用，什么时候又可以结合？添加评论 分享按投票排序按时间排序5 个回答26赞同反对，不会显示你的姓名晓鹰 ，哈哈，人和人之间的想法不同真好玩26 人赞同很凑巧，都用过这两个系统。简言
2016-06-24 17:05:07
5380
1
转载 kafka入门
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介
2016-06-24 16:13:40
260
转载 FLUME日志收集详解
FLUME日志收集一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性
2016-06-24 15:33:23
3958
转载 zookeeper原理讲解（讲的很深奥不易懂 原理可以看上一篇 应用场景可以看看）
zookeeper原理（转）博客分类： hadoop ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中
2016-06-24 11:56:11
2023
转载 zookeeper选举原理讲解
zookeeper的领导者选举和原子广播目录： 1、工作原理概述 2、Fast Leader选举算法（领导者选举） 3、Leader与Follower同步数据（原子广播）1、工作原理概述link：http://www.codedump.info/?p=207zookeeper3.3.3源码分析(一)工作原理概述
2016-06-24 11:52:29
13847
1
原创 常用不可见字符
Vim里常见的几个不可见字符：^@ = 0x00 Null值^I = 0x09 水平制表^J = 0x0A 换行^M = 0x0D 回车
2016-05-30 11:19:53
4966
转载 广告投放方式：CPC、CPM、CPA、CPS、CPT
CPC（按点击付费）CPC—英文全称Cost Per Click。CPC是一种点击付费广告，根据广告被点击的次数收费。如关键词广告一般采用这种定价模式，比较典型的有Google的AdSense for Content、百度联盟的百度竞价广告以及淘宝的直通车广告。CPM（按展示付费）CPM—英文全称Cost Per Mille 或者是Cost Per ThousandImpression。C
2016-05-26 14:36:56
6001
转载 RPC
早期单机时代，一台电脑上运行多个进程，大家各干各的，老死不相往来。假如A进程需要一个画图的功能，B进程也需要一个画图的功能，程序员就必须为两个进程都写一个画图的功能。这不是整人么？于是就出现了IPC（Inter-process communication，单机中运行的进程之间的相互通信）。OK，现在A既然有了画图的功能，B就调用A进程上的画图功能好了，程序员终于可以偷下懒了。到了网络时
2016-05-10 14:55:10
320
原创 MYSQL这则表达式转义要用两个反斜杠,HIVE用四个
5.匹配特殊字符如上，./-/[]等是正则表达式的特殊字符，如果要匹配含有这些字符的数据，就需要使用转义(escaping)，\\。如\\.表示查找'.'。\\也用来引用元字符（具有特殊含义的字符），如：\\f:表示换页\\n:表示换行\\r:表示回车\\t:表示制表\\v:表示纵向制表Notes:如果匹配反斜杠本身()则需要使用\\\为什么Mysql使用两
2016-03-07 17:09:55
2116
转载 mapreduce实例,计算最高气温
转自:http://my.oschina.net/itblog/blog/275294功能简介:计算每年的最高气温,数据源中前八位是日期,后两位是温度 数据源:[zhoulx]$ cat input.txt20140101142014010216201401031720140104102014010506201201060920120107322
2016-01-19 15:29:42
1144
转载 rest&rpc&soap
http://www.cnblogs.com/lanxuezaipiao/archive/2013/05/11/3072436.html
2016-01-11 20:08:20
251
转载 mysql 查看信息的命令（show\desc\explain）
转自:http://blog.csdn.net/huangkq1989/article/details/75227131. 查看配置show variable;2.查看目前处理的列表；show processlist;3.看看有哪些存储过程show procedure status;4.查看一条命令的执行方案explain select * fr
2016-01-07 13:28:07
400
转载 hive用法-f-e-S-i
$HIVE_HOME/bin/hive是一个shell工具，它可以用来运行于交互或批处理方式配置单元查询。语法：Usage: hive [-hiveconf x=y]* []* [|] [-S]-i ： Initialization Sql from file (executed automatically and silently before any other com
2015-12-16 10:03:57
10080
转载 MYSQL是否区分大小写
Linux下mysql安装完后是默认：区分表名的大小写，不区分列名的大小写；2、用root帐号登录后，在/etc/my.cnf 中的[mysqld]后添加添加lower_case_table_names=1，重启MYSQL服务，这时已设置成功：不区分表名的大小 写；lower_case_table_names参数详解：lower_case_table_names = 0其中 0：区分大小写
2015-12-15 18:06:54
413
原创 hive使用mapjoin
set hive.ignore.mapjoin.hint=true;set hive.auto.convert.join = true;可以设置mapjoin的大小:hive.mapjoin.smalltable.filesize 默认值是25mb hive 0.11之后，在表的大小符合设置时:hive.auto.convert.join.noconditionaltask
2015-12-15 14:33:32
1164
原创 set -x
执行如下命令:[zhoulx@hadoop zhoulx]$ set -x+ set -x[zhoulx@hadoop zhoulx]$ ll+ ls --color=auto -l --color=autototal 12-rw-rw-r-- 1 sdp_dp sdp_dp 1716 Dec 1 15:47 hive_tbl_dict_tmp.csv-rw-rw-r
2015-12-07 15:16:18
264
转载 hive行列转换
1.行专列表数据:name ,subject ,scorexiaoming|english|92.0xiaoming|chinese|98.0xiaoming|math|89.5huahua|chinese|80.0huahua|math|89.5hive (hive)> select name,concat_ws(',',collect_set(concat(
2015-12-04 13:31:38
450
转载 date命令
转自：http://www.cnblogs.com/peida/archive/2012/12/13/2815687.html 在linux环境中，不管是编程还是其他维护，时间是必不可少的，也经常会用到时间的运算，熟练运用date命令来表示自己想要表示的时间，肯定可以给自己的工作带来诸多方便。1．命令格式： date [参数]... [+格式]2．命令功能：date
2015-11-30 17:03:42
125
原创 shell 引号 转义符 通配符 特殊字符
下面内容解释hive -e "" 中为什么用四个反斜杠，而hive-CMD中只用两个反斜杠 hive -e "select split('1.2.3.4','\\\\.') from default.dual;" hive> select split('1.2.3.4','\\.') from default.dual; 上面两种情况执行结果一样 需要注意的是：
2015-11-30 15:31:19
33141
转载 hive函数 -- split 字符串分割函数
转自：http://blog.csdn.net/lxpbs8851/article/details/18712407 hive字符串分割函数split(str, regex) - Splits str around occurances that match regexTime taken: 0.769 seconds, Fetched: 1 row(s)返回值为一个数组a
2015-11-30 15:16:12
1424
转载 查看job的详细日志出错： Aggregation is not enabled. Try the nodemanager at d2.hadoop:42812
转自：http://www.ithao123.cn/content-918773.htmlhadoopjob执行完之后：点击 http://n1.hadoop:19888/jobhistory/attempts/job_1406341693880_0001/r/SUCCESSFUL 出现Aggregation is not enabled. Try the nodemana
2015-11-16 22:32:48
908
转载 Hive日志调试
转自：http://www.iteblog.com/archives/873 这些天看到很多人在使用Hive的过程遇到这样或那样的错误，看着那些少的可怜的错误日志出错，一直找不到原因。后来我给他们介绍了修改日志输出级别之后，错误原因很快得到定位。于是乎我写了这篇博文。希望那些在使用HQL的过程中遇到问题，通过这里介绍的方法进行调试而定位到错误，从而少走弯路。好了，废话不多说进入
2015-11-16 20:48:34
403
转载 mysql忘记root密码拯救方法(flush privileges)
转自：http://blog.sina.com.cn/s/blog_62449fcf0100y5lu.htmlmysql忘记root密码拯救方法(flush privileges)1、结束当前正在运行的mysql进程。# /etc/init.d/mysql stop2、用mysql安全模式运行并跳过权限验证。# /usr/bin/mysqld_safe --skip-g
2015-11-16 17:03:40
411
转载 eclipse上单步调试Hive
转自:http://blog.sina.com.cn/s/blog_9f48885501017eyl.html 在~/workspace/hive新建了两个目录lib和conf从hive目录中的lib和hadoop目录中的lib复制一份到一个目录里，我是放在~/workspace/hive/lib 还要把hadoop目录下的hadoop*.jar都拷贝过来
2015-11-16 16:56:53
327
转载 Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数
前面已经讲到，变量名只能包含数字、字母和下划线，因为某些包含其他字符的变量有特殊含义，这样的变量被称为特殊变量。例如，$ 表示当前Shell进程的ID，即pid，看下面的代码：复制纯文本新窗口$echo $$$echo $$运行结果29949特殊变量列表变量含义$0当前脚本的文件名$
2015-11-05 11:47:58
268
转载 profile、bashrc、bash_profile区别
经常安装软件时会配置各种环境变量，每个人的安装指南都不一样，常用的配置环境修改如下： /etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置.所以如果你有对/etc/profile有修改的话必须得重启你的修改才会生效，此修改对每个用户都生效。/etc/bashrc:
2015-11-05 11:21:31
251
原创 hive依赖oracle执行结果
#每10分钟检查一次开关表HADOOP_LIST_NO_FLAG，如果ETL已执行成功则继续，否则异常推出for i in {1..35}do etl_flag=`sqoop eval \ -D oozie.job.id=$wf_job_id
2015-11-03 18:13:47
228
原创 定时调度shell
scheduler.sh：#!/bin/bash./timing.sh 201401271339if [ "$?" -eq 0 ]; then echo "调度命令写在这里" echo `date +"%Y-%m-%d %X"`"程序已调起"else echo "调度失败"fi timing.sh#! /bin/bash#shell
2015-11-03 18:11:15
566
原创 SAS常用功能
%GLOBAL odb;%LET odb=cowlife;%GLOBAL path;%LET path=netslifemiscow;%GLOBAL schema;%LET schema=tmrlifearc;%GLOBAL user;%LET user=netslifesas;%GLOBAL password;%LET password=; libna
2015-11-03 18:09:46
1997
1
原创 解析DATASTAGE导出文件dsx和congnos的mdl文件
DS源表和目标表解析：Option ExplicitPublic Declare Function WaitForSingleObject Lib "kernel32" (ByVal hHandle As Long, ByVal dwMilliseconds As Long) As LongPublic Declare Function CloseHandle Lib "kerne
2015-11-03 16:47:49
3656
1
原创 OOZIE依赖解析并用mxGraph画出依赖图
方式一：在hive中创建表，通过UDTF解析hdfs上的coordinate.xml获取应用间的依赖关系，并以父子维的方式存储在hive表中，以后可以在java中直接访问hive表，并用mxgraph画出依赖图create_hadoop_app_info.hqluse pad_hdp;drop table hadoop_app_info;create table hadoop_
2015-11-03 12:53:35
2795
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人