- 博客(23)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Kylin学习笔记（四）Tableau连接kylin
Kylin学习笔记（四）Tableau连接kylin标签（空格分隔）： Kylin一、下载安装Microsoft Visual C++ 201264位Windows或64位Tableau Desktop：下载：64位下载地址二、下载安装Kylin ODBC驱动ODBC驱动下载地址 下载完后直接默认点击下一步安装即可三、下载安装Tableau 9.1Tablea...
2018-08-15 14:26:19
2571
1
原创 Kylin学习笔记（一）安装指南
Kylin学习笔记（一）安装指南标签（空格分隔）： Kylin一、软件要求Hadoop: 2.7+Hive: 0.13 - 1.2.1+HBase: 1.1+Spark (可选) 2.1.1+Kafka (可选) 0.10.0+JDK: 1.7+OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+二、硬件要求 ...
2018-08-15 11:34:03
977
1
原创 用sqoop2从mysql导入数据到hbase
用sqoop2从mysql导入数据到hbase标签（空格分隔）： sqoop2 hbase hadoop mysql 数据迁移一、基础环境hadoop-2.6.0sqoop-1.99.6hbase-1.0.1.1二、数据迁移实际操作步骤1、mysql中表结构显示CREATE TABLE `risk_trade_error_result` (`SERI...
2018-08-15 10:49:34
3597
5
原创 （shell笔记六）Shell变量：Shell变量的定义、删除变量、只读变量、变量类型
定义变量时，变量名不加美元符号($),如：$variableName="value"如图： 注意1：1.变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。2.变量名的命名必须遵循如下规则：* 首个字符必须为字母（a-z，A-Z）。* 中间不能有空格，可以使用下划线(_)。* 不能使用标点符号。* 不能使用bash里的关键字（可用help命令查看保留关键字）。6.1、
2016-01-12 11:59:10
2269
原创 （shell笔记五）第一个shell脚本 helloworld与read命令使用
打开文本编辑器，新建一个文件，扩展名为sh（sh代表shell），扩展名并不影响脚本执行。看下面这个helloworld.sh的例子：#!/bin/bashecho "hello world!"echo 'the same!'注意1：“#!” 是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种Shell。echo命令用于向窗口输出文本。两种运行shell脚本的方式：作为可
2016-01-12 11:28:50
1391
原创 （shell笔记四）什么时候使用shell
因为Shell似乎是各UNIX系统之间通用的功能，并且经过了POSIX的标准化。 因此，Shell脚本只要“用心写”一次，即可应用到很多系统上。 因此，之所以要使用Shell脚本，是因为shell脚本的以下特性：简单性： Shell是一个高级语言；通过它，你可以简洁地表达复杂的操作。可移植性： 使用POSIX所定义的功能，可以做到脚本无须修改就可在不同的系统上执行。开发容易： 可以在
2016-01-12 11:05:20
638
原创 （shell笔记三）shell与编程型语言的差异
大体上，程序设计语言可以分为两类：编译型语言和解释型语言。编译型语言很多传统的程序设计语言，例如C、C++、和JAVA，都是编译型语言。这类语言需要预先将我们写好的源代码转换成目标代码，这个过程被称为“编译”。运行程序时，直接读取目标代码。由于编译后的目标代码非常接近计算机底层，因此执行效率很高，这是编译型语言的优点。 但是，由于编译型语言多半运作与底层，所处理的是字节、整数、浮点数或者是其他机
2016-01-12 10:56:02
1104
原创 （shell笔记二）几种常见shell
前一章提到过，shell是一种脚本语言。那么，就必须由解释器来执行这些脚本。linux上常见的shell脚本解释器有bash、sh、csh、ksh等，习惯上把他们称作一种shell。 我们常说有多少种shell，其实说的是shell脚本解释器。下面介绍几种常用的shell脚本解释器：bash bash是linux标准默认的shell，本文也是基于bash讲解。 bash是有Brian Fox和
2016-01-12 10:42:36
374
原创 (shell笔记一)shell简介
shell是linux下的一种脚本语言：1、shell有两种执行命令的方式交互式 解释执行用户的命令，用户输入一条命令，shell就解释执行一条。批处理用户事先写一个shell脚本（script），其中有很多条命令，让shell一次把这些命令执行完，而不必一条一条地敲命令。2、shell脚本和编程语言很相似，也有变量和流程控制语句，但shell脚本是解释执行的，不需要编译，shell程序从脚本中一
2016-01-12 10:24:04
356
原创 linux常用命令（三）
本章主要介绍一些查找文件的命令：1、which命令1.1、命令格式which 可执行文件名称 1.2、命令功能which指令会在PATH变量指定的路径中，搜索某个系统命令的位置，并且返回第一个搜索结果。1.3、命令参数-n 指定文件名长度，指定的长度必须大于或等于所有文件中最长的文件名。-p 与-n参数相同，但此处的包括了文件的路径。-w 指定输出时栏位的宽度。-V 显示版本信息1.4
2016-01-12 10:13:26
262
原创 linux常用命令（二）
本文主要介绍一些查看文件的命令！more、less、tail、head!注意：查看命令如何使用、格式等主要参考man手册.
2015-12-31 09:24:36
284
原创 hadoop2.5.0源码编译
hadoop2.5.0源码编译Protobuf JDK 源码编译1.编译软硬件基本环境1.1、硬件环境：操作系统：CentOS 6.4版本64位1.2、软件环境：hadoop： 2.5.0JDK： 1.7.0maven： 3.0.5protobuf： 2.5.0findbugs： 1.3.9
2015-12-28 15:47:15
492
原创 （三）oozie官方案例map-reduce运行
oozie安装成功后，接下来运行一个官方的mapreduce案例，参考官网: http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_Examples.html1、解压oozie-example到oozie根目录Expanding this file will create an examples/ directory in t
2015-12-24 15:05:39
3298
2
原创 （一）oozie工作流调度框架介绍
1、与其他hadoop开源调度框架的区别2、oozie工作流的三种模式介绍3、控制流节点介绍3.1、start节点3.2、end节点3.3、decision节点3.4、fork节点和join节点4、主要动作节点节点介绍4.1、mapreduce action节点4.2、hive action节点4.3、sqoop action节点4.4、shell action节点
2015-12-24 15:01:48
1067
原创 （一）Hive的安装部署及测试
Hive的功能架构介绍Hive是一种以SQL风格进行任何大小数据分析的工具，其特点是采取类似关系数据库的SQL命令。其特点是通过 SQL处理Hadoop的大数据，数据规模可以伸缩扩展到100PB+，数据形式可以是结构或非结构数据。Hive与传统关系数据库比较有如下几个
2015-12-23 11:22:08
4236
原创 （一）cdh5.3.6下hue3.7.0的安装部署
本文介绍如何在centOS6.4环境下安装hue环境！一、安装环境列表centOS6.4hue-3.7.0-cdh5.3.6cdh5.3.6jdk1.7.0_67hadoop2.5.0hive-0.13.1-cdh5.3.6oozie-4.0.0-cdh5.3.6下载地址：http://archive.cloudera.com/cdh5/cdh/5/二、安装
2015-12-19 17:27:42
4718
2
原创 linux集群时间同步搭建
1.环境介绍1.1、centOS6.41.2、三台主机分别为：机器1：bigdata01.com机器2：bigdata02.com机器3：bigdata03.com2.选其中一台机器作为时间服务器bigdata01.com(时间服务器)2.1、查看是否安装了ntpd$ sudo rpm -qa|grep ntpd
2015-12-08 14:56:55
433
原创 hadoop2 详细讲解伪分布式安装步骤
1.安装环境安装前的准备：hadoop2.5.0 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/jdk7 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261
2015-12-08 11:43:50
822
原创 CentOS 6.4下安装和配置Samba服务器
一 、安装目的 为了便于windows和Linux之间的数据拷贝，samba服务器是一个不错的选择。也为了使大家少走弯路，特写此博客，让大家借鉴。以下步骤是经过我一步步验证成功的。注意：为避免不必要的错误，安装时候切换到root用户！二、硬件环境CentOS6.4window8.1samba-3.5.10-125.el6.x86_64三、关闭防火墙
2015-12-06 01:00:07
479
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人