- 博客(8)
- 收藏
- 关注
RSS订阅原创 [【Linux命令003】ln建立软链接
命令ln -s 原文件 目标文件(快捷方式)在spark的配置文件目录下建立对hive-site.xml的软链：cd $SPARK_HOME/confln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml
2016-03-16 11:39:41
360
原创 【Linux命令002】tr命令
tr命令的含义是translate，hostname | tr [a-z] [A-Z]命令结果是将hostname所有字母转换为大写
2016-03-15 13:18:37
635
原创 【Linux命令001】cp命令
cp命令用于复制文件或者文件目录到目标目录假如目录结构如下：src目录 a.log b.logtarget目录那么：cp src target1.
2016-03-15 13:15:47
440
原创 SparkSQL10_Unsafe相关_01_sun.misc.Unsafe
1. Unsafe.copyMemory1.1 如下代码实现字节数组的拷贝import sun.misc.Unsafe;import java.lang.reflect.Field;public class UnsafeTest { private static final Unsafe _UNSAFE; private static final int BYT
2015-10-22 15:57:04
316
原创 SparkSQL08_SQLCommand_02_DescribeTable
1. 执行如下SQL命令 sc.textFile("file:///D:\\myprojects\\SparkSQLPerf\\data\\students.txt") .map(x => x.split(" ")) .map(x => (Student3(x(0), x(1), x(3), x(2).toInt))).toDF().registerTempT
2015-10-16 11:12:37
406
原创 SparkSQL07_ThriftServer_01_SparkThriftServer环境搭建
1. 首先安装Hive并且保证已经启动了Hive Meta Store Service如果没有启动Hive Meta Store Service，那么hive-site.xml文件中如下配置的通过thrift访问metastore server将无法建立连接，也就是9083端口没有监听 hive.metastore.uris thrift://0.0.0.0:9
2015-10-14 15:58:44
1167
原创 SparkSQL00_总体介绍_04_Scala Type与Catalyst Type类型转换(第一部分)
1. Scala Type和Catalyst Type的转换包括简单类型，比如String，Date, Number之间的转换；也包括集合类型，如Array、Map之间的转换。2. Scala Type， CatalystType指的是什么ScalaType指的是Scala和Java语言提供的数据类型，比如String, Date,Decimal，Array,Map等。Cata
2015-10-10 11:59:53
1512
原创 SparkSQL05_prepareForExecution_01_EnsureRequirements
源代码：/** * Ensures that the [[org.apache.spark.sql.catalyst.plans.physical.Partitioning Partitioning]] * of input data meets the * [[org.apache.spark.sql.catalyst.plans.physical.Distribution D
2015-10-08 12:35:50
539
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人