- 博客(12)
- 收藏
- 关注
RSS订阅转载 Spark SQL概念学习系列之Spark SQL概述
Spark SQL结构化数据处理 概要： 01 Spark SQL概述 02 Spark SQL基本原理 03 Spark SQL编程 04 分布式SQL引擎 05 用户自定义函数 06 性能调优Spark SQL概述 Spark SQL是什么？ S
2018-01-26 22:50:20
910
转载 Spark SQL概念学习系列之DataFrame与RDD的区别
DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能。Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询。 图 DataFrame与RDD的区别 从上面的图中可以看出DataFrame
2018-01-26 22:39:56
386
转载 Spark SQL概念学习系列之Spark SQL基本原理
Spark SQL基本原理 1、Spark SQL模块划分 2、Spark SQL架构--catalyst设计图 3、Spark SQL运行架构 4、Hive兼容性 1、Spark SQL模块划分 Spark SQL模块划分为C
2018-01-26 22:26:50
1269
原创 Maven的下载与安装
maven是一个项目管理工具，基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建。Maven主要做的是两件事：统一开发规范与工具统一管理jar包这两件事情他都做到了，而且还做了更多的事情。Maven还可以管理项目的整个声明周期，包括编 译，构建，测试，发布，报告等等。目前Apache下绝大多数项目都已经采用Maven进行管理。而Maven本身还支持多种插件，
2018-01-13 16:32:01
470
原创 python __file__ 与argv[0]
在python下，获取当前执行主脚本的方法有两个：sys.argv[0]和__file__。1. sys.argv[0]获取主执行文件路径的最佳方法是用sys.argv[0]，它可能是一个相对路径，所以再取一下abspath是保险的做法，像这样：import os,sysdirname, filename = os.path.split(os.path.abspath(sys
2018-01-05 13:31:07
3421
转载 python文件读写,以后就用with open语句
读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。读文件
2018-01-05 09:48:49
1729
转载 python模块之json
JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。JSON的数据格式其实就是python里面的字典格式，里面可以包含方括号括起来的数组，也就是python里面的列表。在python中，有专门处理json格式的模块—— json 和 picle模块 Json 模块提供了四个方法： dumps、dump、loads、l
2018-01-04 17:27:30
182
原创 hive explain详解
HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化成Mapreduce job。大多数情况下，用户不需要了解Hive内部是如何工作的，不过，当用户对于hive具有越来越多的经验后，学习下Hive背后的理论知识以及底层的一些实现细节，会让用户更加高效地使用Hive。要了解HIVE是如何工作的，第一个步骤就是了解EXPLAIN的功能，它能帮助我们学习hive如何将查询转化成
2018-01-03 17:35:16
6071
转载 LINUX发邮件之mail命令
一、mail命令1.配置 vim /etc/mail.rc文件尾增加以下内容 set [email protected] smtp="smtp.qq.com"set smtp-auth-user="[email protected]" smtp-auth-password="123456"set smtp-auth=login说
2017-11-28 14:57:15
3708
转载 加密和解密（1）:常用数据加密和解密方法汇总
数据加密技术是网络中最基本的安全技术，主要是通过对网络中传输的信息进行数据加密来保障其安全性，这是一种主动安全防御策略，用很小的代价即可为信息提供相当大的安全保护。一、加密的基本概念 "加密"，是一种限制对网络上传输数据的访问权的技术。原始数据（也称为明文，plaintext)被加密设备(硬件或软件)和密钥加密而产生的经过编码的数据称为密文（ciphertext）。将密文还原为
2017-11-28 11:06:13
36649
原创 English 01
rollout n.首次展示manifest vt. 证明，表明；显示 n. 载货单，货单；旅客名单in the manifest expires n. 到期；有效期 v. 期满before expires 在到期之前desktops 台式机laptops 笔记本primary device 主设备preferable adj. 更
2017-11-27 23:41:47
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人