- 博客(2)
- 收藏
- 关注
RSS订阅原创 sqoop简单介绍
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。sqoop就是一款数据导入导出工具，底层 将 导入导出命令翻译成MR任务, 执行在YARN平台上, 底层是对MR的输入和输出做了定制化操作 导入: 从RDBMS 到 hadoop生态圈的过程导出: 从hadoop生态圈 到 RDBMSsqoop的使用方式主要有二种: 原生API 和 hcatalog API导入到HDFS 采用的原生API导入到hive 做增量导入, 一般...
2021-02-26 16:00:40
2844
原创 hive学习总结
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive优化总结：1、通过fetch抓取：针对Hive中对某些情况的查询可以不必使用MapReduce计算，节省申请资源的开销。 eg:select * from table fetch 抓取配置 ...
2021-02-26 08:42:15
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人