- 博客(4)
- 收藏
- 关注
RSS订阅原创 python实现pdf转word、txt
1、下载对应压缩包前往下载pdf2word工具包前往下载pdf2txt工具包2、解压缩对如下两个文件进行解压，当前我解压的路径设置在D:\python_app\下3、安装对应模块ctrl+r 输入cmd，进入命令行，然后进入本地虚拟环境，详情可参考建立并使用本地虚拟环境使用命令行pip install -r D:\python_app\requirements.txt，自动化安装所...
2020-02-28 10:54:13
2141
原创 大数据开发遗漏知识点完善（持续更新）
大数据开发遗漏知识点完善（持续更新）1. Hive整合HBase的环境配置以及测试1、环境配置Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。所以只需要将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就可以了。注:如果在hi...
2019-04-19 18:20:22
316
转载 RDD基本转换
Spark函数详解系列之RDD基本转换摘要：RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个RDD代表一个分区里的数据集RDD有两种操作算子：Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作Ation（执行）：触...
2019-02-25 18:08:59
347
原创 数据插入之insert into 和 insert overwrite
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。通常hive包括以下四种数据导入方式：（1）从本地文件系统中导入数据到Hive表；（2）从HDFS上导入数据到Hive表；（3）在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中；（4）从别的表中查询出相应的...
2018-10-19 09:48:52
5916
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人