- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark通过自定义InputFormat读取HDFS文件实现稍微复杂的业务场景
业务场景Spark根据InputFormat可以知道如何读取文件 默认根据一行来读取在用户没在按照指定的换行符情况下是按照空格来区分的 但是在一些特定的情况下spark默认的InputFormat就不太管用了 最近小编在公司的一个需求中就遇到了下面的问题 大数据部分ETL每天会清洗数据成一个json字符串写到HDFS文件中写到文件格式如下{"queryType":"BASIC","se...
2019-09-10 17:49:34
1108
原创 SparkSql实现多个Excel文件(.csv)合并去重操作（亲测有效）
a.业务需求公司最近随着业务量的剧增,每天会有新的数据从公司服务器采集上来,公司大数据部门ETL组会每天清洗这些数据然后 生成一堆Excel文件(.csv)结尾,单个Excel文件不会出现重复的数据，总的数据量大概在1000万条,平均单个Excel数据量在40~50 万条。但是根据业务部门的指示想最终把这些Excel文件再做合并处理(按照某一属性如公司名称) 生成唯一一个Excel(.csv)...
2019-09-02 18:34:08
2489
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-10-11 18:08:32
147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人