H_Shun-CSDN博客

原创千万级数据通过sqoop从hive orc分区表导出到mysql的提速经验

背景数仓算好的数据需要导出到MySQL，但现有的操作流程导出千万级的数据耗时近2小时，2小时的导出速度无法忍耐，且失败成本较高，故急需优化提速。Hive表为orc格式，按月分区，数据每月通过spark任务执行，并且insert 命令后会带上distribute by语句，保证每个月分区内只有一个文件MySQL环境为开发环境，硬件配置极低思路正常我们执行sqoop命令导出数据时，都有固有的模板，类似：sqoop export \ --connect "${conn_info}" \ -

2021-02-24 16:21:10 1331

转载 Spark性能优化指南——高级篇

前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性

2018-04-08 13:34:04 380

转载 Spark性能优化指南——基础篇

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性

2018-04-08 13:13:15 351

转载 Spark中cache和persist的区别

最近一直在用 spark-hive 匹配表，由于数据量巨大（其中一步需要几十亿的数据和几亿的数据join），所以在查询中想将表缓存起来。后搜索了一些资料，看到spark中有cache和persisit两个API进行缓存，现整理一下两个区别。原文链接：https://blog.csdn.net/houmou/article/details/52491419 cache和persist都是用于将一

2018-04-02 15:35:00 538

转载 Spark性能调优-总结分享

1、Spark调优背景目前Zeppelin已经上线一段时间，Spark作为底层SQL执行引擎，需要进行整体性能调优，来提高SQL查询效率。本文主要给出调优的结论，因为涉及参数很多，故没有很细粒度调优，但整体调优方向是可以得出的。环境：服务器600+，spark 2.0.2，Hadoop 2.6.02、调优结果调优随机选取线上9条SQL，表横轴是调优测试项目，测试在集群空闲情况下进行，后一个的测试都是

2018-03-27 14:39:10 645

原创 MapReduce 求两个人的共同好友算法

希望自己早日学会总结、学会善于总结。需求以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M ...

2017-12-02 19:44:16 4373

原创 java.lang.ClassCastException: class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider

异常：Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text at org.apache

2017-11-28 21:19:47 1317 1

原创 CentOS-6.x下安装MySQL教程

用了几天 CentOS 系统，由于安装 MySQL 过程相对复杂，特写下此教程，供刚入门的开发者阅读。本教程使用到的MySQL 安装包（32位）：链接: https://pan.baidu.com/s/1mih4ZdI 密码: m7tz64位的安装方法基本相同，附64位MySQL安装包：链接: https://pan.baidu.com/s/1miMgQHM 密码: cwmd教...

2017-11-21 00:08:22 679

原创 cannot execute binary file 安装jdk问题

Linux 萌新一只，今天安装了 Linux 版本的 JDK，在看 Java 版本时遇到了 cannot execute binary file 问题，随后网上搜索了资料，我的问题在于我的虚拟机是32位的 Linux 系统，而我安装了64位的 JDK ，所以出现了上述问题。解决办法：重新安装32位的 JDK 即可。查看 Linux 系统位数的命令：getconf LONG_BIT

2017-11-20 21:56:41 3873

原创解决VMware Pro 14安装Linux镜像时黑屏问题

最近下了个 VMware Pro 14 版，准备安装一个 CentOS来玩玩，可是发现启动虚拟机时出现了黑屏的现象，经过查找搜索，最终解决了这个问题。解决方案：以管理员身份运行“命令提示符”—> 输入命令：netsh winsock reset —> 运行后重启电脑 —> Enjoy it! 上述命令作用：重置winsock网络规范

2017-11-16 20:21:20 11161 2

原创 Struts2 快速入门

话不多说，直接来。第一步：搭环境首先导入 Struts2 必要的 jar 包，共计13个。第二步，在web.xml中配置过滤器，千万别忘！ <filter> <filter-name>struts2</filter-name> <filter-class>org.apache.struts2.dispatcher.ng.filter.StrutsPrepareAndExecu

2017-09-21 09:02:11 371

原创 Hibernate 简单总结

学习了几天的 Hibernate 框架，今天简单总结一下吧。　一、环境搭建1.要想使用框架，jar 包是绝对少不了的，Hibernate 框架需要13个最基础的 jar 包，分别是：必要包9个 + 日志包3个 +驱动包 1 个，共计13个，如下： required 包：日志包：驱动包： 2.新建 JavaBean 类，并在 JavaBean 所在的包下创建配置文件，其

2017-09-19 22:56:29 592

原创解决 org.hibernate.exception.ConstraintViolationException: could not execute statement

　　今天真的很痛苦！初入几天 Hibernate 框架，下午写了一堆 JUnit 测试，结果基本上全部报错： org.hibernate.exception.ConstraintViolationException: could not execute statement 　　其字面意思就是”违反约束异常，无法执行语句”。　　百度也没找到什么合适的解决办法，不过就在刚刚，我终于找...

2017-09-17 20:24:36 36814 2

原创解决 The user operation is waiting for "Building workplace" to complete

　　今天在写单元测试的时候遇到了一个问题，点击 Run as –> Junit Test 后，eclipse 弹出一个框，一直在跑着什么东西，上面写着：The user operation is waiting for “Building workplace” to complete，等了好长时间也没见进度条前进了多少。　　　　　　解决办法：点击菜单栏上的 Proje...

2017-09-14 09:02:06 12331 1

原创解决servlet向mysql添加数据时的中文乱码问题

昨晚写了一个小Demo，通过 servlet 向 mysql 中添加数据，在 dao 层使用的是 DBUtils 操作的数据库，可是在添加时偏偏出现了中文乱码问题，如下：　　添加页面：　　　　　　　　　点击“添加商品”按钮后，出现中文乱码问题：　　问题分析：难道是 servlet 在接收时没有设置编码格式？难道是数据传输错误？难道是浏览器响应时编码问题？　　排查：

2017-08-27 12:41:29 3189

原创 Java中获取mysql连接的四种方式

2017年8月16日，第一次来 csdn ，第一篇博客。怀着激动的心情，我们来说说 Java 中获取 mysql 连接的三种方式。第一种：传统的连接方式；第二种：读取配置文件方式；第三种：数据库连接池。1. 传统的连接方式：　　首先在 src 目录下创建名为 lib 的文件夹，导入数据库驱动的 jar 包，随后 “add to build path”。Codes：package demo

2017-08-16 23:36:15 1955

H_Shun的博客