- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 Spark笔记之读写数据库
SPARK-SQL 读写数据库 //读取数据库 def readMysql(sparkSession: SparkSession): Unit ={ var table = sparkSession.read.format("jdbc") .option("url","jdbc:mysql://localhost:3306/user") .option("driver","com.mysql.jdbc.Driver") .option("user","ro
2020-08-13 16:14:40
283
原创 Spark笔记之使用UDAF（User Defined Aggregate Function）
一、UDAF简介先解释一下什么是UDAF（User Defined Aggregate Function），即用户定义的聚合函数，聚合函数和普通函数的区别是什么呢，普通函数是接受一行输入产生一个输出，聚合函数是接受一组（一般是多行）输入然后产生一个输出，即将一组的值想办法聚合一下。关于UDAF的一个误区我们可能下意识的认为UDAF是需要和group by一起使用的，实际上UDAF可以跟group by一起使用，也可以不跟group by一起使用，这个其实比较好理解，联想到mysql中的max、min等
2020-08-13 16:08:49
409
原创 import spark.implicits._ 报错，无法导入
解决方法：给SparkSession.builder一个对应的变量值，这个变量值是spark。这里的spark不是某个包下面的东西，而是我们SparkSession.builder()对应的变量值，下面是正确的写法
2020-08-12 09:02:54
884
原创 yarn异常 ：error in shuffle in fetcher
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out错误原因：内存溢出解决方案：在yarn-site.xml中做如下配置：<property> <name>y
2020-07-21 15:25:59
429
原创 docker-常用软件安装
mysql安装使用docker pull mysql:tag从docker仓库中拉取mysql容器镜像使用一下命令启动一个mysql容器docker run -id --name=mysql5.7.28 -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.28使用客户端登录检测备注: 由于通过-p指定了宿主机和mysql容器的端口之间的映射关系,此时可以直接通 过宿主机ip地址和映射的宿主机端口号进行mysql服务器访问
2020-06-30 12:43:29
92
原创 Docker基本安装
1. docker2. 虚拟机和容器的区别①:虚拟机是借助于物理机的硬件进行硬件模拟,实现系统级别的隔离,每一台虚拟机模拟出硬件之后需要安装独立操作系统,然后再在操作系统上安装应用程序,容器是进程级别的隔离,通过虚拟化引擎在同一个操作系统上隔离出多个独立的进程,然后在独立资源管控的进程容器中安装应用程序以及应用程序的依赖程序;②: Docker容器启动速度快(秒级别),虚拟机启动速度慢(分钟级);③: Docker容器需要的资源少,和操作系统内核交互性能损耗少;④: Docker更轻量级,消耗
2020-06-30 12:34:14
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人