- 博客(4)
- 收藏
- 关注
RSS订阅原创 Flink 任务链 共享组 总结
任务链以及共享组1.默认情况下：所有算子都是同一个共享组，开启了任务链合并任务所需的slot数量：最大并行度任务链的个数：宽依赖 、并行度2.给算子独立设置了共享组：开启了任务链的合并任务所需的Slot数量：每个共享组中最大的并行度的和任务链的个数：宽依赖 、并行度 、共享组3.全局设置禁用任务链同一个共享组任务所需的slot数量：最大并行度任务链的个数：算子的个数4.给某个算子开启新的任务链同一个共享组。
2022-11-04 16:46:08
645
原创 Spark Sql自定义UDF函数
1. 第一种方式自定义UDF2的类import org.apache.spark.sql.api.java.UDF2 class SparkSqlUdfUtilTest extends UDF2[String,String,String]{ override def call(t1: String, t2: String): String = { t1 + t2...
2019-05-30 11:59:49
331
转载 如何直观形象的理解方向导数与梯度以及它们之间的关系？
转至 写的太好了 图像理解起来容易多了https://www.matongxue.com/madocs/222.html
2019-04-22 20:05:44
217
原创 hive中自定义UDF和UDTF及json数据的解析
Hive中自定义UDF函数UDF是一进一出函数public class BaseFieldUDF extends UDF{ //line: //1549728171111| // {"cm":{"ln":"-40.8","sv":"V2.0.8","os":"8.0.7","g":"[email protected]","mid":"1","nw":"3G","l":...
2019-03-29 21:13:02
1612
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人