- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Yarn集群上提交多个Flink任务，状态一直Accepted且不停止不报错
一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：../etc/hadoop/capacity-scheduler.xml，把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增加更多。也可见，默认情况下，Yarn没有将很多资源分配给任务的能力。...
2022-01-07 14:41:32
2264
原创 Flink Broadcast state使用示例
在这个例子中我们定义两个流，一个流包含name、age，另一个流定义特定的规则，代表希望寻找的模式。public class Demo1 { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); final Execu
2021-11-25 14:39:30
378
原创 Flink union算法多流合并
union在DataStream上使用union算子可以合并多个同类型的数据流，并生成同类型的数据流，即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出（First In First Out）的模式合并，且不去重。下图union对白色和深色两个数据流进行合并，生成一个数据流。代码示例String[] lists = {"file1", "file2", "file3"}; // 多个数据流进行整合； Dat.
2021-11-25 14:38:32
1839
原创 Flink CEP SQL案例
描述：现在的任务是找出一个单一股票价格不断下降的时期。一、Maven项目pom.xml二、测试数据输入：±—±-------------------------------±------------------------±---------------------±---------------------+| op | symbol | rt | price |
2021-09-02 14:26:02
298
原创 最简单IDEA社区版构建SpringBoot项目
一、环境准备IDEA Community Editionjdk8maven二、下载SpringBoot项目https://start.spring.io/项目名称自己修改下。点击ADD DEPENDENCIES，添加Web依赖。下载构建好的SpringBoot项目的压缩包三、idea中打开SpringBoot项目使用maven加载依赖。四、测试添加如下代码启动SpringBoot项目，访问localhost:8080/hello，如下SpringBoot项目构建成功。
2021-09-02 14:18:37
613
原创 Python解决岛问题
题目描述：给一个01矩阵，求不同的岛屿的个数。0代表海，1代表岛，如果两个1相邻，那么这两个1属于同一个岛。我们只考虑上下左右为相邻。您在真实的面试中是否遇到过这个题？ Yes样例在矩阵：[ [1, 1, 0, 0, 0], [0, 1, 0, 0, 1], [0, 0, 0, 1, 1], [0, 0, 0, 0, 0], [0, 0, 0, 0...
2018-09-10 10:25:09
1418
3
原创 关于CUBLAS的环境配置方法
CUBLAS的配置方法1、CUBLAS是nvidia公司提供的非常好用的cuda库，里面集成了喝多库函数，详细可以在nvidia官网上查看。这里我想详细的说说我遇到的问题和我的配置方法。我的电脑是vs2013+cuda8.0，windows 10系统。2、CUBLAS环境配置第一步：创建一个新的win32控制台程序，我创建的项目名cudaexample，如图1所示。图1
2017-04-06 20:05:56
5217
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人