- 博客(105)
- 资源 (12)
- 收藏
- 关注
RSS订阅翻译 基于DataStream API 的flink程序实现TopN
背景介绍：每隔五分钟，统计过去一个小时的热门商品。数据集：https://tianchi.aliyun.com/dataset/dataDetail?dataId=60747代码：数据结构：package com.flink.topn;public class UserDataBean { public long userId; // 用户ID...
2020-05-06 11:53:20
720
1
原创 flink中使用java 8 lambda编程报错：Caused by: org.apache.flink.api.common.functions.InvalidTypesException
报错信息如下：org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'main(KeyStateDemo.java:23)' could not be determined automatically, due to type erasure. You can give...
2020-04-14 15:26:40
4418
9
翻译 OGNL表达式用法详解
表达式通常用来访问页面中的各种变量,进行结果输出.struts2中共支持以下几种表达式语言(默认的是OGNL)：(1)OGNL：可以方便地操作对象属性的开源表达式语言；(2)JSTL：(JSP Standard Tag Library)：JSP2.0集成的标准表达式语言；(3)Groovy：基于Java平台的动态语言，它具有时下比较流行的动态语言的一些特性；(4)Velocit...
2019-11-06 14:05:53
17302
翻译 41.DataSet API之Connectors
flink 1.8从文件系统读取Flink内置了对以下文件系统的支持: Filesystem Scheme Notes Hadoop Distributed File System (HDFS) hdfs:// 支持所有HDFS版本 Amazo...
2019-10-21 17:53:35
259
翻译 40.DataSet API之Zipping Elements
flink 1.8Zipping Elements in a DataSet压缩数据集中的元素在某些算法中，可能需要为数据集元素分配惟一标识符。本文档展示了如何使用DataSetUtils实现此目的。Zip with a Dense Index带有密集索引的压缩zipWithIndex将连续标签分配给元素，接收一个数据集作为输入，并返回一个新的数据集2-tuples(u...
2019-10-21 16:22:49
196
翻译 39.DataSet API之Iterations
flink 1.8迭代次数Iterations迭代算法在数据分析的许多领域都有应用，如机器学习或图计算。这些算法能够从大数据集中提取一些有意义的特征信息。为了在大数据集上运行这些算法，需要以大规模并行方式执行迭代。Flink程序通过定义一个步进函数（step function）并将其嵌入一个特殊的迭代操作算子来实现迭代算法。这个操作算子有两种变体：Iterate和Delta It...
2019-10-21 16:16:47
299
翻译 38.DataSet API之Fault Tolerance
flink 1.8容错Fault ToleranceFlink的容错机制在出现故障时恢复程序并继续执行它们。此类故障包括机器硬件故障，网络故障，瞬态程序故障等。批处理容错（DataSet API）DataSet API中程序的容错能力通过重试失败来实现。在作业被声明为失败之前，Flink重试执行的时间可以通过执行重试参数进行配置。如果值为0，则表示禁用容错机制。若要...
2019-10-21 16:06:38
176
翻译 37.DataSet API之Transformations
flink 1.8数据集转换DataSet Transformations本文档深入研究了数据集上可用的转换。有关Flink Java API的一般介绍，请参阅编程指南Programming Guide。有关在具有密集索引的数据集中压缩元素，请参阅Zip Elements Guide。MapMap转换在DataSet的每个元素上应用用户定义的map函数。它实现了...
2019-10-12 19:49:02
323
翻译 36.DataSet API之Overview
Flink 1.8Flink DataSet API Programming GuideFlink中的DataSet程序是实现数据集转换的常规程序（例如，Filter，映射，连接，分组）。数据集最初是从某些source数据源创建的（例如，通过读取文件或从本地集合创建）。结果通过接收器sink返回，例如通过sink将数据写入（分布式）文件或标准输出（例如命令行终端）。Flink程序可以...
2019-10-12 19:15:58
371
翻译 35.DataStream API之Experimental Features
flink 1.9实验性的特性Experimental Features本节描述DataStream API中的实验特性。实验特性仍在发展中，可能是不稳定的、不完整的，或者在未来的版本中可能发生重大变化。Reinterpreting a pre-partitioned data stream as keyed stream将预分区数据流重新解释为键控流我们可以将预分区的...
2019-10-12 18:58:10
1277
1
翻译 34.DataStream API之Side Outputs
flink 1.9除了从DataStream操作的结果中获取主数据流之外，你还可以产生任意数量额外的侧输出结果流。侧输出结果流的数据类型不需要与主数据流的类型一致，不同侧输出流的类型也可以不同。当您想要拆分数据流时，通常的做法是复制流,然后从每个流过滤出您不想拥有的数据，但是如果使用side output操作可以很好的解决这种问题。在使用侧输出时，首先用户需要定义一个OutputTa...
2019-10-12 18:55:43
510
翻译 33.DataStream API之Connectors (Kafka)
flink 1.9此连接器可访问由Apache Kafka提供的事件流。Flink提供特殊的Kafka连接器，用于从/到Kafka topics中读取和写入数据。Flink Kafka Consumer会把kafka消费者的offset等信息保存到Flink的检查点checkpoint中，以提供一次性exactly-once处理语义。为了实现一次性语义，Flink并不完全依靠Kafka...
2019-10-12 18:03:09
648
翻译 32.DataStream API之Connectors(Fault Tolerance Guarantees)
flink 1.9Flink的容错机制能够确保在出现故障时，恢复程序并继续执行它们。这些故障包括机器硬件故障、网络故障、短暂的程序故障等。只有当source源参与了快照机制时，Flink才能确保仅一次exactly-once状态更新到用户定义的状态。下表列出了flink与绑定的连接器的状态更新保证模式。 Source Guarantees ...
2019-10-12 17:16:38
129
翻译 31.DataStream API(Connectors)之Overview
flink 1.9flink内置的source和sink（Predefined Sources and Sinks）在Flink中内置了一些常用的数据源source和sink算子。内置的数据源source(predefined data sources)包括从文件files、目录directories和套接字 sockets中读取数据，以及从集合collections和迭代器iterat...
2019-10-12 11:56:22
152
翻译 30.DataStream API之Operators(Async IO)
flink 1.9本页阐述了使用Flink的API来进行外部数据存储的异步I/O，对于不熟悉异步或者事件驱动编程的用户，学习一篇关于Future和事件驱动编程可能会很有用。注意:关于异步I/O的详细设计和实现可以在异步I/O设计和实现这篇文章找到(FLIP-12: Asynchronous I/O Design and Implementation)。The need for A...
2019-10-12 11:53:53
402
翻译 29.DataStream API之Operators(Process Function)
flink 1.9The ProcessFunctionProcessFunction是一个低级的流处理操作，可以访问所有(非循环)流应用程序的基本组件:Events(流元素) state (容错, 一致性，只在KeyedStream上) timers (事件时间和处理时间，只在KeyedStream上)可以将ProcessFunction看做是具备访问keyed状态和定时器的F...
2019-10-11 20:58:23
527
翻译 28.DataStream API之Operators(Joining)
flink 1.8Window Joinwindow join连接两个流的元素，它们共享一个公共key并位于同一个窗口中。可以使用窗口分配器window assigner定义这些窗口，并对来自这两个流的元素求值。然后，将来自两边的元素传递给用户定义的JoinFunction或FlatJoinFunction，用户可以在其中发出满足join条件的结果。stream.join(...
2019-10-08 20:12:53
255
翻译 27.DataStream API之Operators(Windows)
flink 1.9WindowsWindow是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进行窗口操作，以及程序员如何从window提供的功能中获得最大的收益。 窗口化的Flink程序的一般结构如下，第一个代码段中是分组的流，而第二段是非分组的流。正如我们所见，唯一的区别...
2019-10-07 16:40:35
270
翻译 26.DataStream API之Operators(Overview)
flink 1.9操作算子介绍：操作算子operator可以将一个数据流转换成另一个新的数据流，程序可以通过operator将多个转换组合成复杂的数据流拓扑。本节将描述基本转换、应用这些转换之后的有效物理分区以及对Flink操作算子链接的理解。DataStream Transformations Transformation Descrip...
2019-10-07 16:08:56
237
翻译 25.DataStream API之State & Fault Tolerance(Custom State Serialization)
flink 1.9Queryable StateBeta此章节的目标是为需要为其状态使用自定义序列化的用户提供文档指南，包括如何提供自定义状态序列化器，以及实现允许状态模式schema演化的序列化器的指南和最佳实践。如果您只是在使用Flink自带的序列化器，那么可以忽略此章节。Using custom state serializers在注册一个托管的operator或...
2019-09-28 15:40:34
209
翻译 24.DataStream API之State & Fault Tolerance(State Schema Evolution)
flink 1.9State Schema EvolutionApache Flink streaming applications应用程序通常设计为无限期或长时间运行。与所有长时间运行的服务一样，需要更新应用程序以适应不断变化的需求。应用程序所针对的数据schema也是如此;它们随着应用程序的发展而发展。本章概述了如何演化状态类型的数据schema。当前的限制因不同的类型和状态结构(...
2019-09-28 15:31:03
205
翻译 23.DataStream API之State & Fault Tolerance(State Backends)
flink 1.9State BackendsFlink提供了不同的状态后端，用于指定状态存储的方式和位置。状态可以位于Java的堆上，也可以位于堆外。根据您的状态后端，Flink还可以管理应用程序的状态，这意味着Flink处理内存管理(如果必要的话可能溢出到磁盘)，以允许应用程序保存非常大的状态。默认情况下，可以通过配置文件flink-conf.yaml确定所有Flink作业的状态后...
2019-09-28 15:15:20
94
翻译 22.DataStream API之State & Fault Tolerance(Queryable State)
flink 1.9Queryable StateBeta注意:用于可查询状态的客户端clientAPIs目前处于不断发展的状态，不能保证所提供的接口的稳定性。在即将到来的Flink版本中，很可能会更改客户端API。简而言之，此函数将Flink的managed keyed(分区)状态（请参阅Working with State）暴露给外部，并允许用户从Flink外部查询作业的状态。对...
2019-09-28 15:11:56
204
翻译 21.DataStream API之State & Fault Tolerance(Checkpointing)
flink 1.9The Broadcast State PatternFlink中的每个函数和操作符都可以是有状态的(有关详细信息，请参阅working with state)。有状态函数在各个元素/事件的处理过程中存储数据，使状态成为任何类型的更精细操作的关键构建块。为了使状态容错，Flink需要对状态进行检查点checkpoint。检查点允许Flink恢复流中的状态和位置，从...
2019-09-28 14:38:16
381
翻译 20.DataStream API之State & Fault Tolerance(The Broadcast State Pattern)
flink 1.9The Broadcast State PatternWorking with State描述了运算算子的状态，该状态在恢复时均匀地分布于操作算子的并行任务中，或者联合使用，整个状态用于初始化已恢复的并行任务。Flink支持的第三种操作算子状态是广播状态（Broadcast State）。引入广播状态（Broadcast State）是为了支持这样的用例:来自一...
2019-09-28 14:26:43
224
翻译 19.DataStream API之State & Fault Tolerance(Working with State)
flink 1.9State & Fault Tolerance本文档解释了如何在开发应用程序时使用Flink的状态抽象。Keyed State and Operator StateFlink中有两种基本状态:key值状态Keyed State和操作算子状态Operator State。Keyed StateKeyed State总是与key相关，并且只...
2019-09-27 23:14:58
226
翻译 18.DataStream API之State & Fault Tolerance(Overview)
flink 1.8State & Fault Tolerance有状态函数和操作算子在各个元素/事件的处理过程中存储数据，使状态成为任何类型的复杂操作的关键构件。例如当应用程序搜索某些事件模式时，状态将存储到目前为止遇到的事件序列。 当按分钟/小时/天聚合事件时，状态持有这期间的聚合。 当在数据流上训练机器学习模型时，状态保存模型参数的当前版本。 当需要管...
2019-09-27 22:58:38
133
翻译 17.DataStream API之Event Time(Pre-defined Timestamp Extractors Watermark Emitte)
flink 1.8Pre-defined Timestamp Extractors / Watermark Emitters正如在时间戳和水印处理timestamps and watermark handling中描述的，Flink提供了接口，允许编程者分配自己的时间戳并发出自己的水印。更确切的说，可以根据情况，实现 AssignerWithPeriodicWatermarks 或 ...
2019-09-27 22:51:57
211
翻译 16.DataStream API之Event Time(Generating Timestamps Watermarks)
flink 1.8Generating Timestamps / Watermarks本节主要介绍了基于事件时间event time的运行程序。有关事件时间event time、处理时间processing time和摄入时间ingestion time的介绍，请参阅事件时间介绍introduction to event time。为了处理事件时间event time，流程序需要设置...
2019-09-27 17:32:33
368
翻译 15.DataStream API之Event Time(Overview)
flink 1.8Event TimeEvent Time / Processing Time / Ingestion TimeFlink在流处理程序中支持不同的时间time概念。Processing time:处理时间是指执行相应操作的机器的系统时间。当流程序在处理时间processing time上运行时，所有基于时间的操作(比如时间窗口)都将使用运行各自操作算子机器的系统时...
2019-09-27 17:24:02
426
翻译 14.DataStream API之Overview
flink 1.8Flink DataStream API Programming Guide Flink DataStream API编程指南Flink中的DataStream程序是在数据流上实现转换的常规程序(例如，过滤filtering、更新状态updating state、定义窗口defining windows、聚合aggregating)。数据流最初是由不同的源sourc...
2019-09-24 20:23:11
226
翻译 13.Basic API Concepts之Java Lambda Expressions
flink 1.8Java Lambda ExpressionsJava 8引入了一些新的语言特性，旨在更快更清晰地编码。Java 8最重要的特性，即所谓的“Lambda表达式”，为函数式编程打开了大门。Lambda表达式允许以一种直接的方式实现和传递函数，而不需要声明额外的(匿名的)类。但是，当lambda表达式使用Java泛型时，您需要显式声明类型信息，Flink支持对Jav...
2019-09-20 17:35:32
173
翻译 12.Basic API Concepts之Scala API Extensions
flink 1.8Scala API Extensions为了保证Scala和Java APIs在语法间的一致性，在批处理和流处理的标准APIs中省略了Scala才具有的高级表达能力的特性。如果您想更好的体验Scala的用法，您可以选择选择通过隐式转换增强Scala API的扩展。要使用所有可用的扩展，您只需为DataSet API添加一个简单的importim...
2019-09-20 17:05:24
225
翻译 11.Basic API Concepts之Overview
flink 1.8Basic API ConceptsAPI的基本概念Flink程序是在分布式集合上实现转换的常规程序(例如，filtering, mapping, updating state, joining, grouping, defining windows, aggregating)。集合最初是从sources创建的(例如，从文件、kafka topics或本地内存集合...
2019-09-20 16:31:36
137
翻译 10.Project Build Setup之Configuring Dependencies, Connectors, Libraries
flink 1.8Configuring Dependencies, Connectors, Libraries配置依赖项、连接器和库每个Flink应用程序都依赖于一组Flink库。至少，应用程序依赖于Flink APIs。此外，许多应用程序还依赖于某些连接器connectors库(如Kafka、Cassandra等)。当运行Flink应用程序(无论是在分布式部署中，还是在用于测试的...
2019-09-20 16:15:46
118
翻译 9.Project Build Setup之Project Template for Scala
flink 1.8Project Template for Scala Scala项目模板Build Tools构建工具Flink项目可以使用不同的构建工具来构建。为了快速入门，Flink为以下构建工具提供了项目模板:SBT Maven这些模板帮助您设置项目结构并创建初始构建文件。SBTCreate Project您可以通过以下两种方法构建一个新项目:...
2019-09-20 16:10:44
172
翻译 8.Project Build Setup之Project Template for Java
flink 1.8Project Template for Java Java项目模板Build Tools构建工具Flink项目可以使用不同的构建工具来构建。为了快速入门，Flink为以下构建工具提供了项目模板:Maven Gradle这些模板帮助您设置项目结构并创建初始构建文件。MavenRequirements唯一的要求是使用Maven 3.0.4...
2019-09-20 15:57:41
208
翻译 7.Examples之Batch Examples
flink 1.8Batch Examples下面的示例程序展示了Flink的不同应用，从简单的单词计数到图形算法。代码示例演示了Flink’s DataSet API的使用。下面和更多示例的完整源代码可以在Flink源码库的flink-examples-batch模块中找到。Running an example为了运行一个Flink实例，我们假设您有一个可用的正...
2019-09-19 20:00:39
294
翻译 6.Examples之Overview
flink 1.8ExamplesBundled ExamplesFlink源文件包含了许多Flink不同APIs的例子:DataStream 应用程序 (Java/Scala) DataSet 应用程序 (Java/Scala) Table API / SQL 查询 (Java/Scala)这些说明instructions解释了如何运行示例。Exa...
2019-09-19 19:56:30
142
翻译 5.Tutorials 之Setup Tutorials(Running Flink on Windows)
flink 1.8Running Flink on Windows在Windows上运行Flink如果希望在Windows机器上本地运行Flink，需要下载并解压二进制Flink发行版。之后，您可以使用Windows Batch批处理文件(.bat)，或者使用Cygwin运行Flink Jobmanager。Starting with Windows Batch File...
2019-09-19 19:55:08
169
Lambda Calculus and Combination an introduction
2019-01-20
Apache-Subversion-1.8.13
2018-11-17
Apache-maven-3.5.2
2018-11-17
从零开始学Storm
2018-11-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人