因为网上大部分图都很渣所以自己整理了几张原创图,划清清浊

Flink v1.7

• 支持scala2.12版本

• 状态中序列化类演变

  • TypeSerializerSnapshot替换TypeSerializerConfigSnapshot

• 删除legacy mode

• Savepoints可用于恢复

  • 之前，当使用一次精确的接收器时，如果在执行保存点之后，在下一个savepoint出现之前发生故障，则可能会遇到重复输出数据的问题。

• MetricQueryService在单独的线程池中运行

• 延迟指标的粒度

• 延迟标记激活

• 迁移Hadoop的依赖项

• 支持多槽TaskManager

• StandaloneJobClusterEntrypoint生成具有固定JobID的JobGraph

• Scaca shell不支持scala2.12

• 故障转移策略的限制

• Window之前SQL子句可选

• OperatorSnapshotUtil写入v2快照

• SBT Project 和 MiniClusterResource

  • 如果使用sbt构建的项目需要使用MiniClusterResource，需要配置flink-runtime依赖jar

Flink v1.8

State

• 使用TTL连续增量清理旧的Keyed State

• 恢复Savepoints时支持新的模式迁移

• savepoint兼容性

  • 兼容1.3至1.7版本

• RocksDB版本自定义并切换到FRocksDB

Maven Dependencies

• Flink中不再自动绑定Hadoop依赖

  • Flink不再绑定Hadoop库，如需依赖，手动下载hadoop jar，并将其复制$FLINK_HOME/lib目录中

Configuration

• TaskManager配置

  • TaskManagers默认绑定到主机IP地址而不是主机名

  • 可以再flink-conf.yaml文件中，通过配置选项控制：taskmanager.network.bind-policy

Table API

• 弃用直接使用Table构造函数用法

  • 使用 table.joinLateral()或 table.leftOuterJoinLateral()代替

• 引入新的CSV格式描述符

• 在TableEnvironment上弃用静态生成器方法

  • TableEnvironment.getTableEnvironment()不建议使用静态方法，使用Batch/StreamTableEnvironment.create()

• 更改Table API的maven模块

  • java语言使用flink-table-api-java-bridge，scala语言使用flink-table-api-scala-bridge

• 更改外部目录表构建器

  • 不推荐使用ExternalCatalogTable.builder()，推荐使用ExternalCatalogTableBuilder()

• 更改Table API连接器jar的命名

  • 使用maven构建jar依赖时，不再具有sql-jar限定符，并且artifactId现在以flink-sql代替flink，例如 flink-sql-connector-kafka

• 更改制定Null字面含义

  • 需要使用Table API定义Null字面含义，nullOf(type)，而不是Null(type)

Connectors

• 引入新的KafkaDeserializationSchema，可以直接访问ConsumerRecord

• FlinkKafkaConsumer将根据主题规范过滤还原分区

Miscellaneous Interface Changes(更改容冗余接口)

• 从TypeSerializer接口中删除了canEqual()方法

• 删除CompositeSerializerSnapshot实用程序类

Memory Management

• 在Fink 1.8.0和更低版本中，taskmanager的托管内存部分由进行控制taskmanager.memory.fraction，并且默认值为0.7。但是，有时由于JVM参数NewRatio的默认值为2，这将导致OOMs ，这意味着旧版本仅占用堆内存的2/3（0.66）。因此，如果遇到这种情况，请手动将此值更改为较低的值。

Flink v1.9

SQL DDL

• 在Flink 1.9.0中，社区还添加了有关SQL DDL的预览功能，但仅适用于批处理样式DDL。因此，尚不支持所有与流有关的概念，例如水印。(开始支持预览版的Hive)

Java 9支持

• 从Flink 1.9.0开始，Flink现在可以在Java 9上编译并运行。请注意，某些与外部系统交互的组件（连接器，文件系统，度量报告器等）可能无法工作，因为各个项目可能已跳过Java 9支持。

内存管理

在Fink 1.9.0和更早版本中，taskmanager的托管内存分数由来控制taskmanager.memory.fraction，并且默认值为0.7。但是，有时由于JVM参数NewRatio的默认值为2，这将导致OOMs，这意味着旧版本仅占用堆内存的2/3（0.66）。因此，如果遇到这种情况，请手动将此值更改为较低的值。

用于表API的Scala表达式DSL已移至 flink-table-api-scala

• 从1.9.0版开始，Table API的Scala表达式DSL的隐式转换已移至 flink-table-api-scala。这要求用户更新其Table程序中的导入。

故障转移策略

• 作为完成细粒度恢复的结果，Flink将尝试重新启动任务，通过管道连接，连接到失败的任务。默认情况下，使用region故障转移策略。

通过Client终止任务

• 支持带有语义正确性保存点的正常作业终止，对client进行了一些与作业终止有关的更改。

网络堆栈

• 与StreamTask基于邮箱的方法线程模型，更改网络堆栈中一些需要密切注意的一些相关配置：

  • 由于结果分区的生命周期管理发生了变化，因此分区请求以及重新触发现在将更快地发生。因此，PartitionNotFound与以前的版本相比，某些部署时间较长且状态较大的作业可能会开始更频繁地失败（例外）。在这种情况下，用户应增加值，taskmanager.network.request-backoff.max以使有效分区请求超时与1.9.0之前的超时相同。

  • 为避免潜在的死锁，已添加了超时时间，任务将等待分配独占内存段的时间。默认超时为30秒，可通过进行配置taskmanager.network.memory.exclusive-buffers-request-timeout-ms。对于某些先前工作的部署，此默认超时值可能太低，可能需要增加。

异步IO

• 由于的错误AsyncWaitOperator，在1.9.0版中，此操作符的默认链接行为现已更改，因此它永远不会链接到另一个操作符。

连接器和库

• 推出KafkaSerializationSchema全面替代KeyedSerializationSchema

• 丢弃的连接器和库

• Elasticsearch 1 connector已删除，将不再接收修补程序。

• 用于批处理和流式传输的较旧的Python API已被删除，将不再收到新的补丁程序。

• 较老的机器学习库已被删除，将不再接收新的补丁。

MapR依赖项已删除

• 依赖于MapR的特殊供应商artifacts已被删除，通过改变MapR文件系统连接器，仅基于反射工作。可以消除MapR对特定供应商artifacts依赖。这讲对引入MapR文件系统的支持中不会有任何限制。由于对MapR artifacts存储库的安全https端点的访问非常不稳定，并且影响了Flink的构建稳定性，因此决定删除对MapR artifacts的强依赖性。

StateDescriptor接口更改

• 现在可以将对StateDescriptor中状态串行器的访问从受保护访问更改为私有访问。子类应使用StateDescriptor＃getSerializer()方法作为获取包装状态序列化器的唯一方法。

Web UI仪表板

• Flink的Web前端已更新为使用最新的Angular版本（7.x）。 旧的前端在Flink 1.9.x中仍然可用，但是在新的前端被认为稳定之后，将在以后的Flink版本中将其删除。

Flink v1.10

集群与部署

• 文件系统应通过插件架构加载

• Flink客户遵守类加载策略

• 启用在所有TaskManager中平均分配任务

• 更改目录结构以获取高度可用的工件

• 资源和JARs将通过–yarnship在classpath中订阅

• 删除–yn / –yarncontainer命令行选项

• 删除–yst / –yarnstreaming命令行选项

• Mesos集成拒绝提供expired将更快

• 调度程序重组

• Java 11支持

  • 注意，Cassandra，Hive，HBase和Kafka 0.8–0.11的连接器尚未通过Java 11进行测试，因为在Flink 1.10.0发行时各个项目均未提供Java 11支持。

内存管理

• 新的任务执行器内存模型

• 弃用和重大更改

• RocksDB State Backend内存控制

  • 加上新的任务执行器内存模型的引入，RocksDB状态后端的内存消耗将受到Flink受管内存总量的限制

• 细粒度操作资源管理

表API和SQL

• 将ANY Type重命名为RAW Type

• 重命名Table Connector Properties

• 临时表&视图进行交互的方法

  • 方法registerTable()/ registerDataStream()/ registerDataSet()被弃用，取而代之的createTemporaryView()

  • scan()被弃用，而推荐使用from()方法

  • 方法registerTableSource()/ registerTableSink()被弃用，使用`ConnectTableDescriptor#createTemporaryTable()``

  • `insertInto(String path, String... pathContinued)被删除，支持insertInto(String path)

• 删除ExternalCatalog API

  • 已弃用的ExternalCatalogAPI被删除。包括：ExternalCatalog，SchematicDescriptor，MetadataDescriptor，StatisticsDescriptor

  • 建议用户使用新的Catalog API

Configuration

• ConfigOptions的类型信息简介

  • 如果无法将配置的值解析为所需的类型，则org.apache.flink.configuration.Configuration抛出 getter IllegalArgumentException。

  • 在以前的Flink版本中，在这种情况下将返回默认值。

• 增加默认延迟重启

  • 默认延迟重启策略（即fixed-delay 和failure-rate）已提高到1 s（原为0 s）。

• 简化群集级别重启策略配置

• 默认情况下禁用内存映射的BoundedBlockingSubpartition

• 删除non-credit-based网络流控制

• 删除HighAvailabilityOptions＃HA_JOB_DELAY

  • 该配置选项high-availability.job.delay已被删除

State

• 默认情况下启用TTL状态后台清除（FLINK-14898）

• 弃用StateTtlConfig＃Builder＃cleanupInBackground()

• 使用RocksDBStateBackend时，默认情况下将计时器存储在RocksDB中

• 删除StateTtlConfig＃TimeCharacteristic

• 一种新的有效方法来检查MapState是否为空（FLINK-13034）

  • 添加一种新方法MapState#isEmpty()，使用户可以检查MapState是否为空。新方法比mapState.keys().iterator().hasNext()使用RocksDB状态后端的速度快40％ 。

• RocksDB升级

  • 再次发布构建自身的RocksDB（FRocksDB），该构建基于RocksDB版本5.17.2，并为Write Buffer Manager提供了多个功能反向移植，以限制RocksDB的内存使用。

• 默认情况下禁用RocksDB日志记录

• 改进的RocksDB Savepoints恢复

  • 引入了可配置的内存限制，RocksDBWriteBatchWrapper 默认值为2 MB。RocksDB的WriteBatch将在达到消耗的内存限制之前刷新。

  • 可以通过flink-conf.yaml中的state.backend.rocksdb.write-batch-size配置选项调整限制 。

PyFlink

• 不再支持Python2

监控方式

• InfluxdbReporter跳过Inf和NaN

连接器

• Kinesis连接器许可证更改

更改冗余接口

• ExecutionConfig＃getGlobalJobParameters（）不再返回null

• 更改MasterTriggerRestoreHook接口规范

• HA服务中的客户端/服务器端分离

• 弃用HighAvailabilityServices＃getWebMonitorLeaderElectionService()

• LeaderElectionService中的界面更改

• 弃用检查点锁

• 弃用OptionsFactory和ConfigurableOptionsFactory接口

• 不兼容序列化JobGraphs

Flink v1.11

集群与部署

• 支持应用程序模式

• Web提交的行为与分离模式相同

• 支持Hadoop 3.0.0及更高版本

• flink-csv并flink-json捆绑在lib文件夹

• 清除LegacyScheduler

• 绑定用户代码类加载器到Slot的生命周期中

• 在workers中替换slave文件名

• 改进Flink Docker集成

内存管理

• 新的JobManager内存模型

  • JobManager引入了新的内存模型。引入了新的配置选项来控制JobManager进程的内存消耗。这会影响所有类型的部署：

    • standalone, YARN, Mesos,和新的Kubernetes integration

    • 如果尝试在没有任何调整的情况下重用以前的Flink配置，那么新的内存模型可能会导致JVM的计算内存参数不同，从而导致性能变化甚至失败。为启动JobManager，你必须指定下列选项的至少一个参数

      • jobmanager.memory.flink.size

      • 或jobmanager.memory.process.size

      • 或jobmanager.memory.heap.size

• JVM参数

  • JobManager的JVM进程的direct和metaspace内存受到下列配置值的限制

    • jobmanager.memory.off-heap.size

    • jobmanager.memory.jvm-metaspace.size

• 删除不推荐使用的mesos.resourcemanager.tasks.mem

表API和SQL

• Blink是默认的planner

• 更改了Table API的包结构

• 删除弃用的StreamTableSink

• 删除BatchTableSink的emitDataSet方法

• 纠正TableEnvironment.execute()和StreamTableEnvironment.execute()的执行行为

  • 在以前的版本中，TableEnvironment.execute()并且StreamExecutionEnvironment.execute()可以同时触发table和DataStream程序。

  • 从Flink 1.11.0开始， table programs 只能由触发TableEnvironment.execute()。

  • 将 table programs 转换为DataStream程序（通过toAppendStream()或toRetractStream()方法）后，只能由触发StreamExecutionEnvironment.execute()。

• 纠正ExecutionEnvironment.execute()和BatchTableEnvironment.execute()的执行行为

  • 在以前的版本中，BatchTableEnvironment.execute()并且ExecutionEnvironment.execute()都可以为旧的批处理计划程序触发表和DataSet程序。

  • 从Flink 1.11.0开始，批处理表程序只能由触发BatchEnvironment.execute()。

  • 将表程序转换为DataSet程序（通过toDataSet()方法）后，只能由触发ExecutionEnvironment.execute()。

• 在Rwo Type中添加了一个更改标记

  • 名为的附加更改标记RowKind已添加到该Row类型。

  • 更改了序列化格式，并将触发状态迁移。

Configuration

• 重命名了log4j-yarn-session.properties和logback-yarn.xml属性文件

State

• 删除StateTtlConfig中废弃的cleanupInBackground方法（State TTL）

• 删除禁用TTL压缩过滤器的选项

• 更改了StateBackendFactory中createFromConfig方法的参数类型

• 删除废弃的OptionsFactory和ConfigurableOptionsFactory类

• 默认情况下启用setTotalOrderSeek

• 增加state.backend.fs.memory-threshold默认大小

  • state.backend.fs.memory-threshold的默认值已从1K增加到20K，以防止在远程文件系统上通过小的状态设置创建大量小文件。

PyFlink

• 不支持的数据类型引发异常

Monitoring

• 将所有MetricReporters转为插件

• 更改DataDog指标报告Counter指标

• 默认使用的日志切换到Log4j 2

• JobManager API的日志请求后的响应

• 删除lastCheckpointAlignmentBuffered指标

Connectors

• 删除Kafka 0.8 / 0.9 connectors

• 删除Elasticsearch 2.x connectors

• 删除废弃的KafkaPartitioner

• 精确后备文件系统仅用来处理特殊文件系统

• 弃用FileSystem中getKind方法

Runtime

• 部分检查点的同步失败时，流任务总是会立即失败

• 将不再忽略Checkpoint超时，通过CheckpointConfig中setTolerableCheckpointFailureNumber 设置

更改冗余接口

• 删除废弃StreamTask中的getCheckpointLock方法

• flink-streaming-java模块不再依赖flink-client

  • 必须添加flink-clients为显式依赖项。

• AsyncWaitOperator可再次链接

• 更改ShuffleEnvironment中createInputGates方法和createResultPartitionWriters方法的参数类型

• 弃用CompositeTypeSerializerSnapshot中isOuterSnapshotCompatible方法

• 删除废弃的TimestampExtractor对象

• 弃用ListCheckpointed接口

• 删除废弃的状态访问方法

  • 删除了过时的状态访问方法RuntimeContext#getFoldingState()，OperatorStateStore#getSerializableListState()，OperatorStateStore#getOperatorState()

Flink版本升级Hive支持变化

Flink1.8

• flink jdbc

• flink user define hive sink

• flink hdfs on hive

  无hive支持

Flink1.9

• 推出预览版hive集成（HiveCatalog对象）

  • 该版本允许用户使用 SQL DDL 将 Flink 特有的元数据持久化到 Hive Metastore、调用 Hive 中定义的 UDF 以及读、写 Hive 中的表。

  • Flink 1.10 进一步开发和完善了这一特性，带来了全面兼容 Hive 主要版本的生产可用的 Hive 集成。

  • Flink 只支持写入未分区的 Hive 表

Flink1.10

• Flink SQL 扩展支持了 INSERT OVERWRITE 和 PARTITION 的语法，允许用户写入 Hive 中的静态和动态分区。

   -- 写入静态分区：INSERT { INTO | OVERWRITE } TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;-- 写入动态分区：INSERT { INTO | OVERWRITE } TABLE tablename1 select_statement1 FROM from_statement;

• 投影下推：Flink 采用了投影下推技术，通过在扫描表时忽略不必要的域，最小化 Flink 和 Hive 表之间的数据传输量。这一优化在表的列数较多时尤为有效。

• 读取数据时的 ORC 向量化： 为了提高读取 ORC 文件的性能，对于 Hive 2.0.0 及以上版本以及非复合数据类型的列，Flink 现在默认使用原生的 ORC 向量化读取器。

• Flink 1.10 在 Flink table 核心引入了通用的可插拔模块机制，目前主要应用于系统内置函数。通过模块，用户可以扩展 Flink 的系统对象，例如像使用 Flink 系统函数一样使用 Hive 内置函数。新版本中包含一个预先实现好的 HiveModule，能够支持多个 Hive 版本，当然用户也可以选择编写自己的可插拔模块 。

• Flink 1.10 在 SQL DDL 中增加了针对流处理定义时间属性及产生 watermark 的语法扩展。这使得用户可以在用 DDL 语句创建的表上进行基于时间的操作（例如窗口）以及定义 watermark 策略

• 扩展了 SQL DDL 的语法，支持创建目录函数、临时函数以及临时系统函数

   CREATE [TEMPORARY|TEMPORARY SYSTEM] FUNCTION[IF NOT EXISTS] [catalog_name.][db_name.]function_nameAS identifier [LANGUAGE JAVA|SCALA]

Flink1.11

• 1.11版本最为显著的一个改进是 Hive Integration 显著增强，真正意义上实现了基于 Hive 的流批一体