Apache Flink 1.14 新特性预览 - OSCHINA
时间来看,整个任务初始化,调度以及部署的阶段,大概能够减少分钟级的时间消耗。 2. 细粒度资源管理 细粒度资源管理在过去很多的版本都一直在做,在 Flink1.14 终于可以把这一部分 API 开放出来在 DataSteam 提供给用户使用了。用户可以在 DataStream 中自定义 SlotSharingGroup 的划分情况,如下图所示的方式去定义 Slot 的资源划分,实现了支持 DataStream API,自定义 SSG 划分方式以及资源配置 TaskManager 动态资源扣减。 对于每一个 Slot 可以通过比较细粒度的配置,我们在 Runtime 上会自动根据用户资源配置进行动态的资源切割。 这样做的好处是不会像之前那样有固定资源的 Slot,而是做资源的动态扣减,通过这样...阅读全文