Flink 1.14 前言预览
文章介绍:Flink1.14版本发布在即,各位小伙伴是不是已经迫不及待了呢。在Flink1.14中带来的变化将在这篇文章逐一进行简单介绍。我们首先先会回顾一下社区在Flink1.14的一些开发状态以及进度。然后来探讨一下社区在批流一体这个方向上的技术改进,批流一体作为社区重要的重要路线,所以对于批流一体的改进是十分重要的。与此同时我们还会探讨checkpoint机制调整、优化以及后续工作;同时进行引擎和资源效率优化的介绍;最后介绍Table-SQL-Api上面发生的改动,让用户在使用高级API时候更加方便。这次给我们带来分享的是阿里巴巴开源大数据平台技术专家宋辛童,花名五藏,Apache Flink PMC Member & Committer Flink 1.14 Release Manager
作者:宋辛童(花名:五藏) Apache Flink PMC Member & Committer
整理:陈政羽(Apache Flink Contributor,Apache Flink China 社区志愿者)
简介1.14这个新版本一共有35个比较重要的新特性以及一些优 ...
Flink SQL 1.13 深入解读
Flink SQL 1.13 深入解读文章介绍:Flink1.13版本于最近发布了,里面有比较多新的Feature和特性,今天就由我和徐榜江老师带着大家一起去探寻这些新特性,还有一些改进。徐榜江老师目前就职于阿里巴巴 Flink-SQL引擎团队,主要负责社区的SQL引擎模块开发。这篇文章一共会分为4个部分,首先我们会先给大家介绍Flink-SQL在1.13版本上面整体的一个改动,还有一些核心Feature的解读和重要改进,最后就是总结以及Flink1.14一些功能提前和大家剧透。
作者:徐榜江 (Apache Flink PMC)整理:陈政羽(Apache Flink Contributor,Apache Flink China 社区志愿者)
Flink SQL 1.13概览
Flink-SQL 1.13是一个社区大版本,解决的issue在1000+以上,通过图中我们可以看到解决的问题大部分是关于Table-SQL模块,一共400多个issue占了37%左右,主要是围绕了其中的5个Flip进行展开,稍后文章我们也会根据这5个进行描述,它们分别是
FLIP-145: 支持 Windo ...
Flink 1.12 资源管理新特性
文章介绍:相信大家在平时开发中常常会遇到一些关于作业配置的相关问题,例如如何配置Flink内存才能让作业稳定,高吞吐的运行;Flink是如何对内存管理的;在新的1.12版本中有什么关于内存或者资源的新特性新改变吗?在新的资源扩展框架下,如何利用GPU资源做深度学习或者机器学习的相关作业,你都能在这篇文章中找到答案。
今天就由来自阿里的两位专家,分别是宋辛童和郭旸泽给我们带来Flink在1.12上资源管理新特性的讲解,大家聊一聊关于内存管理以及资源调度相关的一些进展。 议题主要分为2部分,Flink在1.12版本上的高效内存管理和资源调度相关变化将由宋辛童老师讲解,关于扩展资源框架相关问题由郭旸泽老师给大家介绍,关于如何扩展资源框架和以及如何使用GPU进行Flink计算,最后还跟我们讨论了社区在资源管理方面未来的一些规划。
作者:宋辛童(Apache Flink Contributor,阿里巴巴技术专家) 、郭旸泽 (Apache Flink Contributor,阿里巴巴高级开发工程师)
整理:陈政羽(Apache Flink Contributor,Apache Flink Chi ...