王绍翾:为什么阿里会选择 Flink 作为新一代流式计算引擎?
2017 年 10 月 19 日,阿里巴巴的高级技术专家王绍翾(花名“大沙”)将为 QCon 上海的听众带来一场以大数据...
关注互联网生态圈 分享前沿科学与技术
Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言,其所要处理的主要场景就是流数据,批数据只是流数据的一个极限特例而已。再换句话说,Flink 会把所有任务当成流来处理,这也是其最大的特点。Flink 可以支持本地的快速迭代,以及一些环形的迭代任务。并且 Flink 可以定制化内存管理。在这点,如果要对比 Flink 和 Spark 的话,Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink,更容易出现 OOM 的原因(out of memory)。就框架本身与应用场景来说,Flink 更相似与 Storm。如果之前了解过 Storm 或者 Flume 的读者,可能会更容易理解 Flink 的架构和很多概念。
Flink 的前身已经是柏林理工大学一个研究性项目, 在 2014 被 Apache 孵化器所接受,然后迅速地成为了 ASF(Apache Software Foundation)的顶级项目之一。
2017 年 10 月 19 日,阿里巴巴的高级技术专家王绍翾(花名“大沙”)将为 QCon 上海的听众带来一场以大数据...