回顾 | Apache Flink X Apache RocketMQ · 上海站(PPT下载)

7 月 6 日,Apache Flink Meetup X Apache RocketMQ · 上海站,来自阿里巴巴、网易的 Flink 技术专家与 Apache RocketMQ 社区大咖一起分享关于 Flink、RocketMQ 的应用实践与前沿技术。

《网易云音乐消息队列改造之路与 Apache Flink 应用实践》

林德智 | 网易云音乐 消息队列负责人

岳猛 | Apache Flink Contributor,网易云音乐 实时计算平台研发工程师

本次分享主要介绍了网易云音乐消息队列基于 RocketMQ 的应用以及在消息队列的基础上深度融合的 Flink 流式处理引擎为云音乐提供的实时计算解决方案,分享了在直播,广告,曲库,内容等取得的应用效果。

  • 云音乐消息队列的历史
  • 基于 RocketMQ 改造消息队列
  • 部分高级特性与 bug 修复
  • RocketMQ 与 Flink 结合应用实践

《万亿级消息及流处理引擎 - Apache RocketMQ 的现在和未来》

厉启鹏(寈峰)| 阿里巴巴 RocketMQ 技术专家

本次分享主要介绍 RocketMQ 的应用场景、概念模型及技术架构、RocketMQ 的生态规划、在企业的应用实践、 RocketMQ 社区的现状与目标以及未来的规划与发展等。

  • Overview
  • Use Case
  • Comminuty
  • Future

《ActiveMQ 平滑迁移到 RocketMQ 的挑战与实践》

王晔倞 | 好买财富 平台产品部技术总监

随着业务的快速发展,松耦合、微服务等事项在业务场景中得到落地,ActiveMQ 在演进的过程中存在吞吐量低、无法分片等问题,本次演讲主要分享从 ActiveMQ 迁移到 RocketMQ 的过程中的实践与挑战,并分享在整个迁移过程中踩到的坑以及相关经验。

  • 背景介绍
  • 我们用消息中间件做什么?
  • ActiveMQ 难道不好吗?
  • 迁移到 RocketMQ,我们遇到哪些挑战?

《Spring Cloud Stream RocketMQ Binder & Bus 揭秘》

方剑 | 阿里巴巴 中间件高级开发工程师

本次分享介绍了 Spring 技术栈内部多个项目并揭秘 Spring-cloud 官方推荐 Spring Cloud Stream RocketMQ Binder 以及 RocketMQ Bus,同时现场进行 Demo 演示。

Message in Spring
Intro Spring Cloud Stream & Bus
Spring Cloud Stream RocketMQ Binder & Bus
Demo - Spring Cloud Stream RocketMQ Binder & Bus

《Apache Flink Table API 介绍》

程鹤群(军长)| 阿里巴巴 高级开发工程师

主要分享 Flink Table API 是什么,如何使用 Table API 以及 Table API 的近况及计划。对比 Flink 各 API 和 Table API 的区别,介绍概念的同时,也从 Table API 编程的角度介绍如何使用 Table API。

  • 什么是 Table API
  • 如何使用 Table API
  • Table API 近况

以上是本次上海站的全部内容,夏天出门来 Meetup 参会的都是真爱,感谢大家来现场,嘉宾分享的 PPT 下载请在Ververica公众号后台回复关键字“0706PPT”领取。

Tips:

Flink Forward Asia 2019 填问卷送周边活动已开启,我们诚挚地邀请您参与会前调研,想听什么议题,想见哪位大佬,想要什么礼品,由你决定!欢迎通过问卷告诉我们,送送送社区周边~详情请点击 ▼

福利 | Flink Forward Asia 2019 由你决定,填问卷,送周边!
https://mp.weixin.qq.com/s/a-7IUy8xZF-x54GuagMGkg

原文地址:https://blog.51cto.com/14286418/2418398

时间: 2024-08-02 08:30:16

回顾 | Apache Flink X Apache RocketMQ · 上海站(PPT下载)的相关文章

Apache Flink简介

Apache Flink简介 Apache Flink是一个可伸缩的开源批处理和流处理平台.其核心模块是一个数据流引擎,该引擎在分布式的流数据处理的基础上提供数据分发.交流.以及容错的功能,其架构图如下: 该引擎包含如下APIs: 1. DataSet API for static data embedded in Java, Scala, and Python 2. DataStream API for unbounded streams embedded in Java and Scala,

Apache Flink 整体介绍

前言 Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topic 里面实时读取到监控数据,并将读取到的监控数据做一些 聚合/转换/计算 等操作,然后将计算后的结果与告警规则的阈值进行比较,然后做出相应的告警措施(钉钉群.邮件.短信.电话等).画了个简单的图如下: 目前告警这块的架构是这样的结构,刚进公司那会的时候,架构是所有的监控数据直接存在 ElasticS

Apache Flink fault tolerance源码剖析完结篇

这篇文章是对Flinkfault tolerance的一个总结.虽然还有些细节没有涉及到,但是基本的实现要点在这个系列中都已提及. 回顾这个系列,每篇文章都至少涉及一个知识点.我们来挨个总结一下. 恢复机制实现 Flink中通常需要进行状态恢复的对象是operator以及function.它们通过不同的方式来达到状态快照以及状态恢复的能力.其中function通过实现Checkpointed的接口,而operator通过实现StreamOpeator接口.这两个接口的行为是类似的. 当然对于数据

Apache Flink 零基础入门(一):基础概念解析

作者:陈守元.戴资力 一.Apache Flink 的定义.架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算. 1. Flink Application 了解 Flink 应用开发需要先理解 Flink 的 Streams.State.Time 等基础处理语义以及 Flink 兼顾灵活性和方便性的多层次 API. Streams:流,分为有限数据流与无限数据流,unbou

Apache Flink流分区器剖析

这篇文章介绍Flink的分区器,在流进行转换操作后,Flink通过分区器来精确得控制数据流向. StreamPartitioner StreamPartitioner是Flink流分区器的基类,它只定义了一个抽象方法: public abstract StreamPartitioner<T> copy(); 但这个方法并不是各个分区器之间互相区别的地方,定义不同的分区器的核心在于--各个分区器需要实现channel选择的接口方法: int[] selectChannels(T record,

Apache Flink fault tolerance源码剖析(四)

上篇文章我们探讨了Zookeeper在Flink的fault tolerance中发挥的作用(存储/恢复已完成的检查点以及检查点编号生成器). 这篇文章会谈论一种特殊的检查点,Flink将之命名为--Savepoint(保存点). 因为保存点只不过是一种特殊的检查点,所以在Flink中并没有太多代码实现.但作为一个特性,值得花费一个篇幅来介绍. 检查点VS保存点 使用数据流API编写的程序可以从保存点来恢复执行.保存点允许你在更新程序的同时还能保证Flink集群不丢失任何状态. 保存点是人工触发

Apache Flink fault tolerance源码剖析(一)

因某些童鞋的建议,从这篇文章开始结合源码谈谈Flink Fault Tolerance相关的话题.上篇官方介绍的翻译是理解这个话题的前提,所以如果你想更深入得了解Flink Fault Tolerance的机制,推荐先读一下前篇文章理解它的实现原理.当然原理归原理,原理体现在代码实现里并不是想象中的那么直观.这里的源码剖析也是我学习以及理解的过程. 作为源码解析Flink Fault Tolerance的首篇文章,我们先暂且不谈太有深度的东西,先来了解一下:Flink哪里涉及到检查点/快照机制来

Apache Flink

Flink 剖析 1.概述 在如今数据爆炸的时代,企业的数据量与日俱增,大数据产品层出不穷.今天给大家分享一款产品—— Apache Flink,目前,已是 Apache 顶级项目之一.那么,接下来,笔者为大家介绍Flink 的相关内容. 2.内容 2.1 What's Flink Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能.现有的开源计算方案,会把流处

Apache Flink fault tolerance源码剖析(三)

上一篇文章我们探讨了基于定时任务的周期性检查点触发机制以及基于Akka的actor模型的消息驱动协同机制.这篇文章我们将探讨Zookeeper在Flink的Fault Tolerance所起到的作用. 其实,Flink引入Zookeeper的目的主要是让JobManager实现高可用(leader选举). 因为Zookeeper在Flink里存在多种应用场景,本篇我们还是将重心放在Fault Tolerance上,即讲解Zookeeper在检查点的恢复机制上发挥的作用. 如果用一幅图表示快照机制