flink 学习

一、运行 SockWordCount例子

1、到官网上下载

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px Monaco; color: #f4f4f4; background-color: #000000 }
span.s1 { }

flink-1.6.2-bin-hadoop27-scala_2.11.tgz

然后加压出来

2、cd flink-1.6.2

3、打开flink本地集群

./bin/start-cluster.sh

可以到 localhost.8100上看是否启动

4、打开一个网络cat

nc -l 9000

5、运行编译好的jar

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px Monaco; color: #f4f4f4; background-color: #000000 }
span.s1 { }

./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

6、在nc这边输入一些字符,每隔5秒钟flink就会统计一次字数

tail -f log/flink-xxx-taskexecutor.xxx.log 可以查看统计结果

7、关闭集群

./bin/stop-cluster.sh

原文地址:https://www.cnblogs.com/longjmp/p/10035767.html

时间: 2024-10-17 14:32:42

flink 学习的相关文章

flink学习之十一-window&EventTime实例

上面试了Processing Time,在这里准备看下Event Time,以及必须需要关注的,在ET场景下的Watermarks. EventTime & Watermark Event time programs must specify how to generate Event Time Watermarks, which is the mechanism that signals progress in event time. 以event time为准的程序,必须要指定waterma

flink学习

flink迭代机制 Iterate: 普通迭代 ,实现逻辑在Step 函数中, Step的输入是初始的整个数据集, 或者是上一轮迭代的结果.Step函数包含 map.reduce,join等运算组成.例子: 输入为1到5的数字, Step函数为 output = input.map(_ + 1), 迭代终止条件为迭代10次, 那么最后输出结果为11到15的数字 Delta Iterate:增量迭代,它有2个输入,其中一个是初始Workset,表示输入待处理的增量Stream数据,另一个是初始So

Flink学习(一)

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能. 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟.Exactly-once保证,而批处理需要支持高吞吐.高效处理. Flink从另一个视角看待流处理和批处理,将二者统一起来:Flink是完全支持流处理,也就是说作为

Flink学习之路(一)Flink简介

一.什么是Flink? Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能. 二.Flink特点 1.现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型:流处理一般需要支持低延迟.Exactly-Once保证,而批处理一般要支持高吞吐.高效处理 2.Flink是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的:而批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的. 技术特点: 1.流处理特性 支

Apache Flink流分区器剖析

这篇文章介绍Flink的分区器,在流进行转换操作后,Flink通过分区器来精确得控制数据流向. StreamPartitioner StreamPartitioner是Flink流分区器的基类,它只定义了一个抽象方法: public abstract StreamPartitioner<T> copy(); 但这个方法并不是各个分区器之间互相区别的地方,定义不同的分区器的核心在于--各个分区器需要实现channel选择的接口方法: int[] selectChannels(T record,

浅谈Flink批处理优化器之Join优化

跟传统的关系型数据库类似,Flink提供了优化器"hint"(提示)以告诉优化器选择一些执行策略.目前优化提示主要针对批处理中的连接(join).在批处理中共有三个跟连接有关的转换函数: join:默认为等值连接(Equi-join),维基百科将其归类为内连接(inner join)的一种 https://en.wikipedia.org/wiki/Join_(SQL): outerJoin:外连接,具体细分为left-outer join.right-outer join.full-

Flink批处理优化器之成本估算

成本估算 在基于成本的优化器中,成本估算非常重要,它直接影响着候选计划的生成.在Flink中成本估算依赖于每个不同的运算符所提供的自己的"预算",本篇我们将分析什么是成本.运算符如何提供自己的预算以及如何基于预算估算成本. 什么是成本 Flink以类Costs来定义成本,它封装了一些成本估算的因素同时提供了一些针对成本对象的计算方法(加.减.乘.除)以及对这些因素未知值的认定与校验. "cost"一词也有译作:开销.代价,将其视为同义即可. Flink当前将成本估算

Flink类型系统的根及基本接口

之前我们谈到了Flink通过自主管理内存的方式来,避免了让JVM管理内存带来的一些问题.自主管理内存之后,JVM中原生的类型也就不适合使用了.因此Flink也对Java的类型进行了扩展,这就是我们本节关注的内容. 本节探讨的相关类主要位于包:org.apache.flink.types 类型的根Value Value位于所有类型的继承链的最顶端,可以说是所有类型的根.它代指所有可被序列化为Flink二进制表示的类型.该接口本身并不提供任何接口方法,但它继承自两个接口.下图是它的继承关系图: 从上

Apache Flink fault tolerance源码剖析(四)

上篇文章我们探讨了Zookeeper在Flink的fault tolerance中发挥的作用(存储/恢复已完成的检查点以及检查点编号生成器). 这篇文章会谈论一种特殊的检查点,Flink将之命名为--Savepoint(保存点). 因为保存点只不过是一种特殊的检查点,所以在Flink中并没有太多代码实现.但作为一个特性,值得花费一个篇幅来介绍. 检查点VS保存点 使用数据流API编写的程序可以从保存点来恢复执行.保存点允许你在更新程序的同时还能保证Flink集群不丢失任何状态. 保存点是人工触发