Flink配置详解及实践

#jobManager的IP地址
jobmanager.rpc.address: localhost

#JobManager的端口号
jobmanager.rpc.port: 6123

# JobManagerJVM heap 内存大小(任务提交阶段可再设置,优先级高于配置文件)
jobmanager.heap.mb: 1024

# TaskManager JVM heap 内存大小(任务提交阶段可再设置,优先级高于配置文件)
taskmanager.heap.mb: 2048

#每个TaskManager 提供的任务slots梳理大小(任务提交阶段可再设置,优先级高于配置文件)
taskmanager.numberOfTaskSlots: 1

#Flink任务默认并行度 (一般情况下如果是kafka 按照kafka分区数即可,p=slot*tm)
parallelism.default: 1

#Web的运行监视器端扣
web.port: 8081

#将已完成的作业上传到的目录(用于帮助发现任务运行阶段日志信息)
jobmanager.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#基于Web的HistoryServer的端口号
historyserver.web.port: 8082

#以逗号分割的目录列表,将作业归档到目录中
historyserver.archive.fs.dir: hdfs://nameservice/flink/flink-jobs/

#刷新存档的作业目录的时间间隔(单位:毫秒)
historyserver.archive.fs.refresh-interval: 10000

#用于存储和检查点状态的存储类型:filesystem hdfs rocksdb
state.backend: rocksdb

##存储检查点的数据文件和元数据的默认目录
state.backend.fs.checkpointdir: hdfs://nameservice/flink/pointsdata/

#用于保存检查点的目录(用户任务代码可设置覆盖,这里省略了nameservice,如果多集群任务需要从A发到B,nameservice可不用,相对路径即可)
state.checkpoints.dir: hdfs:///flink/checkpoints/

#save point的目录 (一般需要上次ck成功才能savepoint,同上相对路径)
state.savepoints.dir: hdfs:///flink/savepoints/

#保存最近的检查点数量 可是业务情况调整
state.checkpoints.num-retained: 20

#开启增量ck 这里全局生效 用户代码也可设置
state.backend.incremental:true

#超时
akka.ask.timeout: 300s

#akka心跳间隔,用于检测失效的TaskManager,误报减小此值
akka.watch.heartbeat.interval: 30s

#如果由于丢失或延迟的心跳信息而错误的将TaskManager标记为无效,增加此值
akka.watch.heartbeat.pause: 120s

#网络缓冲区的最大内存大小
taskmanager.network.memory.max: 4gb

#网络缓冲区的最小内存大小
taskmanager.network.memory.min: 256mb

#用于网络缓冲区的JVM内存的分数。这决定了TaskManager可以同时具有多少个流数据交换通道以及通道的缓冲程度。
taskmanager.network.memory.fraction: 0.5

#hadoop配置文件地址
fs.hdfs.hadoopconf: /etc/ecm/hadoop-conf/

#任务失败尝试次数
yarn.application-attempts: 10

#高可用
high-availability: zookeeper
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum:zk1,zk2,zk3
high-availability.storageDir: hdfs://nameservice/flink/ha/

#metric收集信息
metrics.reporters: prom
#收集器
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

#metric对外暴露端口
metrics.reporter.prom.port: 9250-9260

或者
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: xx.xx.xx.xx
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: flink
metrics.reporter.influxdb.username:
metrics.reporter.influxdb.password:

原文地址:https://www.cnblogs.com/createweb/p/11738506.html

时间: 2024-10-17 02:26:01

Flink配置详解及实践的相关文章

apache配置详解与实践

1.配置文件说明 1.1 主配置文件目录 vi /etc/httpd/conf/httpd.conf 1.2 配置文件格式 # directive 指令 value 值 ServerRoot "/etc/httpd" ServerRoot 代表apache服务的根路径,一般不修改. 2.配置项详解 2.1 ServerRoot 服务所在目录的路径,不需要做修改 ServerRoot "/etc/httpd" 2.2 Listen 监听端口 #Listen 12.34

使用LVS实现负载均衡原理及安装配置详解

转:http://www.cnblogs.com/liwei0526vip/p/6370103.html 使用LVS实现负载均衡原理及安装配置详解 负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群.常用的负载均衡开源软件有nginx.lvs.haproxy,商业的硬件负载均衡设备F5.Netscale.这里主要是学习 LVS 并对其进行了详细的总结记录. 一.负载均衡LVS基本介绍 LB集群的架构和原理很简单,就是当用户的请求过来时,会直接分发到Director

使用 LVS 实现负载均衡原理及安装配置详解

使用 LVS 实现负载均衡原理及安装配置详解 来源:肖邦linux 发布时间:2017-02-19 阅读次数:106 0 负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群.常用的负载均衡开源软件有nginx.lvs.haproxy,商业的硬件负载均衡设备F5.Netscale.这里主要是学习 LVS 并对其进行了详细的总结记录. 一.负载均衡LVS基本介绍 LB集群的架构和原理很简单,就是当用户的请求过来时,会直接分发到Director Server上,然后它把用

maven常用插件配置详解

常用插件配置详解Java代码    <!-- 全局属性配置 --> <properties> <project.build.name>tools</project.build.name> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> project.build.name:  用来定义war包名称  proje

Spring的配置详解

Spring的配置详解 3.1XML配置的结构 <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" xsi:schemaLocation="http://www

Activiti(一)--安装配置详解

有一段时间没有更新文章了,虽然有一直在写文章,可是一直没有更新到博客内,这段时间写的文章大多还是以技术为主.接下来的系列文章将会来讨论企业工作流的开发,主要是来研究开源工作流Activiti的使用. 该篇文章来详细了解下Activiti 5.15的安装配置全过程,其实安装的过程相当的简单,因为随着Activiti的版本升级安装就变得简单了很多,但是它的配置方法没有想象的那么简单,在配置时需要注意很多问题,这里就来详细的了解下Activiti 5.15的配置全过程. Note:文章都是读者经过实践

Servlet配置详解

1 定义头和根元素 部署描述符文件就像所有XML文件一样,必须以一个XML头开始.这个头声明可以使用的XML版本并给出文件的字符编码. DOCYTPE声明必须立即出现在此头之后.这个声明告诉服务器适用的servlet规范的版本(如2.2或2.3)并指定管理此文件其余部分内容的语法的DTD(Document Type Definition,文档类型定义). 所有部署描述符文件的顶层(根)元素为web-app.请注意,XML元素不像HTML,他们是大小写敏感的.因此,web-App和WEB-APP都

Web.xml配置详解(转)

Web.xml配置详解 Posted on 2010-09-02 14:09 chinaifne 阅读(295105) 评论(16) 编辑 收藏 1 定义头和根元素 部署描述符文件就像所有XML文件一样,必须以一个XML头开始.这个头声明可以使用的XML版本并给出文件的字符编码.DOCYTPE声明必须立即出现在此头之后.这个声明告诉服务器适用的servlet规范的版本(如2.2或2.3)并指定管理此文件其余部分内容的语法的DTD(Document Type Definition,文档类型定义).

Eclipse-Hadoop开发配置详解

Eclipse_Hadoop开发详解 html,body,div,span,applet,object,iframe,h1,h2,h3,h4,h5,h6,p,blockquote,pre,a,abbr,acronym,address,big,cite,code,del,dfn,em,img,ins,kbd,q,s,samp,small,strike,strong,sub,sup,tt,var,b,u,i,center,dl,dt,dd,ol,ul,li,fieldset,form,label,l