资讯专栏INFORMATION COLUMN

【Flink实时计算 UFlink】UFlink开发注意事项

Tecode / 1898人阅读

摘要:开发注意事项基于托管集群的应用开发,和自建集群类似,但是仍然有几个地方需要注意。和默认配置托管集群默认指定以及的堆大小为,目前不支持进行更改单个中的数量设置为高可用配置应用的高可用由集群以及共同保证。配置集群的运行时状态保存在的指定目录中。

UFlink开发注意事项

基于UFlink托管集群的Flink应用开发,和自建集群类似,但是仍然有几个地方需要注意。

JobManager和TaskManager默认配置

1. 托管集群默认指定JobManager以及TaskManager的堆大小为2GB,目前不支持进行更改;

2. 单个TaskManager中的TaskSlot数量设置为1;

高可用配置

Flink应用的高可用由Yarn集群以及zookeeper共同保证。在Flink应用因各种原因出现问题时,会触发HA机制保证任务继续运行:

1. 当TaskManager节点出问题之后,Flink的JobManager会向Yarn申请新的TaskManager资源,保证任务的运行;

2.
当JobManager节点出现问题之后,Yarn会根据配置重启JobManager,而后者会从zookeeper中获取旧得运行数据,并回恢复运行,从而恢复运行。

由于Yarn集群基于2.7.7版本,仅支持对重启次数进行限定,目前设置的AM重启次数最大为5次,即yarn.resourcemanager.am.max-attempts设置为5。

Checkpoint/Savepoint配置

Flink集群的运行时状态保存在hdfs的指定目录中。

1. Checkpoint的默认目录为/flink-cluster/checkpoints;

2. Savepoint的默认目录为/flink-cluster/savepoints;

3. Statebackend默认为filesystem,state.backend.incremental设置为true;

注意:在自定义checkpoint或者savepoint的目录时,请尽量使用默认的值。其它目录不保证用户有权限写入,而且不保证文件的持久性。

实时文档欢迎https://docs.ucloud.cn/uflink/dev/note

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/126204.html

相关文章

  • Flink实时计算 UFlink】基于Maven开发指南

    摘要:基于开发指南本节主要介绍如何创建项目,并开发简单的应用,从而使该应用可以被提交到平台运行。如果不设置为,可能会导致的类冲突,产生不可预见的问题。在自动生成的文件中,使用了来更方便的控制依赖的可见性。基于Maven开发指南本节主要介绍如何创建项目,并开发简单的Flink应用,从而使该Flink应用可以被提交到UFlink平台运行。==== 自动生成代码框架 ==== 对于Java开发者,可以使...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】UFlink SQL 开发指南

    摘要:开发指南是为简化计算模型,降低用户使用实时计算的门槛而设计的一套符合标准语义的开发套件。随后,将为该表生成字段,用于记录并表示事件时间。UFlink SQL 开发指南UFlink SQL 是 UCloud 为简化计算模型,降低用户使用实时计算的门槛而设计的一套符合标准 SQL 语义的开发套件。接下来,开发者可以根据如下内容,逐渐熟悉并使用 UFlink SQL 组件所提供的便捷功能。1 ...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】基于gradle开发指南

    摘要:基于开发指南如果基于进行应用开发,需要在文件中加入如下配置注解注意修改的值,确保其符合您的应用。应用开发完成后,可以直接直接运行方法,在本地进行基本的测试。基于gradle开发指南如果基于gradle进行应用开发,需要在build.gradle文件中加入如下配置:buildscript { repositories { jcenter() // this applie...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】什么是实时计算、产品优势、版本支持

    摘要:什么是实时计算实时计算基于构建,为分布式高性能随时可用以及准确的流处理应用程序提供流处理框架,可用于流式数据处理等应用场景。版本支持当前支持的版本为,,,可以在提交任务时选择所使用的版本。什么是实时计算实时计算(UFlink)基于ApacheFlink构建,为分布式、高性能、随时可用以及准确的流处理应用程序提供流处理框架,可用于流式数据处理等应用场景。产品优势100%开源兼容基于开源社区版本...

    Tecode 评论0 收藏0
  • Flink实时计算 UFlink】快速上手

    摘要:快速上手进行基本设置选择地域和可用区。节点固定为台,节点最少为台。设置访问的账号和密码选择计费方式支持按小时按月按年三种计费模式,其中选择月付购至月末时,即从当前时刻购买至本月月底,下个月的账单从日开始正常计费结算。快速上手1. 进行基本设置(1)选择地域和可用区。当前支持北京二可用区E。(2)选择VPC和子网。请注意不同地域之间内网不互通。(3)设置集群名称和业务组。2. 选择软件版本当前...

    Tecode 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<