欢迎访问 生活随笔!

生活随笔

当前位置: 首页 >

2021年大数据Flink(二十九):Flink 容错机制 Savepoint

发布时间:2023/11/28 51 豆豆
生活随笔 收集整理的这篇文章主要介绍了 2021年大数据Flink(二十九):Flink 容错机制 Savepoint 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

目录

Savepoint

Savepoint介绍

Savepoint VS Checkpoint

Savepoint演示


Savepoint

Savepoint介绍

Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩

 

在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容...

那么这时候需要执行一次Savepoint也就是执行一次手动的Checkpoint/也就是手动的发一个barrier栅栏,那么这样的话,程序的所有状态都会被执行快照并保存,

当维护/扩容完毕之后,可以从上一次Savepoint的目录中进行恢复!

 

​​​​​​​Savepoint VS Checkpoint

 

 

​​​​​​​Savepoint演示

# 启动yarn session/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d# 运行job-会自动执行Checkpoint/export/server/flink/bin/flink run --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 手动创建savepoint--相当于手动做了一次Checkpoint/export/server/flink/bin/flink savepoint 702b872ef80f08854c946a544f2ee1a5 hdfs://node1:8020/flink-checkpoint/savepoint/# 停止job/export/server/flink/bin/flink cancel 702b872ef80f08854c946a544f2ee1a5# 重新启动job,手动加载savepoint数据/export/server/flink/bin/flink run -s hdfs://node1:8020/flink-checkpoint/savepoint/savepoint-702b87-0a11b997fa70 --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 停止yarn sessionyarn application -kill application_1607782486484_0014

 

总结

以上是生活随笔为你收集整理的2021年大数据Flink(二十九):Flink 容错机制 Savepoint的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。