当前位置:
首页 >
2021年大数据Flink(二十九):Flink 容错机制 Savepoint
发布时间:2023/11/28
51
豆豆
生活随笔
收集整理的这篇文章主要介绍了
2021年大数据Flink(二十九):Flink 容错机制 Savepoint
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
目录
Savepoint
Savepoint介绍
Savepoint VS Checkpoint
Savepoint演示
Savepoint
Savepoint介绍
Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩
在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容...
那么这时候需要执行一次Savepoint也就是执行一次手动的Checkpoint/也就是手动的发一个barrier栅栏,那么这样的话,程序的所有状态都会被执行快照并保存,
当维护/扩容完毕之后,可以从上一次Savepoint的目录中进行恢复!
Savepoint VS Checkpoint
Savepoint演示
# 启动yarn session/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d# 运行job-会自动执行Checkpoint/export/server/flink/bin/flink run --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 手动创建savepoint--相当于手动做了一次Checkpoint/export/server/flink/bin/flink savepoint 702b872ef80f08854c946a544f2ee1a5 hdfs://node1:8020/flink-checkpoint/savepoint/# 停止job/export/server/flink/bin/flink cancel 702b872ef80f08854c946a544f2ee1a5# 重新启动job,手动加载savepoint数据/export/server/flink/bin/flink run -s hdfs://node1:8020/flink-checkpoint/savepoint/savepoint-702b87-0a11b997fa70 --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 停止yarn sessionyarn application -kill application_1607782486484_0014
总结
以上是生活随笔为你收集整理的2021年大数据Flink(二十九):Flink 容错机制 Savepoint的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: 2021年大数据Flink(二十八):F
- 下一篇: 2021年大数据Flink(三十):Fl