Azkaban业务流程如何转化为DataWorks业务流程
生活随笔
收集整理的这篇文章主要介绍了
Azkaban业务流程如何转化为DataWorks业务流程
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
简介: 用户在迁移上云的时候,需要将云下的的Azkaban任务迁移上云,之前通过用户在DataWroks一步步创建对应的业务流程,其转化难度和转化时间都是一定的成本和时间,但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题,本文模拟Azkaban业务流程到入到DataWorks的操作过程,方便大家参阅。
一、安装Azkaban,并将简单流程任务进行打包运行
1.1构建对应的运行任务
bar.job
# bar.job
type=command
dependencies=foo
command=echo bar
foo.job
# foo.job
type=command
command=echo foo
将这个两个文件打包为foobar.zip文件
1.2.创建project
1.3.上传对应调度任务
1.4.运行对应的调度任务
二、在DataWorks打开迁移助手,并进行业务流程的导入
2.1打开DataWorks的开发界面选择全部产品,点击运维助手
2.2进入迁移助手,点击新建导入任务
2.3选择对应的Azkaban任务,点击上传文件将foobar.zip进行上传
2.4上传完成后,可以看到对应的任务列表,查看对应的导入报告
可以看待对应任务导入是结果展示,以及转化为的业务流程名称
2.5最后回到Dataworks的开发界面进行查看转化后的调度任务
总结和注意事项:
1.仅主账号和工作空间管理员能够进行导入和导出操作,其他角色成员仅支持查看导入、导出任务列表,无操作权限。
2.目前支持Hive、Sqoop、Shell的转化等。
3.迁移上DataWorks的业务流程,需要转化的任务需要做手动改动,但是整体的逻辑不会改变。对比重新建立对应的繁杂的依赖关系,无论效率和成本都是完善的一种方案。
原文链接
本文为阿里云原创内容,未经允许不得转载。
总结
以上是生活随笔为你收集整理的Azkaban业务流程如何转化为DataWorks业务流程的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: 3千字带你搞懂XXL-JOB任务调度平台
- 下一篇: 日志服务SLS 助力识货 APP,解决业