azkaban的操作指南
前言：
最近在实际工作中玩到了Azkaban，虽然之前有简单的接触，但是真正用到的时候，才能体会到这个工具的实用性有多强，总结下真个操作过程。在总结整个操作过程之前先简单描述下工作流调度系统的优势。
1、工作流调度系统的优势
一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等
- 各任务单元之间存在时间先后及前后依赖关系
- 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
以上整个流程组成了我们的一个job，如果采用传统的linux定时任务去处理这个流程的话，存在一个巨大的隐患，job失败率很高，流程无法控制，没有预警机制。所以类似的这种工作流调度器的工具就应运而生！
工作流调度实现方式：
简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban等
2、操作指南
2.1、首页简介
projects：最重要的部分，创建一个工程，所有flows将在工程中运行。
scheduling:显示定时任务
executing:显示当前运行的任务
history:显示历史运行任务
2.2、创建单一job
概念介绍
创建工程：创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。
1、Command 类型单一 job 示例
- 首先创建一个工程，填写名称和描述
- 之后点击完成后进入如下界面
- Flows：工作流程，有多个job组成
- Permissions:权限管理
- Project Logs:工程日志
2、job的创建
创建job很简单，只要创建一个以.job结尾的文本文件就行了,例如我们创建一个工作，用来打印hello，名字叫做command.job
一个简单的job就创建好了，解释下，type的command，告诉azkaban用unix原生命令去运行，比如原生命令或者shell脚本，当然也有其他类型，后面说。一个工程不可能只有一个job，我们现在创建多个依赖job，这也是采用azkaban的首要目的。
3、将 job 资源文件打包
注意：只能是zip格式
4、通过 azkaban web 管理平台创建 project 并上传压缩包
注意这里这里点击Execute Flow后可以执行定时任务，也可立即执行
查看任务的执行情况
2.3、创建多job项目
我们说过多个jobs和它们的依赖组成flow。怎么创建依赖，只要指定dependencies参数就行了。比如导入hive前，需要进行数据清洗，数据清洗前需要上传，上传之前需要从ftp获取日志。
定义5个job：
依赖关系：
3依赖4和5，2依赖3，1依赖2，4和5没有依赖关系。
注意command写成执行sh脚本，建议这样做，后期只需维护脚本就行了（将python脚本放到shell脚本中执行便于维护），azkaban定义工作流程
| 配置邮件接收者：在任务流Flow的最后一个.job中文件中添加如下内容 |
可以运行unix命令，也可以运行python脚本（强烈推荐）。将上述job打成zip包。
效果图（可以在下图中点击每个job，再次编辑job中的内容）
点击o2o_2_hive进入流程，azkaban流程名称以最后一个没有依赖的job定义的。查看各个job间的依赖关系
下图是配置执行当前流程或者执行定时流程。
| 说明 |
Flow view：流程视图。可以禁用，启用某些job（这里想要单独运行某个job时，可以操作隐藏其他的依赖job）
Notification:定义任务成功或者失败是否发送邮件
Failure Options:定义一个job失败，剩下的job怎么执行
Concurrent：并行任务执行设置
Flow Parametters：参数设置。
参考：https://blog.csdn.net/aizhenshi/article/details/80828726
参考：https://www.jianshu.com/p/3b78164477e8
总结
以上是生活随笔为你收集整理的azkaban的操作指南的全部内容，希望文章能够帮你解决所遇到的问题。
- 上一篇： dependency 和dependen
- 下一篇： 三星s9 android p内测,三星国