* Oozie框架基础
官方文档地址:http://oozie.apache.org/docs/4.0.0/DG_QuickStart.html
Oozie框架简介:
** Oozie单词释义:驯象人
** 一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。
** 以xml的形式写调度流程,可以调度mr,pig,hive,shell,jar等。
Oozie主要功能:
** Workflow: 顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个)
** Coordinator,定时触发workflow (HUE4 改名叫Schedule)
** Bundle Job,绑定多个coordinator(Schdule)
关系图:
Oozie 架构图:
Oozie节点:
** 控制流节点(Control Flow Nodes):
控制流节点一般都是定义在工作流开始或者结束的位置,比如start,end,kill等。以及提供工作流的执行路径机制,如decision,fork,join等。
** 动作节点(Action Nodes):
简而不能再简的言之,就是主要就是执行一些动作,比如FS ACTION,可以删除HDFS上的文件,创建文件夹等等等等
接下来我们实际操作感受一下。
* 总结
oozie调度框架的学习,如果概念不了解,可以先在似懂非懂的状态下把例子学会,再回顾知识点,自然就理解了。