CDH HUE客户端调度工作流配置

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-2 20:20   2119   0

HUE客户端地址http://192.168.1.111:8888

1、登陆界面。登陆后在界面右上方点击HDFS Browser图标


2、上传文件。点击下面红框按钮找到文件存放的根目录,在逐层找到文件存放目录,点击右上方Upload上传文件。

如下为文件上传成功。


3、配置workflows工作流。

依次选择workflows->Editors->Workflows


点击create,添加工作流。配置好的工作流也可以选import导入。

拖动shell图表到下方箭头指向位置


选择shell脚本。


点击FILES+,添加该作业依赖的脚本文件,比如集群认证的keyboard文件、访问数据库的地址端口号实例名等链接文件。

点击ARGUMENTS+,添加调用参数名。

编辑完成点右上方保存按钮,一个简单的工作流配置完成。


配置完成要测试一下作业是否能跑通。

点击下方红框三角按钮或者右上方三角按钮都能起调作业。这两个按钮不同点为下方按钮是起调单个作业,上方起调整个工作流。


输入参数值后点击Submit


进入状态页监控作业的调度情况,status为succeeded说明作业已经跑成功。如果失败则通过日志分析原因。

错误日志查看点红框图标进入stderr日志页


err页面


在实际应用中,经常需要配置多个作业组成大的工作流。

如果有并行的作业则按照之前的方法添加作业到右方空白框即可。

作业串行并且前后有依赖则添加新作业到要依赖作业的下方。


编辑完成点保存,工作流配置完成。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP