• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > 关于Oozie的input-events和done-flag,oozieinput-events

关于Oozie的input-events和done-flag,oozieinput-events

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含oozie,oozie使用,oozie安装,oozie spark,oozie官网等服务器相关知识,网友希望可以进行参考

关于Oozie的input-events和done-flag,oozieinput-events


关于Oozie的input-events和done-flag


工作流的执行条件

当coordinator指定的一个workflow已经进入执行时间窗口时,oozie会首先检查所有的input-events是否都已“发生”(满足),检查主要是分两个方面:

当切仅当所有的input-events都已发生,工作流才会进入runing状态,否则, oozie会持续监视指定的文件或文件夹,一但它们创建出来,或者生成了done-flag文件,工作流会立即进入running状态。

关于done-flag

从应用的角度来看,如是监视的是文件或文件夹,在它们建立的那一刻,数据可能并未写入完整,此时立即执行action可能会丢失数据或出现错误,一个好的处理方法是等所有文件写出完成之后,写一个标志文件,能过这个标志文件来启动action,这就是 done-flag的作用!

以下是官方文档中对done-flag的说明:

  • If the done-flag is omitted the coordinator will wait for the presence of a _SUCCESS file in the directory (Note: MapReduce jobs create this on successful completion automatically).
  • If the done-flag is present but empty, then the existence of the directory itself indicates that the dataset is ready.
  • If the done-flag is present but non-empty, Oozie will check for the presence of the named file within the directory, and will be considered ready (done)

对于done-flag需要说明的是:

对于input event, 当它引用的dateset指定了done-flag,则oozie在执行action之前会“读”这个flag文件,以判断是否可以开始后续的动作。需要特别注意的是:input event不是一定要被某个action作为参数(配置属性)来引用,虽然大多数时候是这样的,如果一个input event没有被任何action引用,实际上它起到的是“输入检查”的作用,也就是在开始任何action之前,检查制定的文件或文件夹是否存在,如果指定了done flag文件,再检查done flag文件是否存在。

对于output event, 当它引用的dateset指定了done-flag, oozie并不会在执行action之后去“写”这个flag文件。

done-flag是一种非常巧妙的标记文件已就绪的做法,可以说是已经是大数据领域里最为常见的一种“模式”。典型的例子是MR在执行任务结束时生成的_SUCCESS文件。

生成done-flag是如此普遍的需要,以至于hdfs的cli直接提供了命令用于生成done-flag文件,以及是一个例子:

#Create a flag file named _SUCCESS under a certain input folder.
hdfs dfs -touchz "/puth/to/input/folder/_SUCCESS"

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • What's Wrong With Hue Oozie Editor?,hueoozie
  • 关于Oozie的input-events和done-flag,oozieinput-events
  • 吐槽Oozie: 挖好坑,等你跳!,oozie
  • HIVE以及OOZIE添加第三方JAR包的方法,hiveoozie
  • HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题,oozieworkflow.xml

相关文章

  • openstack中Nova组件Networks的所有python API 汇总,openstacknova
  • The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path,httpservlet
  • myeclipse2013 建的web项目没有web.xml,myeclipse中web.xml
  • 在Windows上使用Eclipse配置Hadoop MapReduce开发环境,hadoopmapreduce
  • HBase安装配置
  • storm的集群安装与配置,storm集群配置
  • Spark开发指南,spark指南
  • Hive学习笔记(二),hive学习笔记
  • Hive 外部表 分区表,hive外部表分区表
  • Namespace:Openstack的网络实现,namespaceopenstack

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • 浅谈SaaS应用开发的难度,浅谈saas应用开发
    • Greenplum数据库升级实务(上),greenplum实务
    • zookeeper——分布式锁,zookeeper
    • 生源再增 欲促寒门出贵子,生源促寒门贵子
    • HBase Shell的基本用法,HBaseShell用法
    • Zoho产品经理谈中小企业面临的挑战及应对之策,zoho产品经理
    • 亚马逊是如何颠覆商业软件高昂价格这座”柏林墙”的,商业软件柏林墙
    • Hbase Client Test Case,hbasecase
    • Linux快速配置svn库,Linux配置svn库
    • Hadoop平台安装前准备,hadoop平台准备

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有