airflow专栏

相关文章

• [原]数据科学教程：如何使用Airflow调度数据科学工作流

  摘要：概述是一个我们正在用的工作流调度器，相对于传统的任务管理，很好的为我们理清了复杂的任务依赖关系监控任务执行的情况。步骤三修改默认数据库找到配置文件修改配置注意到，之前使用的的方式是行不通的。微信号商业使用请联系作者。 showImg(https://segmentfault.com/img/remote/1460000006760428?w=1918&h=1556); 概述 Airfl...

  v1 2019-07-25 10:35 评论0 收藏0

• [译] 解密 Airbnb 的数据流编程神器：Airflow 中的技巧和陷阱

  摘要：显然，这单独执行不起作用这将通过子操作符被作为像是自己的调度任务中那样运行。子也必须有个可用调度即使子作为其父的一部分被触发子也必须有一个调度如果他们的调度是设成，这个子操作符将不会触发任何任务。这两个例子都是缘起子操作符被当做了回填工作。 showImg(https://segmentfault.com/img/remote/1460000006768714); 前言 Airbnb的...

  zsy888 2019-07-25 10:21 评论0 收藏0

• airflow探索篇

  摘要：调度和监控工作流的平台，用于用来创建监控和调整。安装以及方式启动重要说明使用需要安装配置说明上篇在中配置的。负责调度，只支持单节点，多节点启动可能会挂掉负责执行具体中的。轮询查询状态是成功失败。如是则继续轮询，成功失败操作相应后续操作。 airflow是一个 Airbnb 的 Workflow 开源项目，在Github 上已经有超过两千星。data pipeline调度和监控工作流的平...

  leap_frog 2019-07-30 15:23 评论0 收藏0

• 一个适合小公司用的 data pipeline 工具

  摘要：有了自己的系统我觉得就很安心了，以后能够做数据处理和机器学习方面就相对方便一些。隆重推荐的工具是我很喜欢的公司，他们有很多开源的工具，我觉得是最实用的代表。是，在很多机器学习里有应用，也就是所谓的有向非循环。 最近在Prettyyes一直想建立起非常专业的data pipeline系统，然后没有很多时间，这几个礼拜正好app上线，有时间开始建立自己的 data pipeline，能够很...

  2i18ns 2019-07-24 18:19 评论0 收藏0

• 大数据开发平台(Data Platform)在有赞的最佳实践

  摘要：任务调度设计大数据开发平台的任务调度是指在作业发布之后，按照作业配置中指定的调度周期通过指定在一段时间范围内通过开始结束时间指定周期性的执行用户代码。 前言 随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等...

  HitenDev 2019-05-28 18:48 评论0 收藏0