airflow

airflow精品文章

• 

  [原]数据科学教程：如何使用Airflow调度数据科学工作流

  概述 Airflow 是一个我们正在用的工作流调度器，相对于传统的crontab任务管理，Airflow很好的为我们理清了复杂的任务依赖关系、监控任务执行的情况。我们喜欢它是因为它写代码太容易了，也便于调试、维护和继承重用，而...

  v1 2019-07-25 10:35 评论0 收藏0
• 

  airflow探索篇

  airflow是一个 Airbnb 的 Workflow 开源项目，在Github 上已经有超过两千星。data pipeline调度和监控工作流的平台，用于用来创建、监控和调整data pipeline。类似的产品有：Azkaban、oozie pip方式安装 默认已经安装python >= 2.7 以及 pip安装...

  leap_frog 2019-07-30 15:23 评论0 收藏0
• 

  一个适合小公司用的 data pipeline 工具

  ...工具 airbnb是我很喜欢的公司，他们有很多开源的工具，airflow我觉得是最实用的代表。airflow 是能进行数据pipeline的管理，甚至是可以当做更高级的cron job 来使用。现在一般的大厂都说自己的数据处理是ETL，美其名曰 data pipeline，...

  2i18ns 2019-07-24 18:19 评论0 收藏0
• 

  [译] 解密 Airbnb 的数据流编程神器：Airflow 中的技巧和陷阱

  ... 前言 Airbnb的数据工程师 Maxime Beauchemin 激动地表示道：Airflow 是一个我们正在用的工作流调度器，现在的版本已经更新到1.6.1了，并且引入了一些列调度引擎的改革。我们喜欢它是因为它写代码太容易了，也便于调试和维护。...

  zsy888 2019-07-25 10:21 评论0 收藏0
• 

  airflow专栏

  是用airflow时，会使用airflow的mysql包，但是在pip安装的时候，会报错，这是因为mysql开发包没有安装，在系统中安装即可。

  MorePainMoreGain 2019-05-28 18:33 评论0 收藏0
• 

  大数据开发平台(Data Platform)在有赞的最佳实践

  ...1 DP系统架构图 大数据开发平台包括调度模块（基于开源airflow二次开发）、基础组件（包括公共的数据同步模块/权限管理等）、服务层（作业生命周期管理/资源管理/测试任务分发/Slave管理等）和监控（机器资源/日志/基于预测...

  HitenDev 2019-05-28 18:48 评论0 收藏0
• 

  数据科学部门如何使用Python和R组合完成任务

  ...统，可以非常出色地完成数据仓库的定义和管理。通过 airflow 我们又可以很好的对ETL过程做全流程的监控。所以，在第二步，我依然建议使用Python作为数据治理的工具。 四、数据分析 数据分析首先涉及的就是探索式分析，这一...

  Apollo 2019-07-25 10:19 评论0 收藏0
• 

  ApacheCN 学习资源汇总 2019.1

  ...na 5.2 中文文档 Kudu 1.4.0 中文文档 Spring Boot 1.5.2 中文文档 Airflow 中文文档 区块链 Solidity 中文文档 数学笔记 MIT 18.06 线性代数笔记 Python 数据科学 NumPy 中文文档 Pandas 中文文档 Matplotlib 中文文档 UCB Data8 课本：计算与推断思维 UCB ...

  cheng10 2019-07-31 10:01 评论0 收藏0
• 

  ApacheCN 学习资源汇总 2018.12

  ...na 5.2 中文文档 Kudu 1.4.0 中文文档 Spring Boot 1.5.2 中文文档 Airflow 中文文档 区块链 Solidity 中文文档 数学笔记 MIT 18.06 线性代数笔记 Python 数据科学 NumPy 中文文档 Pandas 中文文档 Matplotlib 中文文档 UCB Data8 课本：计算与推断思维 UCB ...

  izhuhaodev 2019-06-26 18:41 评论0 收藏0
• 

  ApacheCN 学习资源汇总 2018.12

  ...na 5.2 中文文档 Kudu 1.4.0 中文文档 Spring Boot 1.5.2 中文文档 Airflow 中文文档 区块链 Solidity 中文文档 数学笔记 MIT 18.06 线性代数笔记 Python 数据科学 NumPy 中文文档 Pandas 中文文档 Matplotlib 中文文档 UCB Data8 课本：计算与推断思维 UCB ...

  daydream 2019-05-28 18:58 评论0 收藏0
• 

  使用Luigi來搭建Data Pipeline

  ...样的重複的结构也使得代码不易阅读. 一些框架如Luigi和Airflow能将程序员从这项劳动中解放出来, 提升开发的效率, 什么是Luigi? Luigi是一套管理上述工作流程的python框架,让开发人员专注在数据处理的逻辑,而不必重複的撰写常用的...

  Null 2019-05-28 18:45 评论0 收藏0
• 

  ApacheCN 学习资源汇总 2018.12

  ...na 5.2 中文文档 Kudu 1.4.0 中文文档 Spring Boot 1.5.2 中文文档 Airflow 中文文档 区块链 Solidity 中文文档 数学笔记 MIT 18.06 线性代数笔记 Python 数据科学 NumPy 中文文档 Pandas 中文文档 Matplotlib 中文文档 UCB Data8 课本：计算与推断思维 UCB ...

  khs1994 2019-07-30 18:41 评论0 收藏0
• 

  ApacheCN 学习资源汇总 2018.12

  ...na 5.2 中文文档 Kudu 1.4.0 中文文档 Spring Boot 1.5.2 中文文档 Airflow 中文文档 区块链 Solidity 中文文档 数学笔记 MIT 18.06 线性代数笔记 Python 数据科学 NumPy 中文文档 Pandas 中文文档 Matplotlib 中文文档 UCB Data8 课本：计算与推断思维 UCB ...

  keke 2019-06-26 16:16 评论0 收藏0
• 

  使用Luigi來搭建Data Pipeline

  ...样的重複的结构也使得代码不易阅读. 一些框架如Luigi和Airflow能将程序员从这项劳动中解放出来, 提升开发的效率, 什么是Luigi? Luigi是一套管理上述工作流程的python框架,让开发人员专注在数据处理的逻辑,而不必重複的撰写常用的...

  dongfangyiyu 2019-06-26 16:00 评论0 收藏0
• 

  功能简介 智能大数据平台 USDP

  ...ZEPPELIN0.8.2可视化管理服务ZKUI2.0.0Zookeeper可视化管理服务AIRFLOW1.10.12任务调度服务OOZIE5.2.0任务调度服务RANGER1.2.0授权服务ATLAS1.2.0元数据管理服务ALERTMANAGER0.21.0发送监控告警信息GRAFANA6.5.1展示监控数据INFLUXDB1.8.0存储监控数据NODEEXPORT...

  ernest.wang 2022-07-12 17:24 评论0 收藏2278