web-dev-qa-db-ja.com

AirflowでDAG間の依存関係を設定する方法は?

Airflow を使用してバッチジョブをスケジュールしています。毎晩実行されるDAG(A)と、月に1回実行されるDAG(B)があります。 Bは、Aが正常に完了したことに依存します。ただし、Bの実行には時間がかかるため、より良いSLAレポートを作成できるように、Bを別のDAGに保持したいと思います。

同じ日にDAG Aを正常に実行したことに依存してDAG Bを実行するにはどうすればよいですか?

32
Conor

ExternalTask​​Sensorと呼ばれる演算子を使用して、この動作を実現できます。 DAG(B)のタスク(B1)がスケジュールされ、DAG(A)のタスク(A2)の成功を待ちます

外部タスクセンサーのドキュメント

32
p.magalhaes

TriggerDagRunOperator も使用できるようです。また、python callableを使用してロジックを追加できます。ここで説明されているように: https://www.linkedin.com/Pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand

8
nono