web-dev-qa-db-ja.com

新しいDAGをAirflowに追加する方法は？

tutorial_2.py（実際にはtutorial.pyをdag_idに変更した場合を除き、airflowチュートリアルで提供されるtutorial_2というファイルでDAGを定義しました。 ）。

変更されていないデフォルトのairflow.cfg（~/airflowにある）を見ると、dags_folderが/home/alex/airflow/dagsに設定されていることがわかります。

私はcd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.pyをします。これで、以前に作成したairflow.cfgファイルを含むtutorial_2.pyに設定されたパスに一致するdagsフォルダーができました。

ただし、airflow list_dagsを実行すると、デフォルトのチュートリアルDAGに対応する名前しか取得できません。

tutorial_2をDAGリストに表示して、やり取りできるようにしたいと思います。 python tutorial_2.pyとairflow resetdbのどちらもリストに表示されません。

どうすれば修正できますか？

pythonairflowapache-airflow
16
Aleksey Bilogur

この理由は、エクスポートしていないためだと思いますAIRFLOW_HOME。やってみてください：AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags。それでもうまくいかない場合は、2つのステップを行うexport AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dagsこれでうまくいくと思う。試してごらん？

9
Ace Haidrey

私の理解では、AIRFLOW_HOMEは、airflow.cfg 保存されています。次に、airflow.cfgは、dagディレクトリを適用し、設定した値に設定できます。

重要なポイントは次のとおりです：airflow.cfgは、AIRFLOW_HOMEは設定されていません

6
Pierre CORBEL

問題は、ディレクトリに2つのエアフロー構成が存在する可能性があるため、/ root/airflow/dagsを確認し、はいの場合は両方のairflow.cfgでdags_folderパスを変更する必要があることです。

0
ahsen_mukhtar_maken