web-dev-qa-db-ja.com

AirbnbエアフローとApache Nifi

AirflowとNifiはワークフローで同じジョブを実行しますか?それぞれの賛否両論は何ですか?いくつかのjsonファイルを読んで、さらにカスタムメタデータを追加し、Kafka=キューに入れて処理する必要があります。Nifiでできました。現在もAirflowで作業しています。プロジェクトに最適なワークフローエンジンを選択しようとしていますありがとうございます!

25
CMPE

AirflowおよびApache NiFiチェックアウトの優れた概要については、次のredditの投稿をご覧ください: https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_Apache_nifi/

Jsonファイルを取り込む特定のユースケースでは、それらを充実させてKafkaにルーティングします。NiFiはこのジョブに適したツールだと思います。それぞれのドキュメントは次のとおりです。

GetFile: https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-standard-nar/1.9.2/org.Apache.nifi .processors.standard.GetFile/index.html

JoltTransformJSON: https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-standard-nar/1.9.2/org.Apache.nifi .processors.standard.JoltTransformJSON/index.html

PublishKafka(またはバージョンに応じてPublishKafka_0_10): https://nifi.Apache.org/docs/nifi-docs/components/org.Apache.nifi/nifi-kafka-0-9 -nar/1.9.2/org.Apache.nifi.processors.kafka.pubsub.PublishKafka/index.html

24
JDP10101