web-dev-qa-db-ja.com

セロリタスクを構成する方法

私には2種類のタスクがあります：非同期タスクとスケジュールタスクです。だから、これが私のdir構造です：

proj
  |
  -- tasks
      |
      -- __init__.py
      |
      -- celeryapp.py     => celery instance defined in this file.
      |
      -- celeryconfig.py
      |
      -- async
      |    |
      |    -- __init__.py
      |    |
      |    -- task1.py    => from proj.tasks.celeryapp import celery
      |    |
      |    -- task2.py    => from proj.tasks.celeryapp import celery
      |
      -- schedule
           |
           -- __init__.py
           |
           -- task1.py    => from proj.tasks.celeryapp import celery
           |
           -- task2.py    => from proj.tasks.celeryapp import celery

しかし、以下のようにセロリワーカーを実行すると、動作しません。セロリビートスケジューラからのタスクは受け付けられません。

 $ celery worker --app=tasks -Q my_queue,default_queue

それで、複数のタスクファイルの編成に関するベストプラクティスはありますか？

pythoncelery
23
pat.inside

セロリに基づく ドキュメント 次のようなセロリタスクの構造をインポートできます。

たとえば、次のような（想像上の）ディレクトリツリーがある場合：

_|
|-- foo
|    |-- __init__.py
|    |-- tasks.py
|
|-- bar
     |-- __init__.py
     |-- tasks.py
_

次に、app.autodiscover_tasks(['foo', bar'])を呼び出すと、モジュールfoo.tasksとbar.tasksがインポートされます。

8
NikosK

セロリのタスクは、その呼び出しに応じて、非同期、同期、またはスケジュールすることができます

task.delay(arg1,arg2)       #will be async
task.delay(arg1,arg2).get() #will be sync
task.delay(arg1,arg2).get() #will be sync
task.apply_async(args = [arg1,arg2], {'countdown' : some_seconds}) #async with delay

ニーズに応じて多くの呼び出しがあります
ただし、セロリスケジューラを有効にするには、-Bフラグを使用してセロリを開始する必要があります

$ celery worker --app=tasks -B -Q my_queue,default_queue

したがって、タスクを整理する方法は個人的なものであり、プロジェクトの複雑さに依存しますが、同期のタイプごとに整理するのは最善の選択肢ではないと思います。

このトピックをグーグルで検索しましたが、ガイドやアドバイスは見つかりませんでしたが、機能ごとにタスクを整理するいくつかのケースを読みました。
私のプロジェクトでは、これはパターンではないため、このアドバイスに従いました。これが私がした方法の一例です

your_app
    |
    -- reports
        |
        -- __init__.py
        -- foo_report.py
        -- bar_report.py
        -- tasks
            |
            -- __init__.py
            -- report_task.py
    -- maintenance
        |
        -- __init__.py
        -- tasks
            |
            -- __init__.py
            -- delete_old_stuff_task.py
    -- Twitter
        |
        -- __init__.py
        -- tasks
            |
            -- __init__.py
            -- batch_timeline.py
5
xecgr