web-dev-qa-db-ja.com

マルチプロセッシング-パイプとキュー

Pythonのマルチプロセッシングパッケージ のキューとパイプの基本的な違いは何ですか？

どのシナリオで、どちらを選択する必要がありますか？ Pipe()を使用するのが有利な場合Queue()を使用するのが有利な場合

pythonperformancequeuemultiprocessingpipe
122
Jonathan

  • Pipe() は、2つのエンドポイントのみを持つことができます。

  • Queue() は、複数のプロデューサーとコンシューマーを持つことができます。

それらを使用する場合

通信に3つ以上のポイントが必要な場合は、 Queue() を使用します。

絶対的なパフォーマンスが必要な場合は、Pipe()がQueue()の上に構築されるため、 Pipe() ははるかに高速です。

パフォーマンスベンチマーク

2つのプロセスを生成し、それらの間で可能な限り迅速にメッセージを送信したいとします。これらは、Pipe()とQueue()を使用した同様のテスト間のドラッグレースのタイミング結果です...これは、Ubuntu 11.10およびPython 2.7.2を実行しているThinkpadT61で実行されます。

参考までに、ボーナスとして JoinableQueue() の結果を投入しました。 JoinableQueue()は、queue.task_done()が呼び出されたときにタスクを考慮します（特定のタスクについても知らず、キュー内の未完了のタスクをカウントするだけです）ので、queue.join()は作業が終了したことを認識します。

この回答の下部にあるそれぞれのコード...

mpenning@mpenning-T61:~$ python multi_pipe.py 
Sending 10000 numbers to Pipe() took 0.0369849205017 seconds
Sending 100000 numbers to Pipe() took 0.328398942947 seconds
Sending 1000000 numbers to Pipe() took 3.17266988754 seconds
mpenning@mpenning-T61:~$ python multi_queue.py 
Sending 10000 numbers to Queue() took 0.105256080627 seconds
Sending 100000 numbers to Queue() took 0.980564117432 seconds
Sending 1000000 numbers to Queue() took 10.1611330509 seconds
mpnening@mpenning-T61:~$ python multi_joinablequeue.py 
Sending 10000 numbers to JoinableQueue() took 0.172781944275 seconds
Sending 100000 numbers to JoinableQueue() took 1.5714070797 seconds
Sending 1000000 numbers to JoinableQueue() took 15.8527247906 seconds
mpenning@mpenning-T61:~$

要約すると、Pipe()はQueue()の約3倍高速です。本当にメリットがなければ、JoinableQueue()についても考えないでください。

ボーナス素材2

マルチプロセッシングでは、情報フローにわずかな変更が加えられ、ショートカットを知らない限りデバッグが困難になります。たとえば、多くの条件下で辞書を介してインデックスを作成するときに正常に動作するが、特定の入力でまれに失敗するスクリプトがあるとします。

通常、pythonプロセス全体がクラッシュすると、失敗の手がかりが得られます。ただし、マルチプロセッシング機能がクラッシュした場合に、コンソールに未承諾のクラッシュトレースバックが出力されることはありません。不明なマルチプロセッシングのクラッシュを追跡することは、プロセスをクラッシュさせた原因の手掛かりなしでは困難です。

マルチプロセスのクラッシュ情報を追跡するために見つけた最も簡単な方法は、マルチプロセッシング関数全体をtry/exceptでラップし、traceback.print_exc()を使用することです。

import traceback
def reader(args):
    try:
        # Insert stuff to be multiprocessed here
        return args[0]['that']
    except:
        print "FATAL: reader({0}) exited while multiprocessing".format(args) 
        traceback.print_exc()

さて、クラッシュを見つけると、次のようなものが表示されます：

FATAL: reader([{'crash', 'this'}]) exited while multiprocessing
Traceback (most recent call last):
  File "foo.py", line 19, in __init__
    self.run(task_q, result_q)
  File "foo.py", line 46, in run
    raise ValueError
ValueError

ソースコード：

"""
multi_pipe.py
"""
from multiprocessing import Process, Pipe
import time

def reader_proc(pipe):
    ## Read from the pipe; this will be spawned as a separate Process
    p_output, p_input = pipe
    p_input.close()    # We are only reading
    while True:
        msg = p_output.recv()    # Read from the output pipe and do nothing
        if msg=='DONE':
            break

def writer(count, p_input):
    for ii in xrange(0, count):
        p_input.send(ii)             # Write 'count' numbers into the input pipe
    p_input.send('DONE')

if __name__=='__main__':
    for count in [10**4, 10**5, 10**6]:
        # Pipes are unidirectional with two endpoints:  p_input ------> p_output
        p_output, p_input = Pipe()  # writer() writes to p_input from _this_ process
        reader_p = Process(target=reader_proc, args=((p_output, p_input),))
        reader_p.daemon = True
        reader_p.start()     # Launch the reader process

        p_output.close()       # We no longer need this part of the Pipe()
        _start = time.time()
        writer(count, p_input) # Send a lot of stuff to reader_proc()
        p_input.close()
        reader_p.join()
        print("Sending {0} numbers to Pipe() took {1} seconds".format(count,
            (time.time() - _start)))

"""
multi_queue.py
"""

from multiprocessing import Process, Queue
import time
import sys

def reader_proc(queue):
    ## Read from the queue; this will be spawned as a separate Process
    while True:
        msg = queue.get()         # Read from the queue and do nothing
        if (msg == 'DONE'):
            break

def writer(count, queue):
    ## Write to the queue
    for ii in range(0, count):
        queue.put(ii)             # Write 'count' numbers into the queue
    queue.put('DONE')

if __name__=='__main__':
    pqueue = Queue() # writer() writes to pqueue from _this_ process
    for count in [10**4, 10**5, 10**6]:             
        ### reader_proc() reads from pqueue as a separate process
        reader_p = Process(target=reader_proc, args=((pqueue),))
        reader_p.daemon = True
        reader_p.start()        # Launch reader_proc() as a separate python process

        _start = time.time()
        writer(count, pqueue)    # Send a lot of stuff to reader()
        reader_p.join()         # Wait for the reader to finish
        print("Sending {0} numbers to Queue() took {1} seconds".format(count, 
            (time.time() - _start)))

"""
multi_joinablequeue.py
"""
from multiprocessing import Process, JoinableQueue
import time

def reader_proc(queue):
    ## Read from the queue; this will be spawned as a separate Process
    while True:
        msg = queue.get()         # Read from the queue and do nothing
        queue.task_done()

def writer(count, queue):
    for ii in xrange(0, count):
        queue.put(ii)             # Write 'count' numbers into the queue

if __name__=='__main__':
    for count in [10**4, 10**5, 10**6]:
        jqueue = JoinableQueue() # writer() writes to jqueue from _this_ process
        # reader_proc() reads from jqueue as a different process...
        reader_p = Process(target=reader_proc, args=((jqueue),))
        reader_p.daemon = True
        reader_p.start()     # Launch the reader process
        _start = time.time()
        writer(count, jqueue) # Send a lot of stuff to reader_proc() (in different process)
        jqueue.join()         # Wait for the reader to finish
        print("Sending {0} numbers to JoinableQueue() took {1} seconds".format(count, 
            (time.time() - _start)))
233
Mike Pennington