web-dev-qa-db-ja.com

Pythonのスレッドのプールから結果を取得するにはどうすればよいですか？

私はpythonでスレッディングを行う方法についてここで検索しましたが、必要な答えを得ることができませんでした。私はキューとスレッディングpythonクラスに精通していません。そのため、ここにある回答のいくつかはまったく意味がありません。

さまざまなタスクを実行できるスレッドのプールを作成し、すべてのスレッドが終了したら結果の値を取得して処理します。これまでのところ、これを試みましたが、結果を得ることができません。私が書いたコードは：

from threading import Thread
from Queue import Queue

class Worker(Thread):
    """Thread executing tasks from a given tasks queue"""
    def __init__(self, tasks):
        Thread.__init__(self)
        self.tasks = tasks
        self.daemon = True
        self.result = None
        self.start()
    def run(self):
        while True:
            func, args, kargs = self.tasks.get()
            try:
                self.result = func(*args, **kargs)
            except Exception, e:
                print e
            self.tasks.task_done()
    def get_result(self):
        return self.result

class ThreadPool:
    """Pool of threads consuming tasks from a queue"""
    def __init__(self, num_threads):
        self.tasks = Queue(num_threads)
        self.results = []
        for _ in range(num_threads):
            w = Worker(self.tasks)
            self.results.append(w.get_result())
    def add_task(self, func, *args, **kargs):
        """Add a task to the queue"""
        self.tasks.put((func, args, kargs))
    def wait_completion(self):
        """Wait for completion of all the tasks in the queue"""
        self.tasks.join()
    def get_results(self):
        return self.results

def foo(Word, number):
    print Word*number
    return number

words = ['hello', 'world', 'test', 'Word', 'another test']
numbers = [1,2,3,4,5]
pool = ThreadPool(5)
for i in range(0, len(words)):
    pool.add_task(foo, words[i], numbers[i])

pool.wait_completion()
results = pool.get_results()
print results

出力は、Wordで指定された数と指定された数で文字列を出力しますが、結果リストはNone値でいっぱいなので、funcの戻り値を配置する必要があります。

または、簡単な方法は、キューに入力し、関数または引数を結果として関数に格納するためのディクショナリまたは変数を追加するリストを作成し、タスクがキューに追加された後、この結果引数を結果のリストに追加することです。 ：

def foo(Word, number, r):
    print Word*number
    r[(Word,number)] = number
    return number

words = ['hello', 'world', 'test', 'Word', 'another test']
numbers = [1,2,3,4,5]
pool = ThreadPool(5)
results = []
for i in range(0, len(words)):
    r = {}
    pool.add_task(foo, words[i], numbers[i], r)
    results.append(r)
print results
pythonmultithreadingqueuereturn-value
21
Rafael Rios

Pythonには、実際に使用できる組み込みのスレッドプールがあります そのドキュメントは十分に文書化されていません ：

from multiprocessing.pool import ThreadPool

def foo(Word, number):
    print (Word * number)
    r[(Word,number)] = number
    return number

words = ['hello', 'world', 'test', 'Word', 'another test']
numbers = [1,2,3,4,5]
pool = ThreadPool(5)
results = []
for i in range(0, len(words)):
    results.append(pool.apply_async(foo, args=(words[i], numbers[i])))

pool.close()
pool.join()
results = [r.get() for r in results]
print results

または（apply_asyncの代わりにmapを使用）：

from multiprocessing.pool import ThreadPool

def foo(Word, number):
    print Word*number
    return number

def starfoo(args):
    """ 

    We need this because map only supports calling functions with one arg. 
    We need to pass two args, so we use this little wrapper function to
    expand a zipped list of all our arguments.

    """    
    return foo(*args)

words = ['hello', 'world', 'test', 'Word', 'another test']
numbers = [1,2,3,4,5]
pool = ThreadPool(5)
# We need to Zip together the two lists because map only supports calling functions
# with one argument. In Python 3.3+, you can use starmap instead.
results = pool.map(starfoo, Zip(words, numbers))
print results

pool.close()
pool.join()
30
dano