web-dev-qa-db-ja.com

Python

4つの配列を反復処理するかなり単純なネストされたforループがあります。

for a in a_grid:
    for b in b_grid:
        for c in c_grid:
            for d in d_grid:
                do_some_stuff(a,b,c,d)  # perform calculations and write to file

そもそも、これは4Dグリッド上で計算を実行するための最も効率的な方法ではないかもしれません。 joblibが this のような2つのネストされたforループを並列化できることは知っていますが、4つのネストされたループに一般化するのに問題があります。何か案は？

pythonmultiprocessingpython-multiprocessingjoblib
9
rferdinand

私は通常、次の形式のコードを使用します。

#!/usr/bin/env python3
import itertools
import multiprocessing

#Generate values for each parameter
a = range(10)
b = range(10)
c = range(10)
d = range(10)

#Generate a list of tuples where each Tuple is a combination of parameters.
#The list will contain all possible combinations of parameters.
paramlist = list(itertools.product(a,b,c,d))

#A function which will process a Tuple of parameters
def func(params):
  a = params[0]
  b = params[1]
  c = params[2]
  d = params[3]
  return a*b*c*d

#Generate processes equal to the number of cores
pool = multiprocessing.Pool()

#Distribute the parameter sets evenly across the cores
res  = pool.map(func,paramlist)
19
Richard

4つではなく2つのネストされたループを簡単に並列化できるツールを使用する場合は、itertools.productを使用して、4つのネストされたforループを2つに減らすことができます。

from itertools import product

for a, b in product(a_grid, b_grid):
    for c, d in product(c_grid, d_grid):
        do_some_stuff(a, b, c, d)
2
user4815162342

ジョブの数は、ネストされたループの数とは関係ありません。他の答えでは、たまたまn_jobs=2と2つのループですが、2つは完全に無関係です。

このように考えてください。作成する関数呼び出しがたくさんあります。あなたの場合（ループを展開する）：

do_some_stuff(0,0,0,0)
do_some_stuff(0,0,0,1)
do_some_stuff(0,0,0,2)
do_some_stuff(0,0,1,0)
do_some_stuff(0,0,1,1)
do_some_stuff(0,0,1,2)
...

そして、それらの関数呼び出しをいくつかのジョブに分散させたいと考えています。あなたは2つの仕事、または10、または100を使うことができます、それは問題ではありません。 Parallelがあなたに代わって作品を配布します。

1
jwd