web-dev-qa-db-ja.com

moreutilsの `parallel`の精神に基づくマルチマシンツール?

parallel from moreutils は、とりわけ、m独立したタスクをnCPUに均等に分散するための優れたツールです。複数のマシンで同じことを実現するツールを知っている人はいますか?もちろん、そのようなツールは、複数のマシンやネットワークの概念、またはそのようなものについて知る必要はありません-私はmタスクをNに分散することについて話しているだけですclusters、ここでクラスター内iN_iタスクは並行して実行されます。

今日、私は自分のBASHスクリプトを使用して同じことを実現していますが、より合理化されたクリーンなツールがあれば素晴らしいでしょう。 anyobdyは何か知っていますか?

4
gspr

GNU Parallelはそれ以上のことを行います(sshを使用)。

マシンのリストで開始されるジョブのキューがあるだけなので、マシンの混合速度を処理することもできます(たとえば、CPUコアごとに1つ)。 1つのジョブが終了すると、別のジョブが開始されます。

したがって、開始する前にジョブをクラスターに分割するのではなく、動的に分割します。

詳細については、紹介ビデオをご覧ください: http://pi.dk/1

7
Ole Tange