シンプルJava Map / Reduceフレームワーク

Question

Java用のシンプルでオープンソースのMap/Reduceフレームワーク/ APIを誰かが指摘できますか？そのようなものが存在するという証拠はあまりないようですが、他の誰かが違うことを知っているかもしれません。

私が見つけることができる最高のものはもちろん、Hadoop MapReduceですが、それは「単純な」基準を満たしていません。分散ジョブを実行する機能は必要ありません。標準のJava5スタイルの同時実行性を使用して、単一のJVMでマルチコアマシンでmap/reduceスタイルのジョブを実行できるようにするだけです。

自分で書くのは難しいことではありませんが、そうする必要はありません。

Lukas Eder · Accepted Answer

これらの問題はJava 8の時点での履歴であることに言及する価値があると思います。

int heaviestBlueBlock = blocks.filter(b -> b.getColor() == BLUE) .map(Block::getWeight) .reduce(0, Integer::max);

つまり、単一ノードのMapReduceはJava 8）で利用可能です。

詳細については、プロジェクトラムダに関するBrian Goetzのプレゼンテーションを参照してください。

chaostheory · Answer

Akka をチェックアウトしましたか？ akkaは実際には分散アクタモデルベースの同時実行フレームワークですが、わずかなコードで簡単に多くのことを実装できます。作業を分割するのはとても簡単で、自動的にマルチコアマシンを最大限に活用し、複数のマシンを使用して作業を処理できます。スレッドを使用するのとは異なり、それは私にとってより自然に感じます。

Java map reduce example akkaを使用しています。futureを利用しているため、最も簡単なmap reduceの例ではありません。私のmap reduceの例が示すいくつかの主要な事柄があります：

仕事を分ける方法。
作業の割り当て方法：akkaには、本当に簡単なメッセージングシステムがあり、仕事のパーティショナーとして、スケジュールを構成できます。使い方を学んだら、やめられませんでした。とてもシンプルで柔軟です。私はすぐに4つのCPUコアをすべて使用していました。これは、サービスを実装するために本当に素晴らしいです。
いつ作業が完了し、結果を処理する準備ができているかを知る方法：これは、実際にFuturesに精通していない限り、実際に理解するのが最も難しくて混乱しやすい部分です。他のオプションがあるため、フューチャーを使用する必要はありません。人々がより短いものを欲しがるので、私はそれらを使用しました。

ご質問があれば、StackOverflowには実際に素晴らしいakka QAセクションがあります。

Peter Lawrey · Answer

私は次の構造を使用します

int procs = Runtime.getRuntime().availableProcessors(); ExecutorService es = Executors.newFixedThreadPool(procs); List<Future<TaskResult>> results = new ArrayList(); for(int i=0;i<tasks;i++) results.add(es.submit(new Task(i))); for(Future<TaskResult> future:results) reduce(future);

Gareth Davis · Answer

これは事実の少し後かもしれませんが、JDK7の JSR166y ForkJoin クラスを見たいと思うかもしれません。

JDK6で問題なく動作するバックポートライブラリがあります。そのため、次の千年紀まで試してみる必要はありません。 raw executorとhadoopの間のどこかにあり、現在のJVM内でmap reduceジョブを処理するためのフレームワークを提供します。

xan · Answer

数年前に8コアのマシンを手に入れたとき、私は自分のために1回限りのものを作成しましたが、それにはそれほど満足していませんでした。思ったほど簡単に使用できるとは思いませんでした。また、メモリを集中的に使用するタスクはうまく拡張できませんでした。

realの回答が得られない場合は、もっと共有できますが、その中心は次のとおりです。

public class LocalMapReduce<TMapInput, TMapOutput, TOutput> { private int m_threads; private Mapper<TMapInput, TMapOutput> m_mapper; private Reducer<TMapOutput, TOutput> m_reducer; ... public TOutput mapReduce(Iterator<TMapInput> inputIterator) { ExecutorService pool = Executors.newFixedThreadPool(m_threads); Set<Future<TMapOutput>> futureSet = new HashSet<Future<TMapOutput>>(); while (inputIterator.hasNext()) { TMapInput m = inputIterator.next(); Future<TMapOutput> f = pool.submit(m_mapper.makeWorker(m)); futureSet.add(f); Thread.sleep(10); } while (!futureSet.isEmpty()) { Thread.sleep(5); for (Iterator<Future<TMapOutput>> fit = futureSet.iterator(); fit.hasNext();) { Future<TMapOutput> f = fit.next(); if (f.isDone()) { fit.remove(); TMapOutput x = f.get(); m_reducer.reduce(x); } } } return m_reducer.getResult(); } }

編集：コメントに基づいて、以下はsleepなしのバージョンです。トリックは、CompletionServiceを使用することです。これは、本質的に、完了したFuturesのブロッキングキューを提供します。

 public class LocalMapReduce<TMapInput, TMapOutput, TOutput> { private int m_threads; private Mapper<TMapInput, TMapOutput> m_mapper; private Reducer<TMapOutput, TOutput> m_reducer; ... public TOutput mapReduce(Collection<TMapInput> input) { ExecutorService pool = Executors.newFixedThreadPool(m_threads); CompletionService<TMapOutput> futurePool = new ExecutorCompletionService<TMapOutput>(pool); Set<Future<TMapOutput>> futureSet = new HashSet<Future<TMapOutput>>(); for (TMapInput m : input) { futureSet.add(futurePool.submit(m_mapper.makeWorker(m))); } pool.shutdown(); int n = futureSet.size(); for (int i = 0; i < n; i++) { m_reducer.reduce(futurePool.take().get()); } return m_reducer.getResult(); }