web-dev-qa-db-ja.com

小規模分散コンピューティングクラスタ

私は高校生で、プロジェクトのLinuxクラスターを構築しようとしています(この夏にイメージを再作成する予定のまともなコンピューターがたくさんあるので、技術部門は基本的に、物理的に破壊しない限り、何でもします。

とにかく、私はクラスターの構築について何も知りませんが、Linuxはかなり得意です。

私はこれらのことを知る必要があります:-どのディストリビューションを使うべきですか?それも重要ですか? -どのソフトウェアがクラスターを構成できますか? -オンボードまたは分散FS? -まともなガイドやハウツーを提供できるサイトはありますか?

13
user6026

それは、実際に達成しようとしていること、および「分散コンピューティングクラスタ」が何を意味しているのかに依存します。私は古いマシンを使用してUniで同様のことを一度行いました [〜#〜] pvm [〜#〜] これは、実行する単一のコンピューターとして機能する一連のマシンの意味での「クラスター」です並列処理-Beowulfクラスターを考えてください。もちろん、これを利用するために書かれたコードが必要です。

まずは、このプロジェクトで何を学びたいかを決めるのが良いでしょう。まず、ウィキペディアの Parallel Computing に関する記事を読んでから、やりたいことに基づいてニーズを絞り込むことをお勧めします。

単純なジョブキューイングシステム( gearman など)で、優れた結果をすばやく得るのに十分な場合があります。

並列計算クラスタを作成したときに私が抱えていた問題は、何もする必要がなく、基本的にそこに座っているだけでしたが、楽しいプロジェクトであり、かなり学びました。いずれにせよ、何を実装するかに関係なく、かなりのことを学び、同時に楽しむことができるでしょう。

ディストリビューションの選択に関しては、ソースからインストールする必要がある可能性が高いので、私は最も使いやすいものを使用します。すべてをセットアップすることに問題がなければ、ニーズに合わせて調整されたディストリビューションを探すことができます。しかし、どのようなディストリビューションでも可能です。

クラスターを構成するためのソフトウェアは何ですか?これは、作成するクラスターのタイプに完全に依存します。

オンボードvs分散FS?これも、クラスターの要件によって異なります。各ノードは他のノード間でデータをやり取りしますか?それらは単一のマスターを持つスレーブとして動作しますか?それらは完全に独立して動作しますか?これらの質問はあなたの選択を知らせるために始まります。そしてもちろん、常にトレードオフがあります。

興味深いと思われるその他のリンク:

http://hadoop.Apache.org/

http://www.csm.ornl.gov/oscar/

https://computing.llnl.gov/tutorials/parallel_comp/

http://www.google.com/Top/Computers/Parallel_Computing/Programming/Environments/

http://www.google.com/Top/Computers/Parallel_Computing/Beowulf/

6
gabe.

これは非常にシンプルで未開発の提案です。しかし、多分プラン9クラスターを試してみませんか? http://plan9.bell-labs.com/plan9/

1
hiperbolt