web-dev-qa-db-ja.com

FaceBookは12台以上のハードドライブを備えたサーバーをどのように構築しますか

から FBブログ

...コモディティストレージブレードの上に展開されます。 2Uストレージブレードの一般的なハードウェア構成は–

  • 2xクアッドコアCPU
  • 16GB –32GBメモリ
  • 256MB〜512MBのNVRAMキャッシュを備えたハードウェアレイドコントローラー
  • 12台以上の1TBSATAドライブ

誰かが使用している部品を正確に教えてもらえますか?.

2 cpusを使用できるマザーボードを入手できることは知っていますが、16 GBのRAMを保持できるマザーボードを入手できますが、12台のドライブを接続するにはどうすればよいですか?

4
user11278

12台の1TBドライブ?ピーナッツ、大きいと思います! :)

Texas Memory Systems発売RamSan-62 SSDシステム。40Uラック構成で最大100テラバイトのフラッシュベースのストレージを提供し、記録的な500万の入出力を維持できます。 6キロワット強の電力を使用しながら毎秒60ギガバイトのスループットで毎秒(IOPS)。

alt text

なんと440万ドルの値札でこれすべて、あなたは私を聞きます、サンタ? :)

(多分RAMinSANeはより良い名前でしょう)

ただし、12台のドライブだけで問題がない場合は、コントローラー付きの素敵なSATA 12ドライブエンクロージャー(速度> 500MB/s)を約$ 1.000で入手できます。

alt text

6
Molly7244

私はそのような古い質問を掘り下げるのは嫌いですが、これらの答えは助けが必要です。 12x3.5 "ホットスワップベイ(垂直方向に3つx水平方向に4つ-SupermicroのSC826を参照)を備えたさまざまな2Uケースがいくつかあり、内部ベイも1つまたは2つあるものもあります( http:/ /www.servaris.com/servers_m2100.php )高密度ですが、不可能ではありません。少し気が狂ったようにするには、SupermicroのSC847は4U(マザーボードなし)で45個のホットスワップドライブベイ、またはE-で36個のホットスワップドライブベイをサポートします。 ATXマザーボード、そして誰かがE-ATXボード用のスペースを備えた48個の垂直ホットスワップベイを備えたケース(RMC5D2)を作成し、5Uに7枚のフルサイズカードがあると思います。

これは FacebookのHaystackシステム 写真用で、RAID6コントローラーを使用して2Uラックマウントサーバーの12台のドライブを接続していると思います。 12台のドライブをサポートするロープロファイルのものを購入するか、ライザーカードを使用できます。 2012年のIPOファイリング の一環として、彼らは「100ペタバイト以上」の写真とビデオを保存していることを明らかにしました。新しい4および6 TBドライブでも、これらのマシンはたくさんあります。

Facebookはまた、100以上のPB Hadoopシステムを使用して、サイトで発生するすべてのことを分析します(数TB /日)。 RAIDディスクアレイをスキップし、大きなファイルを64MBのチャンクに分割し、各チャンクを複数のマシンに書き込むことで、マシン全体を冗長化します。このために、8つのポートを備えたマザーボードを入手し、4つの非RAIDポートを安価に追加できます。これらのマシンにはそれほど多くのドライブがないことは間違いありませんが、テクノロジーはGoogleが行っていることに基づいています。 Googleには、12台のドライブRAIDフリーマシンのラックと、興味深いコンピューター設計がたくさんあります。それらは、カスタムパーツがコモディティハードウェアの大量注文になるのにほぼ十分な大きさです。

Facebookのさまざまなタイプのサーバーでビデオを見ることができます ここ

Facebookは最近、2Uオープンラックで30台のドライブをサポートするOpen Vaultストレージシステムを発表しました(キャビネット全体の幅は同じですが、内部の幅は標準の19インチに対して21インチです)。シャーシから引き出される2つの個別の1Uトレイがあり、それぞれに15台のドライブ(幅5 x奥行き3)と2つのSASエキスパンダーがあります。YouTubeのビデオは、30のそれぞれがシステムを示しています3.5インチドライブベイには2x2.5インチSSDが搭載されており、12G SASと組み合わせると、深刻なIO電力が供給されます。SSDメーカーによると、1台のユニットで500万IOPSをサポートできます。キャビネットがいっぱいになると、9千万を超えるIOPSと170 GB/sの帯域幅(インターフェイスが制限されます)および1 PBのSSDストレージ(最大3.2 PBのヘリウム充填スピニングディスク)がサポートされます。甘いNAS、内部にARMサーバーボードを備えたOpenVaultを使用するOpenComputeサーバーがあります。

さらに興味深いことに、Facebookはコールドストレージ用のBlu-rayを実験しています(データへのアクセスはこれまであまりありません)。彼らのプロトタイプシステムには、それぞれ100GBを保持し、約1PBのデータを格納する10,368枚のディスクがあります。彼らは、24のマガジンを保持するラックからディスクにアクセスするロボットピッカーを備えており、マガジンごとに36のカートリッジ、カートリッジごとに12のディスクがあります。彼らがバグを取り除き、機能を微調整したら、10,000ディスクのBlu-rayチェンジャーがオープンコンピュートプロジェクトの一部になると思います。

5
jbo5112

元のFB投稿は少し誤解を招くと思います。ストレージブレードを使用している場合、それらは外部ストレージアレイに接続するように設計されています。たとえば、ブレード自体はWindows Storage Serverを実行しますが、そのブレードにデータを保存することはありません。 2U SANアレイをそのブレードにフックすると、そのアレイは3.5 "で12個のホットスワップベイ、または2.5"で24個のベイを保持できます。

2
Girt

私はビデオを扱っていますが、3年前には1 TB以上のドライブがなかったので、あなたと同じようなソリューションを探しました。必要に応じて、内部または外部のRAIDコントローラーが必要です。私はそのようなものを扱っている会社を見つけました、そしてそれは(少なくとも私にとっては)許容できる価格で巨大なストレージシステムを作成するためのある種の楽園です。

http://www.addonics.com/

例えば:

http://www.addonics.com/products/raid_system/rack_overview.asp

1

サーバー1U、2U 3U 4Uを見てください。これらは、サーバールームのラックに収まります。

それらのように http://www.supermicro.com/products/system/2U/

デル、HP、IBMサーバーなどを見ることができます。

彼らは約8台のハードドライブをサポートできます。

0
Michael B.

12以上のディスクをマシンに接続することは難しくありません。12以上のSATAポートを備えたレイドコントローラーを入手するか、SATAエクスパンダーを使用するか、SASレイドコントローラーです。

難しいのは、12個の3.5インチドライブを2Uに物理的に取り付けることです。 3.5インチドライブを2Uだけで垂直に回転できるかどうかはわかりません。また、12台のドライブを2Uに収めるには、それを行うか、ボックス内のディスクをいくつか焼く必要があります(ホットリムーバブルではありません)。

0

他の人が述べているように、12台の1TBドライブを2Uに収めるためのさまざまなオプションがあります。 3.5インチドライブはそのスペースに収まるように水平である必要がありますが、 Western Digital Scorpio Blue WD10TPVT のような2.5インチドライブは垂直に2Uに収まります。 Supermicro S216 ベースのシャーシで2Uで最大24台の2.5インチドライブを実行でき、2つの12ポートSATA RAIDコントローラー(このように ware 9550SXU-12 )を使用できます。それらすべてを接続します。

0
steve.lippert