プライマリストレージの容量最適化/重複排除オプション

Question

プライマリストレージをより効率的に使用するためのオプションを検討しています。

現在のNASは、HP StorageworksMSA20を搭載したHPProLiant DL380 G5と、それが何であるかわからない他の1つのディスクシェルフです。

私たちのファイルの大部分はPDFファイル（数億のファイル）であり、高度な類似性があります。

George Crumpからの専門家の意見（Data Domainの Dedupe Central から参照）では、粒度に関するセクションで、彼は次のように述べています。「効果的なデータ重複排除を行うには、可変長セグメントを使用してサブファイルレベルで実行する必要があります。」

これを見つけるのは難しいですが、まさに私が必要としているものです。ほとんどの重複排除オプションはブロックベースのようです。変更されたブロックのみが保存されるため、バックアップが占めるスペースの量を最小限に抑えるのに非常に効果的ですが、ブロックベースの手法では、ブロック内の異なるオフセットにある同一のセグメントは見つかりません。 PDF。

先日、 Ocarina Networks に出くわしましたが、これはまさに私たちが必要としているもののようです。

Storage Switzerland's Lab Report Overview-Deduplication of Primary Storage Ocarina NetworksとNetAppを「プライマリのリーダーの2人」として比較ストレージの重複排除」。

理想的には、現在のNASを引き続き使用したいのですが、はるかに効率的です。

私が遭遇した他の解決策は Storwize であり、重複排除ソリューションと統合して、単一ファイルのインライン圧縮を実行しているようです。

他にどのようなソリューションと情報リソースがありますか？

WerkkreW · Answer

重複排除のためのほとんどのブラックボックスソリューションは、ストレージに直接組み込まれているソリューションほど効果的でも効率的でもないことがわかりました。

たとえば、ブラックボックスの重複排除アプライアンスでは、使用している汎用ストレージにアクセスする前に、すべてのデータを両方向に通過させて重複排除のためにすべて処理する必要がありますが、NetApp、Data Domain、その他の多くの場合、ボリュームごとに重複排除を制御でき、すべての処理はコントローラー自体で実行されます。

既存の非インテリジェントストレージを使用することになっているが、その前にソリューションを採用している場合は、データドメインをお勧めしますが、正直なところ、内部で重複排除できる別のストレージシステムにアップグレードすることをお勧めします。

ストレージコントローラーの NetApp V-Series を調べます。これらを使用すると、インテリジェントディスクコントローラーを既存のディスクシェルフハードウェアに接続できます。

Brent Ozar · Answer

探しているテクノロジーは重複排除と呼ばれ、重複排除を提供しているベンダーはたくさんあります。

SANを使用している場合は、SANベンダーに電話してください。そうすれば、重複排除オプションを販売しようとして、彼らはひっくり返ります。

重複排除を開始する方法に関する優れたリソースは次のとおりです。

http://www.datadomain.com/dedupe/

Chopper3 · Answer

私はMSAの範囲をよく知っており、現在の重複排除に苦労すると思います。最初の重複排除は、実際のSAN/NASコントローラーで行うのが最適な、かなり遅く、IOを大量に消費する作業です。バックアップメディアサーバーは重複排除を行うことができるため、バックアップシナリオでは少し異なりますが、ライブデータでは、データの整合性と全体的なパフォーマンスを維持することが重要であり、「アフターマーケットアドオン」として利用できるものがあるかどうかはわかりません。本当に必要なものを提供します。