ESXiデータストアの下のソフトウェアRAID
中小企業向けの仮想環境を構築しています。単一のESXi 5.1ホストをベースにしており、これは6ダースほどのVMをホストします。ただし、ストレージの実装方法について疑問があります。データストアに耐障害性を持たせたいのですが、別のストレージマシンや高価なハードウェアRAIDソリューションの資金を調達できないため、いくつかのソフトウェアRAID（lvm/mdadm、最も可能性が高い）を使用したいと思います。これはどのように実装できますか？これまでの私の唯一のアイデアは、VMを作成することです。これはパススルーとしてストレージアダプターを持ち、ディスクの上にいくつかのソフトウェアRAIDを配置し、結果のボリュームをESXiホストに「戻し」ます。次に、他のVMがストレージを提供するデータストアを作成します。
これは一種のラウンドアバウトのようですが、もっと良いオプションはありますか？私の調査によると、パススルーには、一時停止/再開がないなど、かなりの数の欠点があるようです。
ESXiは汎用OSではないので、考慮すべきではありません。ハードウェア互換性リストに完全に準拠し、テスト済みで承認済みのハードウェアRAIDアダプターを使用してください。何か他のことをすることを選択し、あなたは彼らのシステムが機能しないか、彼らがデータを失ったと文句を言って、ここに戻って最終的にここに戻る他のスワスに参加します-それらの多くを取得します。
これは一種のラウンドアバウトのようですが、もっと良いオプションはありますか？
あなたの一般的な考えは的確です。個人的には、SolarisまたはFreeBSDでZFSを使用することをお勧めしますが、mdadmも機能する可能性があります。たぶん、私がこの投稿で書いているすべての利点を得られないので、免責事項としてそれを取りなさい。この投稿は非常に長くなります。テキストの壁については、事前にお詫び申し上げます。
私の調査によると、パススルーには、一時停止/再開がないなど、かなりの数の欠点があるようです。
特にいくつかあります：
- CPU（Intel）またはCPU + board（AMD）のvt-d（またはAMD IOMMU）サポートでのみ機能します：問題ありません。すべてのIntel CPUがあるため、今日それなしでサーバーを入手することは困難です。 Atomsがそれを持っていることを除いて（HP、Dellなどの基本的なシステムでも）
- パススルー要素を持つすべてのVMのVMware-snapshotsは作成できません：理論的には問題ですが、これはストレージVMにのみ影響します。ストレージVMには最小限の構成設定があり、それ以外には何も使用されません。スナップショットはストレージレベルで実行でき、高速で安価であり、システムの速度を低下させません。さらに、ホスト上の他のすべてのVMを問題なくスナップショットできます（さらに、強力な復元オプションと状態の長期アーカイブのために、ファイルシステムスナップショットと組み合わせることができます）。
- 一部の領域で内部の複雑さが増しています：一見すると、これは本当です-追加のレイヤーを追加し、新しい内部SAN（ネットワークなど）をさらに管理する必要がありますVMwareでの/ VLAN設定）またはストレージVM自体（更新など）。しかし、その一方で、シンプルさと柔軟性も備えています。
- 実行中の仮想マシンの一貫したバックアップは、いくつかの簡単なスクリプトで自動的に作成でき、完全に無料です。また、高価なソフトウェアソリューションを追加することなく、別のマシン、ディスク、またはクラウド（暗号化）に保存することもできます。
- サーバーが停止した場合は、別の既成の交換品を購入し、ESXiをインストールし、パススルーを有効にし、ネットワークを構成し、ディスクを追加して、ストレージVMを起動します。起動したら、ストレージを再スキャンします。電源障害が発生したかのように、すべてのデータは安全であり、それを知っています（HW RAIDの代わりに、そうであると期待しています）。
- 特別な要件は、必要に応じて最小限の変更で満たすことができます。企業には、バックアップにローカルディスクを必要とするレガシーアプリケーションがありますか？ iSCSIを構成し、ストレージを透過的に提示するだけです。彼らは成長を経験し、より多くのストレージが必要ですか？ディスクを増やしてプールを拡大し、iSCSI経由で直接、またはVMwareを介して（NFSまたはvmdkが上部にあるiSCSI）提示します。別のサーバーでデータベースを使いたいですか？別のLAN/VLANでNFSを開き、それを「実際の」SANとして新しいサーバーに提供するだけです。
- GPUパススルーは高価なNvidiaカードとすべてのAMDカードでのみ機能します：これは現在のところ当てはまりますが、ストレージVMには、専用のGPUは必要ありません。
パススルーに関係のない一般的な不快感もあります。
- ストレージVMを再起動するには、それに依存する他のすべてのVMを最初にシャットダウンする必要があります：この明らかな問題についてはめったに話されませんが、私の目には最も迷惑です。もちろん、ESXi自体の更新にも完全な再起動が必要ですが、現在2つのシステムがあるため、時刻が完全に同期しない場合があります。安定したオペレーティングシステムを使用し、両方のシステム間で重要ではない更新プログラムを並べることをお勧めします。さらに、ストレージVMを独自の内部仮想LANに制限して、修正がリリースされたらすぐに修正を適用する必要性をさらに減らす必要があります。これは、GUIからのストレージVMの偶発的な再起動にも適用されることに注意してください。
- 基盤となるスタックのエラーにより、マシン全体が動作不能になります：このリスクは、ESXiのみと比較して増加します。これは、2つのシステムとその間に2つのネットワークスタックがあるためです。明るい面では、ストレージVMとESXiの両方が通常安定していて、エラーが少ないはずです。それにもかかわらず、他の人が問題を経験したかどうかを確認できるように、リリース後数日/数週間にアップデートをスケジュールすることをお勧めします。一方、設定を変更しないことは、非常に安定していることを意味します。これは、SMEのプラスになります（必要なサポートが少なくなります）。
- ソリューションはサードパーティのサポート担当者には知られていない：これは非常にまれなセットアップであるため、最初からドキュメントなしでランダムな交換でそれを理解できる可能性はわずかです-これは問題であるか、あなたのビジネス目標に応じて、利点。これは、セットアップの構造（写真/図を使用してください！）、従来のRAIDセットアップとの比較、および一般的な問題のケース（バックアップ、復元、ディスクの交換、更新、ネットワークの変更）で行うことを説明する基本的なドキュメントによって軽減できます。ハードウェア拡張）。
技術的な問題はさておき、あなたはあなたの目標とそれらを達成する方法について考えなければなりません。これにより、選択したソリューションの実用性とそのプラス面とマイナス面、および全体的な結果（成功または失敗）が決まります。これは、ビジネス自体のニーズに大きく依存するものです。ビジネスの観点から提案されたソリューションに対する賛成または反対の考慮事項：
- 予算：ほとんど使用されないサポート契約に対して、年間数千ドルを支払うことを正当化できるビジネスがあります。これは、一度使用されると、はるかに価値があるためです。即時の価値に対してのみ支払うことができ、予想外のダウンタイムに非常に安く/柔軟に対処できる企業があるため、お金が無駄になります。
- 安全要件：10年前の単一の破壊または損傷したファイルが選択肢にならないビジネスもあれば、現在のすべてのデータが完全に失われても不便なだけのビジネスもあります。これに応じて、バックアップ、スナップショットなどのニーズが変化します。
- サポート構造：サポートをまったく必要とせずに、マシンを購入してセットアップし、それを（実質的に）永久に実行したい企業や、継続的な変更、アップグレード、信頼する人々からの直接サポートを望んでいる企業がいます。
- 柔軟性の要件：急速に変化するビジネスがあり、そのニーズを事前に把握することができなかったため、より柔軟なセットアップが必要となる場合とそうでない場合があります。一方、他の何よりも決して変化せず、安定性と予測可能性を重視するものもあります。
いずれにしても、これらの点に留意する必要があります。あなたのソリューションは、目標を達成した場合にのみ成功することができます。大多数の選択が何であるかは関係ありません。何がa）技術的に実装可能であるか、b）予算内で、c）ビジネスの目標を満たすことだけです。これらすべてのポイントが満たされ、それでも決定する必要がある場合は、より簡単で複雑でないソリューション（KISS）を選択します。それらが同じように簡単な場合は、より多くのお金や幸せをもたらすものを選択します。
私が中小企業で、あなたがこのようなものを配備したなら、私はあなたを解雇します...しかし、これは一般的なテーマです。 VMwareには明確に定義された ハードウェア互換性リスト があります。ただし、スタンドアロンサーバーとして使用する場合は、[〜＃〜] [〜＃〜]ハードウェアRAIDが必要です。非RAIDのディスクも同様に機能しますが、それは望ましくありません。だから私の質問：
- 保管に十分な資金がありませんか？これはどのタイプのサーバーハードウェアですか？ディスクは購入できますが、RAIDコントローラはありませんか？互換性のあるRAIDコントローラは高価ではありません。
- これは顧客の期待を管理するケースではありませんか？個別のストレージは、ハードウェアRAIDよりも明らかに高価です。
- オールインワンストレージソリューション は可能ですが、コスト削減ではなく、特定の技術要件に最適です。
これは、VMwareの悪用の事例です。ソフトウェアRAIDはサポートされていません。私は顧客に戻り、ビルド/要件を修正します。
「データの価値はどれくらいですか？」
「データストアにフォールトトレランスを持たせたいのですが、別のストレージマシンや高価なハードウェアRAIDソリューションに資金を調達できないため、いくつかのソフトウェアRAID（lvm/mdadm、最も可能性が高い）を使用したいと思います。方法これは実装できますか？
esxiは、データストア用のREAL HWベースのRAIDなしでは機能しません。 BIOSベースのソフトウェアRAIDでも機能しません。
I run a HW backed 2x1TB SSD datastore for VMS
RAIDコントローラーAdaptec 6405eをEbayで100ドルで手に入れました！
しかし、次の部分に関しては、
これまでの私の唯一のアイデアは、VMを作成することです。これはパススルーとしてストレージアダプターを持ち、ディスクの上にいくつかのソフトウェアRAIDを配置し、結果のボリュームをESXiホストに「戻し」ます。次に、他のVMがストレージを提供するデータストアを作成します。」
私の「FileServer」はVMに直接渡される4x5TB HDで構成されています。次にmdadm Raid 5で合計約14TBをビルドし、それをNFS経由でエクスポートしましたをすべてのVMに作成しました。常に約15/20、使用されない限りオフの10/20開発VMこれは私にとってはうまくいきましたが、これは大規模なユーザーグループには当てはまりません。実際、私は実際には唯一のローカルユーザーですが、トラフィックを生成するWebサイトをホストしていますが、繰り返しますが、ほとんどが静的です。
このシナリオで尋ねる良い質問です。このアイデアを使用することを考えている場合、FileServerは何のためのものですか？
私の場合、VMの90％がすべてではないが、VM（linux）内に必要なすべてのデータをホストし、サイズが20GB未満です。FileServerをバックアップ、また、PlexのようなメディアアプリケーションはFileServerから読み取り、P2Pは直接FileServerに保存しますが、私のホスト以外はデータベースまたはFileServerに存在するものを持っていません。ただし、FileServerへのバックアップはすべて実行します。私のファイルサーバーは私の唯一のVMこれは2つのサービスをホストします。これはVMのNFSであり、またSMB GUI経由のWindowsアクセスの場合です。これは、私もNFSを介してデータストアとしてFileServerをマウントしており、ISOをデータストア内から新しいVMにマウントできます。また、OVAスナップショップをSMB Windowsで直接FileServerにバックアップします。 エクスポートされたNFSソフトウェアRAIDでVMを実行するのは大変ですが、大きなNFSデータストアをesXiホストにエクスポートすると、多くのメリットがあります。
ZFSをバッキングストアとして使用する例については、このブログをご覧ください http://blog.laspina.ca/ubiquitous/encapsulating-vt-d-accelerated-zfs-storage-within-esxi
そうは言っても、標準ハードウェアの使用に関する警告は有効です。 ESXiはかなりうるさいです。
ESXiには、HPE Dynamic Smart Array ControllerのソフトウェアRAIDサポートが存在します。ミラーリングされたエンタープライズSSDを備えたDL20 g9で使用しましたが、うまく機能します。
http://www8.hp.com/us/en/products/servers/solutions.html?compURI=1499005#tab=TAB4
とはいえ、SmartBay 440をeBayから200ドルで購入しただけです。これは、ハードウェアRAIDであり、選択肢が与えられたとき以外は、常にハードウェアを使用します。
ソフトウェアRAID（Linux）は柔軟性があり、費用対効果が高く、管理が簡単で、完全に予測可能であるため、私はソフトウェアRAID（Linux）の大ファンです。実際のシナリオでは、速度のために常にミッドレンジのハードウェアRAIDコントローラーに勝っています。唯一の問題-信頼性の高いRDMまたはディスクコントローラーパススルーを取得するVM NASを実行します。ITモードの最も安価なLSIコントローラーがうまく機能します。OpenmediavaultのソフトウェアRAID10で驚異的な速度と安定性が得られます-ベースの仮想NAS（Vmxnet3アダプタ、準仮想ディスクコントローラ）。これは、NFS（10Gbit内部リンク）を介して同じホスト上の別のVMのデータストアをエクスポートします。
それは予算の問題です。予算に制限がない場合は、ホワイトリストのトップレンジRAIDアダプターをご利用ください。お金を節約したくて、ESXiとNAS internals-ソフトウェアraidsに慣れている）に精通している場合。
ESXiを初めて使用したときは好きでしたが、今でも気に入っていますが、もう好きではありません。代わりにproxmoxをテストしています。
私が知っているのは、もちろんVMWAREはお金を稼ぎたいということであり、それらはハードウェアベンダーとハイエンドサーバークラスのハードウェアのみをサポートすることに同意している可能性が高いです。オーバーヘッドをサポートしますが、サーバークラスのハードウェアに人々を「励ます」ことのほうが重要だと思います。
私はさまざまな状況でソフトウェアRAIDを使用しており、ハードウェアRAIDよりも信頼性が高くないとしても、それは同じように信頼できると考えています。ハードウェアRAIDの唯一の確かな利点は、電源障害時に書き込みを完了できるようにするバッテリーバックアップです。
ただし、私のホームシステムはUPSデバイスに接続されており、データセンターのビジネスシステムはデータセンターからUPSを提供しています。ソフトウェアzfs raidのようなものは、HP smartarrayのようなものよりもはるかに安全で、ディスクへの直接アクセスだけでなく、ビットロート保護も考慮しますSMARTステータス。
とは言っても、ハードウェアRAIDを決して使用しないという意味ではありません。顧客が直接それを要求するか、彼らがそれを支払うハンサムな予算を持っている場合、私はそれを配備しますが、貧しい顧客がいる場合、ハードウェアの襲撃以外は自殺的であり、それは単なるモロニックなため、再考する必要があることを伝えます。
私は否定的なコメントをすべて見ていますが、これらの人々はVSANの仕組みを知らないことに気づきました。 誰かを解雇する、VMwareが自社の製品でサポートしているテクノロジーを使用しているという理由だけで？それは、正直に言うと、助言を求めて受け入れるというマネージャーの欠如、または継続的な学習についての話です。
古いPoor ManのSAN（PMS）プロジェクトを読んでください。ディスクデバイスにパススルーがある2つのホストがボリュームをGlusterfsし、iSCSi経由で結果のブロックストレージを同じクラスターに提供します。天才だった。
私はあなたの考えがかなりうまくいくと思います。たとえば、 https://communities.vmware.com/message/2368577#2368577 を参照してください
ESXiがmdadmをサポートしていないのは残念です。だから、あなたの考えは回り込みのように聞こえますが、すべてを適切に構成すると、パフォーマンスのオーバーヘッドはごくわずかになると思います。パフォーマンスについては、次の記事を参照してください。 https://www.linux.com/news/hardware/servers/8222-benchmarking-hardware-raid-vs-linux-kernel-software-raid
小規模なセットアップの場合、mdadmはおそらくシングルCPUコアの5-25％しか使用しません。私自身の経験から、CentOSサーバーのRAID 5を備えたmdadmによるCPU使用率は非常に低く、1 Gbitネットワーク上のNFS共有としてESXiに接続されていました。ただし、ディスクを大量に使用するVMに問題がありました（主にソフトウェアRAIDのためではなく、NFSのため）。詳細については、別の回答を参照してください： https://serverfault.com/a/608120/118677 。
このようなセットアップのもう1つの利点は、mdadmが十分に文書化されていることです。サーバーに障害が発生した場合にアレイを別のサーバーに再接続するのは簡単です。
ただし、ESXiの通常のセットアップでは、データストアがESXi自体と同じサーバー上にあることを想定していないことを考慮する必要があります。あなたのケースでは、ESXiや「パススルーとしてストレージアダプターを備えたVM」を搭載したハードドライブが故障した場合（もちろん、RAIDに含まれていない場合）、データストアにアクセスできなくなります。データストアを分離した場合、障害が発生した場合にセットアップを復元するために必要な手順は少なくなります。したがって、別のデータストアPCの資金を見つけるためにもう一度試す必要があると思います。 mdadmを使用してLinux OSをセットアップできる、1〜2 GHzのCPUとSATAコントローラーを搭載した中古PCを使用できます。
追伸mdadm RAIDアレイのステータスに関する監視（電子メール通知など）をセットアップすることを忘れないでください。