web-dev-qa-db-ja.com

vSphere 5 / DellMD3000iマルチパス構成の説明

2つのDell1950、ホストごとに4つのNICを備えた古いvSphereセットアップを再検討します：簡単にするためにesxi1とesxi2。

SANは、Dell MD3000i、2つのコントローラ、コントローラごとに2つのNIC：rc00およびrc01; rc10およびrc11

現在構成されているLUN0 /仮想ディスクは1つだけです。 RAID 10、300GB SAS 15K、6スピンドル。コントローラー/チャネルは次のとおりです。

rc00：192.168.130.101/24

rc01：192.168.131.101/24

rc10：192.168.130.102/24

rc11：192.168.131.102/24

スイッチ（sw-1およびsw-2）はDell PowerConnect5424です。 2つのスイッチに他のトラフィックがないため、iSCSI「最適化」（QoS）は有効になっていません。ジャンボフレームが有効、9000 MTU、フロー制御がオン、MDIX自動。

この設定が空で、手元にある間にベンチマークを実行したかった。

しばらく経っていたので、マルチパスを設定する方法を完全に思い出せませんでした。グーグルで調べて、Dellとvmwareからの古い4.1ホワイトペーパーをいくつか読んで、実際に2つの方法を見つけました。

複数のVMKernelポートと物理NICを備えた1つのvSwitch：

rc00:192.168.130.101---sw-1----esxi1:vSwitch1:vmk1:eth1:192.168.130.11rc01:192.168.131.101---sw-2----esxi1:vSwitch1:vmk2:eth2:192.168.131.11

...または1つのVMKernelポートと1つの物理NICを持つ2つのvSwitch：

rc00:192.168.130.101---sw-1----esxi1:vSwitch1:vmk1:eth1:192.168.130.11rc01:192.168.131.101---sw-2----esxi1:vSwitch2:vmk1:eth2:192.168.131.11

質問1：パフォーマンスに実際的な違いはありますか、またはどちらかを選択する理由はありますか？他のすべては大丈夫に見えますか？

質問2：VMKernelポートをNICコントローラー間でずらして、VMKernelポート/物理NIC（eth1）の1つが組み込みのBroadcom NICの1つにバインドされるようにしました。もう一方（eth2）は、IntelNICの1つにバインドされています。

NIC/NICコントローラーの1つが南に移動した場合でも、2番目のNIC/NICコントローラーを介して使用できるパスがまだあると考えました。これがマルチパスパフォーマンスの問題や一般的な不安定さを引き起こすかどうか疑問に思います。いずれかの方法を示すものは何もありませんでした。

おそらく私は、その「うまく」失敗することは決してないだろう失敗を予想しています（つまり、NIC失敗があった場合、ホストはとにかくおかしくなりそうです）。

注：「1つのvSwitch、複数のVMKernelポート」方式は、実際にはESXiホストを驚かせているようです。再起動に異常に長い時間がかかり、パス/ LUNがアクティブ/アクティブI/Oを表示していないか、まったく表示されていない場合があります。LUNを再度表示するには、VMKernelの再スキャンやアップ/ダウンが必要です。 。同じvSwitch /ブロードキャストドメインに2つの異なるサブネットを配置しているため、構成としては奇妙に見えます。vSwitchはレイヤー2スイッチとして機能すると思います。

ベンチマーク＃1：これはひどいことではないですか？

「標準」設定（1 vCPU、1024 MB RAM、8 GBディスク、ファイルシステムのデフォルト、LVMを使用したext4）およびbonnie++でubuntu10.04.2LTSを実行する：

gravyface@testubu:~$ bonnie++ -f -d /tmp
Writing intelligently...done
Rewriting...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
testubu          2G           96131  57 33783  16           98930  17 444.6  13
Latency                         623ms     645ms               111ms     503ms
Version  1.96       ------Sequential Create------ --------Random Create--------
testubu             -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
          files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
             16 16509  79 +++++ +++ 25608  88 19044  86 +++++ +++ 25079  86
Latency             10289us    1398us    8288us     509us     442us   12159us

テイク2：

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
testubu          2G           97240  54 32974  17           93371  17 420.6  14
Latency                         291ms    1421ms              1266ms     616ms
Version  1.96       ------Sequential Create------ --------Random Create--------
testubu             -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
          files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
             16 14410  71 +++++ +++ 22082  86 18109  88 +++++ +++ 22054  88
Latency               108ms    1324us    2400us     814us      88us    4835us
1.96,1.96,testubu,1,1336168050,2G,,,,97240,54,32974,17,,,93371,17,420.6,14,16,,,,,14410,71, +++++,+++,22082,86,18109,88,+++++,+++,22054,88,,291ms,1421ms,,1266ms,616ms,108ms,1324us,2400us,814us,88us,4835us

テイク3：--iops=3をesxcliから設定

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
testubu          2G           115663  61 35594  18           103602  21 440.0  17
Latency                         285ms     571ms             52049us     477ms
Version  1.96       ------Sequential Create------ --------Random Create--------
testubu             -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
          files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
             16 14206  73 +++++ +++ 22753  90 18424  91 +++++ +++ 22367  90
Latency               108ms    1951us    1827us    6200us     326us    6127us
1.96,1.96,testubu,1,1336168752,2G,,,,115663,61,35594,18,,,103602,21,440.0,17,16,,,,,14206,73,+++++,+++,22753,90,18424,91,+++++,+++,22367,90,,285ms,571ms,,52049us,477ms,108ms,1951us,1827us,6200us,326us,6127us
vmware-esxistorage-area-networkiscsimultipath
1
gravyface

Q1：vmkernelポートごとに1つのvSwitchが通常の方法ですが、他の方法で行うと何かがぎくしゃくするかどうかはわかりません。 vSphere 5には、アダプターをiSCSIイニシエーターにバインドするために合格する必要がある非常に厳格なコンプライアンステストがあり、単一のvSwitchを使用している場合は失敗する可能性があります。しかし、これらは私の考えであり、実際の事実ではありません:)

Q2：NICがダウンするのを以前に見たので、vmkernelごとに異なるNICも使用します。ストレージに対するすべての接続を失いたくないのですが、繰り返しになりますが、そのようなことが起こる可能性はありません。正確に大きい。また、FC環境では、シングルデュアルポートHBAの代わりにデュアルシングルポートHBAを使用することもよくあります。転ばぬ先の杖？

いずれにせよ、最近のすべてのNICにはオフロードが組み込まれているため、パフォーマンスの問題は発生しないはずです。実際には、異なる割り込みと個別のPCIeレーンを取得するため、デュアルNICを使用するとパフォーマンスが向上すると思います。

2
pauska