web-dev-qa-db-ja.com

IPMIサイドバンドはどのようにしてイーサネットポートをホストと共有しますか?

IPMI/BMC機能を備えたSupermicroマシンが多数あります。これらのマシンには、オンボードBMCを使用するものと アドオンカード を使用するものがあります。

コストの削減とケーブル要件のため、サイドバンドの使用を検討しています。ただし、一部の側波帯の詳細はまったく意味がありません。

サイドバンドには、マザーボードのイーサネットポートに接続されているイーサネットケーブルが1本必要です。このネットワークポートは、IPMIシステムとオペレーティングシステムの間で共有されます。私が読んだもの このSupermicroマニュアル から、「SIMSO IPMIカードのLAN1に使用しているものと同じMACアドレスを使用する」。ただし、IPMIにはオペレーティングシステムとは異なるIPアドレスが必要です。

この同じ物理ネットワークポートでリッスンおよび送信できる2つのデバイス(オペレーティングシステムとIPMI)を持つことができるのはなぜですか?パケットがインターフェイスに到着すると、システムはこのパケットがオペレーティングシステム向けかIPMIシステム向けかをどのように判断しますか?

これらのパケットは、CPU割り込みを使用して、CPUで処理されますか? IPMIインターフェイスへのパケットをオペレーティングシステムで表示できますか?

23

オンボードIPMIを使用して多くのSuperMicroサーバーを管理しています。共有(サイドバンド)イーサネットとの愛/嫌いな関係があります。一般に、これらの動作は、LAN1に2つの(異なる)MACアドレスがあるように見えるというものです。1つはIPMIインターフェイス用で、もう1つは標準のBroadcom NICです。 IPMIインターフェース(MACアドレスに基づくレイヤー2)へのトラフィックは、オペレーティングシステムレベル未満で魔法のように傍受され、実行中のOSからは決して見えません。

あなたはすでに彼らのための1つの良い点にぶつかりました:より少ないケーブル接続。次に、いくつかの欠点を取り上げます。

  • 安全な方法でIPMIインターフェイスを別のサブネットに分割することは特に困難です。トラフィックはすべて同じケーブルを経由するため、(ほとんど)常に同じIPサブネット上にIPMIインターフェイスとLAN1インターフェイスが必要です。最新のマザーボードでは、IPMIカードはIPMI NICへのVLANの割り当てをサポートするようになりました。そのため、いくつかの分離を得ることができますが、基盤となるOSは常にそのVLANのトラフィックをスニッフィングできます。 BMCコントローラーは、VLANの変更をまったく許可していません。ただし、ipmitoolやipmicfgなどのツールを使用すると、表面的には変更できますが、機能しません。
  • システム上の障害ポイントを集中化しています。スイッチの構成を行って、どういうわけか自分自身を切り離すことができますか?おめでとうございます。サーバーへのプライマリネットワーク接続とIPMI経由のバックアップを遮断しました。 NICハードウェア障害?おめでとう、同じ問題。
  • 初期のSuperMicro IPMI BMCは、ネットワークインターフェイスで不安定なことを行うことで悪名高くされていました。オンボードと専用のIPMIポートのどちらを使用するかは、電源投入時に(再起動ではなく)決定されることが多く、そこから切り替えることはありませんでした。停電があり、スイッチが十分な速さで電力を供給しなかった場合、誤った設定を自動検出したため、IPMIが機能しなくなる可能性があります。
  • 個人的に、サイドバンドIPMIを確実に機能させるために、奇妙で説明できない接続の問題がたくさんありました。ときどき、インターフェースIPに数分間pingできないことがあります。割り当てられたVLANでパケットのストームが発生することがありますが、トラフィックはすべてドロップされているように見えました。

これはsideband-vs-dedicatedとは関係ありませんが、ホストシステムにアクセスするためのツールが非常に不十分に記述されていることにも注意します。古いIPMIカードはローカル認証以外は何もサポートしていないため、パスワードのローテーションは非常に面倒です。 KVM-over-IP機能を使用している場合、不適切に署名された、期限切れのJavaアプレットまたは奇妙なJavaデスクトップアプリケーションを使用しているこれはWindowsでのみ機能し、UACの昇格を実行する必要があります。キーボードの入力はせいぜいむらがあり、「キーのスタック」が発生して、パスワードを入力して10回試行しないとログインできない場合があります。

私は最終的にこの配置で40以上のシステムを動作させることができました。 VLAN IPMIインターフェイスを別のサブネットに接続することができますが、ほとんどの場合、私は非常にうまく機能するipmitoolを介してシリアルコンソールを使用します。次世代のサーバーでは、 m KVM support を使用したIntelのAMTテクノロジー)を見ると、サーバースペースになるため、IPMIをこれに置き換えることができます。

39
natacado

以前にこれらの特定のカードを使用したことはありません。使用したカードは、IPMIトラフィック用に異なるMACを使用しているか、ポートがIPMIトラフィック専用になっています。ただし、IPMIがNIC MACを含めて)共有している可能性があります。

IPMIはOSとは異なるIPを持つため、パケットはそれに基づいて正しく送信されます。 IPMIトラフィックがCPUに到達することはなく、すべてサイドバンド管理ICで処理されます。

4
Chris S

サイドバンドを使用するとサーバーからBMCに通信できないことを意味するという一般的なアドバイスに加えたいと思いました。トラフィックは除外されているようです。私はこれをIBM/Dell/HPキットで試しました。

2
Ed Sykes

私は彼の最初の応答でnatacadosの最後の箇条書きをバックアップします。IPMIセッションがランダムにタイムアウトします(ボックスのコンソールを確認するために、supermicroのIPMIViewを使用します)。ファームウェアのアップグレードやパワーサイクルなどは、不可解かつランダムに失敗するようです。

信じられないほど徹底した素晴らしい答え、natacado。

1
Ben Lutgens