-用語解説-

株式会社HPCソリューションズ
2011年08月18日

インフィニバンドスイッチのスペック表を見ると「ノンブロッキング」という言葉が目につきます。 これは全ポートを使った通信が発生しても必要な帯域幅が確保されるという意味です。 具体的な例で言うと、Mellanox SX6036インフィニバンドスイッチはFDR 36ポートを持っています。 FDRは56Gbpsですので、36ポート全てを使ってFDRの帯域幅全てを使うと、スイッチは双方向 56Gbps×36×2＝4032Gbpsの通信が可能でなければなりません。 SX6036のバックプレーンは4.032Tbpsの帯域幅を持っているので、ノンブロッキングなインフィニバンドスイッチであると言えます。

次に多段構成について説明します。 インフィニバンドスイッチは36ポートが標準的なサイズで、36ポート以上のポートを持つスイッチはシャーシ型スイッチになり、小～中規模の構成ではコスト高になる傾向があります。 そこで36ポートのスイッチを重ねることで、それ以上のポートに対応したネットワークを作る方法がよく用いられます。 これをインフィニバンドスイッチの多段構成と呼びます。 例えば、72ポートのノンブロッキング多段構成を作る場合、親スイッチ2台、子スイッチ4台の構成になります。 子スイッチ1台からサーバ18台に接続し、残りの18ポートは2台の親スイッチに等分して接続します。

親スイッチはスイッチ間接続専門のスイッチで、Spineスイッチ、コアスイッチなどと呼ばれます。 子スイッチはサーバとの接続を担当し、Leafスイッチ、エッジスイッチなどと呼ばれます。

インフィニバンドスイッチにはサブネットマネージャを搭載するものとしないものがあります。 サブネットマネージャは一つのネットワークに１つだけ必要ですので、この６台のスイッチの内、１台はサブネットマネージャ搭載スイッチにする必要があります。 Mellanox SX6036の様にサブネットマネージャが冗長化に対応しているなら、図１の多段構成では親スイッチの二台をサブネットマネージャ搭載スイッチにするのがいいでしょう。 サブネットマネージャ搭載スイッチが無い場合は、インフィニバンドに接続されたサーバにOpenSM（Open Fabrics Alliance提供）をインストールすることでサブネットマネージャとして動作させることができます。

ノンブロッキングでない（ブロッキングの）多段構成も出来ます。 例えばスイッチをまたぐ通信を半分の帯域幅にする場合、サーバ用72ポートを作るには親スイッチ1台、子スイッチ3台で構成できます。 ブロッキング構成の利点は低コストです。 ノンブロッキング構成(図1)に比べスイッチを2台減らし、インフィニバンドケーブルを36本減らすことができます。 子スイッチからサーバ24台に接続し、残りの12ポートを親スイッチに接続します。 この時、子スイッチ内の24ポート間通信はノンブロッキングです。

多段構成にする場合、この様にノンブロッキングとブロッキングを選択することが出来ます。 どちらを選択するかは用途に依存しますが、例えば、インフィニバンドをMPI通信に使用するケースでは、全てのサーバを使用するような大規模並列計算をあまり行わないことが多いでしょう。 その様な場合はブロッキング構成で十分です。 上述のブロッキング構成では24ポートまではノンブロッキングで通信できます。 最近のサーバは１台当たり12コア～24コアなど非常にたくさんのコアを持っているので、例えば12コアのサーバを使っていれば、288並列の計算まではノンブロッキングで計算できることになります。 PBS Professionalなどのスケジューラはブロッキング構成の環境に対応しており、ノンブロッキングな24ポートづつでグループにすることで、グループを超えたジョブを抑制することが出来ます。

多段構成ではインフィニバンドケーブルがたくさん必要になります。 インフィニバンドケーブルはイーサネットケーブルなどに比べ、太くて固いケーブルなので、配線がとても大変です。 帯域幅を確保するために長さにも制限があり、最長8mです。 サーバの数が数百台を超え、8mでは足りない場合は光ファイバーのケーブルを使用します。 ２段構成のサーバ接続台数は６４８台が限界です。 これ以上になる場合は３段構成になります。 しかしながら、ケーブル長の制限やメンテナンス性が悪くなることから、３６ポート以上を持つシャーシ型スイッチを親スイッチとした２段構成にすることをお勧めします。