サポート

技術情報

-用語解説-

インフィニバンドの帯域幅について

株式会社HPCソリューションズ
2011年08月05日

インフィニバンドは双方向型シリアル接続によるサーバ間通信に利用されています。 サーバにはHCA(Host Chanel Adapter)を取付け、インフィニバンドスイッチを介して複数のサーバを接続し、インフィニバンドのネットワークを作ります。 これまで、転送速度によりSDR(Single Data Rate)、DDR(Double Data Rate)、QDR(Quad Data Rate)という三つの規格がありました。 2011年Q3にはFDR(Fourteen Data Rate)が加わります。 このホームページではインフィニバンドのそれぞれの規格の帯域幅とその仕組みについてご紹介します。

インフィニバンドSDRは1レーンあたり片方向2.5Gbpsの帯域幅を持ちます。 HCAは4レーン(4X)での接続に対応しています。 つまり、SDRのHCAは10Gbpsの帯域幅を持っています。 SDRの倍の帯域幅を持つDDRは20Gbps、4倍のQDRは40Gbpsになります。 データ転送では8B/10Bエンコーディングが使われるため、実際に転送出るデータのサイズは帯域幅の80%に制限されます。 つまり、SDRのHCAでは8Gbps、DDRは16Gbps、QDRは32Gbpsです。 この値をビットからバイトに変換するとSDRのHCAは1GB/s、DDRは2GB/s、QDRは4GB/sになります。

インフィニバンド規格と帯域幅
SDR DDR QDR FDR EDR*1
1レーンの帯域幅 2.5Gbps 5Gbps 10Gbps 14Gbps 26Gbps
HCA(4X)の帯域幅 10Gbps 20Gbps 40Gbps 56Gbps 104Gbps
HCAの実質的な帯域幅 8Gbps 16Gbps 32Gbps 54.3Gbps 100.8Gbps
HCAの実質的な帯域幅(B/s) 1GB/s 2GB/s 4GB/s 6.8GB/s 12.6GB/s
*1 EDRについては発売未定で帯域幅の数値も変更される可能性があります。

2011年9月以降に販売されるFDR(Fourteen Data Rate)は1レーンあたり14Gbpsの帯域幅を持つので、HCAの帯域幅は56Gbpsになります。 SDRからDDR、DDRからQDRは帯域幅が倍に増えていったことに比べると、FDRのパフォーマンスアップはインパクトが小さいと思われがちです。 しかしながら、64B/66Bエンコーディングに変更されたため、FDR-HCAの実質的な帯域幅は約54.3Gbpsになります。 これはQDR 32Gbpsの約1.7倍にあたり、約22Gbpsのパフォーマンスアップが期待できます。

FDRの次に予定されているEDR(Enhanced Data Rate)は、当初、QDRに続くEight times Data Rateの予定だったようですが、エンコード方法の変更が入り、FDRが作られたという経緯があったそうです。 EDRの後にはHDR(High Data Rate)、NDR(Next Data Rate)と続く計画です。

最近のHCAはPCI Express接続でサーバに搭載しますが、実はPCI Expressの帯域幅がインフィニバンド通信のボトルネックになる可能性があります。 例えば、QDRのHCAはPCI Express Gen 2 x8で接続します。 PCI Express Gen 2は1レーンあたり片方向5Gbpsですので、x8のスロットは片方向40Gbpsの帯域幅を持つことになります。 これはQDRと同じ帯域幅ですので、FDRはPCI Express Gen 2で使用すると、ボトルネックが生じて当初の性能を発揮することが出来ません。 このため、FDRのHCAはPCI Express Gen 3に対応しています。

また、MellanoxではPCI Express Gen 2 対応サーバのために、FDR10というHCAの発売を計画しています。 40Gbpsのボトルネックはありますが、64B/66Bエンコーディングにより実質的な帯域幅は38.8Gbpsになり、QDRの32Gbpsに比べ約7Gbpsのアドバンテージがあります。

インフィニバンドとPCI Expressの帯域幅比較
SDR DDR QDR FDR10 FDR
HCA(4X)の帯域幅 10Gbps 20Gbps 40Gbps 56Gbps 56Gbps
HCAのインターフェース PCI Express 1.1 x4 PCI Express 1.1 x8 PCI Express 2.0 x8 PCI Express 2.0 x8 PCI Express 3.0 x8
上記PCI Expressの
帯域幅
10Gbps 20Gbps 40Gbps 40Gbps 80Gbps
HCAの実質的な帯域幅 8Gbps 16Gbps 32Gbps 38.8Gbps 54.3Gbps



go top