インフラエンジニア風備忘録 40Gネットワークを構築する(検証)

前書き
用意したもの
構築
速度測定
後書き
参考サイト

０．前書き

今回は作業用PC(NZXT H1)とESXi(デスクトップPC)を

40GのNIC２枚とDACケーブルで構築し、どのくらいの通信速度が出るかの検証です。

前回組んだ、H1のPCにはStartech社のLANカードを挿すと、

OS(Windows 11 Pro)が起動しなかったため、構築を断念しましたが、

諦めの悪い人間なので、富士通製のOEM版のLANカード購入しました。

Windows 11 ProにMellanox、ESXiにIntelです。

１．用意したもの

今回のイカれたパーツは３つです。

①StarTech Intel XL710搭載 QSFP+35000円（Amazon）

QSFP+ NICカード PCIe対応 Intel XL710チップ搭載 - ネットワークアダプタカード | StarTech.com 日本

ネットワークアダプターカード／PCI Express x8／1ポート／40GbE 光ファイバー LAN カード／Windows & Linux | 日本

②富士通 Mellanox ConnectX-3搭載 QSFP+ CA05954-2101　6,500円(ヤフオク)

CA05954-2101のヤフオク!の相場・価格を見る｜ヤフオク!のCA05954-2101のオークション売買情報は1件が掲載されています

【オークファン】ヤフオク、CA05954-2101の最安値を徹底比較！！ヤフオク・楽天・Amazonなどオークションやショッピングサイトの比較・検討が出来る「オークファン」過去10年間のオークション落札価格・情報を網羅。

③10Gtek QSFP+ DAC 1m Mellanox互換　4,000円(Amazon)

10Gtek 40G QSFP + DACケーブル 40GBASE-CR4 Twinaxケーブル Mellanox MC2206130-001、Meraki、Ubiquit、Mikrotik、Intel、Fortinet、 Netgear、D-Link、Supermicro、TP-Link オープンスイッチデバイス互換 1m

● SFF-8436準拠 ● IEEE 802.3ba準拠 ● 伝送速度40Gb/sまで ● 極めて低いクロストーク ● 低挿入損失 ● エンドツーエンドシステムに検査され ● RoHS準拠

後で説明しますが、Intelのチップを使った方が楽です。

値段が値段なので、Mellanoxでいいと思います。

ただ、VPI対応のものを購入してください。

２．構築

まずは、用意したStartechのLANカードをESXiにぶっ挿し、

富士通のLANカードをNZXT H1にぶっ挿しました。

DACケーブルを繋ぎました。

物理結線が終わった後、

まずはMellanoxのLANカードの動作モードを変更します。

MellanoxのLANカードは初期設定がInfiniband設定になっているらしく、

Ethernetで利用するには動作モードをETHモードにする必要があります。

富士通のLANカードを挿した作業PCを立ち上げて、デバイスマネージャーを開きます。

※Windows11 Pro 21H2では標準のドライバーで認識しましたが、

デバイスマネージャーに表示されない場合、

ドライバーをダウンロードしなければならない可能があります。

「表示」タブをクリックし、「デバイス(接続別)」に変更します。

「Mellanox ConnectX-3 VPI (MT04099) Network Adapter」をクリックします

プロパティ画面で、「Port Protcol」タブを開き、

「HCA Port Type Configration」欄の「HW Defaults」にある

チェックボックスからチェックを外し、「ETH」を選択し「OK」をクリックします

デバイスマネージャーの画面に戻り、

「Mellanox ConnectX-3 Network Adapter」をクリックします

プロパティ画面で、「詳細設定」タブを開き、

「Jumbo Packet」の値を「9000」に

変更します

「Information」タブを開き、

「Link Speed」が40Gbpsになっていることを確認し、「OK」をクリックします

作業PC(Mellanox)側の設定が完了したので、

ESXi(Intel)側で管理画面から、

vSwitchの設定画面に入り、MTUの設定を変更します

これですべての作業が完了です

３．速度測定

速度測定にはiperf3を使用し、

作業PC(Mellanox)側をクライアント、ESXi(Intel)側をサーバとします

使用するコマンドは以下

C:\iperf-3.1.3-win64\iperf3 -c 172.16.1.4 -P 6

※iperf3のフォルダパス環境に合わせて変更してください。

今回はCドライブ直下です。

【実行結果】

Connecting to host 172.16.1.4, port 5201
[ 4] local 172.16.1.220 port 52793 connected to 172.16.1.4 port 5201
[ 6] local 172.16.1.220 port 52794 connected to 172.16.1.4 port 5201
[ 8] local 172.16.1.220 port 52795 connected to 172.16.1.4 port 5201
[ 10] local 172.16.1.220 port 52796 connected to 172.16.1.4 port 5201
[ 12] local 172.16.1.220 port 52797 connected to 172.16.1.4 port 5201
[ 14] local 172.16.1.220 port 52798 connected to 172.16.1.4 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 507 MBytes 4.26 Gbits/sec
[ 6] 0.00-1.00 sec 502 MBytes 4.21 Gbits/sec
[ 8] 0.00-1.00 sec 500 MBytes 4.20 Gbits/sec
[ 10] 0.00-1.00 sec 503 MBytes 4.22 Gbits/sec
[ 12] 0.00-1.00 sec 495 MBytes 4.15 Gbits/sec
[ 14] 0.00-1.00 sec 489 MBytes 4.10 Gbits/sec
[SUM] 0.00-1.00 sec 2.93 GBytes 25.1 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 1.00-2.00 sec 550 MBytes 4.61 Gbits/sec
[ 6] 1.00-2.00 sec 542 MBytes 4.55 Gbits/sec
[ 8] 1.00-2.00 sec 539 MBytes 4.52 Gbits/sec
[ 10] 1.00-2.00 sec 548 MBytes 4.60 Gbits/sec
[ 12] 1.00-2.00 sec 543 MBytes 4.55 Gbits/sec
[ 14] 1.00-2.00 sec 531 MBytes 4.45 Gbits/sec
[SUM] 1.00-2.00 sec 3.18 GBytes 27.3 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 2.00-3.00 sec 559 MBytes 4.69 Gbits/sec
[ 6] 2.00-3.00 sec 553 MBytes 4.64 Gbits/sec
[ 8] 2.00-3.00 sec 550 MBytes 4.61 Gbits/sec
[ 10] 2.00-3.00 sec 556 MBytes 4.66 Gbits/sec
[ 12] 2.00-3.00 sec 547 MBytes 4.59 Gbits/sec
[ 14] 2.00-3.00 sec 546 MBytes 4.58 Gbits/sec
[SUM] 2.00-3.00 sec 3.23 GBytes 27.8 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 3.00-4.00 sec 560 MBytes 4.69 Gbits/sec
[ 6] 3.00-4.00 sec 553 MBytes 4.64 Gbits/sec
[ 8] 3.00-4.00 sec 550 MBytes 4.61 Gbits/sec
[ 10] 3.00-4.00 sec 555 MBytes 4.66 Gbits/sec
[ 12] 3.00-4.00 sec 551 MBytes 4.62 Gbits/sec
[ 14] 3.00-4.00 sec 538 MBytes 4.51 Gbits/sec
[SUM] 3.00-4.00 sec 3.23 GBytes 27.7 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 4.00-5.00 sec 561 MBytes 4.70 Gbits/sec
[ 6] 4.00-5.00 sec 560 MBytes 4.70 Gbits/sec
[ 8] 4.00-5.00 sec 550 MBytes 4.62 Gbits/sec
[ 10] 4.00-5.00 sec 556 MBytes 4.66 Gbits/sec
[ 12] 4.00-5.00 sec 544 MBytes 4.57 Gbits/sec
[ 14] 4.00-5.00 sec 537 MBytes 4.51 Gbits/sec
[SUM] 4.00-5.00 sec 3.23 GBytes 27.8 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 5.00-6.00 sec 562 MBytes 4.71 Gbits/sec
[ 6] 5.00-6.00 sec 555 MBytes 4.66 Gbits/sec
[ 8] 5.00-6.00 sec 550 MBytes 4.61 Gbits/sec
[ 10] 5.00-6.00 sec 557 MBytes 4.67 Gbits/sec
[ 12] 5.00-6.00 sec 550 MBytes 4.61 Gbits/sec
[ 14] 5.00-6.00 sec 538 MBytes 4.51 Gbits/sec
[SUM] 5.00-6.00 sec 3.23 GBytes 27.8 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 6.00-7.00 sec 562 MBytes 4.71 Gbits/sec
[ 6] 6.00-7.00 sec 558 MBytes 4.68 Gbits/sec
[ 8] 6.00-7.00 sec 552 MBytes 4.63 Gbits/sec
[ 10] 6.00-7.00 sec 559 MBytes 4.69 Gbits/sec
[ 12] 6.00-7.00 sec 552 MBytes 4.63 Gbits/sec
[ 14] 6.00-7.00 sec 548 MBytes 4.60 Gbits/sec
[SUM] 6.00-7.00 sec 3.25 GBytes 27.9 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 7.00-8.00 sec 557 MBytes 4.67 Gbits/sec
[ 6] 7.00-8.00 sec 551 MBytes 4.62 Gbits/sec
[ 8] 7.00-8.00 sec 547 MBytes 4.59 Gbits/sec
[ 10] 7.00-8.00 sec 556 MBytes 4.66 Gbits/sec
[ 12] 7.00-8.00 sec 544 MBytes 4.56 Gbits/sec
[ 14] 7.00-8.00 sec 550 MBytes 4.61 Gbits/sec
[SUM] 7.00-8.00 sec 3.23 GBytes 27.7 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 8.00-9.00 sec 562 MBytes 4.72 Gbits/sec
[ 6] 8.00-9.00 sec 556 MBytes 4.66 Gbits/sec
[ 8] 8.00-9.00 sec 552 MBytes 4.63 Gbits/sec
[ 10] 8.00-9.00 sec 559 MBytes 4.69 Gbits/sec
[ 12] 8.00-9.00 sec 548 MBytes 4.60 Gbits/sec
[ 14] 8.00-9.00 sec 548 MBytes 4.59 Gbits/sec
[SUM] 8.00-9.00 sec 3.25 GBytes 27.9 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ 4] 9.00-10.00 sec 562 MBytes 4.71 Gbits/sec
[ 6] 9.00-10.00 sec 563 MBytes 4.72 Gbits/sec
[ 8] 9.00-10.00 sec 555 MBytes 4.65 Gbits/sec
[ 10] 9.00-10.00 sec 558 MBytes 4.68 Gbits/sec
[ 12] 9.00-10.00 sec 551 MBytes 4.62 Gbits/sec
[ 14] 9.00-10.00 sec 541 MBytes 4.54 Gbits/sec
[SUM] 9.00-10.00 sec 3.25 GBytes 27.9 Gbits/sec
– – – – – – – – – – – – – – – – – – – – – – – – –
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 5.41 GBytes 4.65 Gbits/sec sender
[ 4] 0.00-10.00 sec 5.41 GBytes 4.65 Gbits/sec receiver
[ 6] 0.00-10.00 sec 5.36 GBytes 4.61 Gbits/sec sender
[ 6] 0.00-10.00 sec 5.36 GBytes 4.61 Gbits/sec receiver
[ 8] 0.00-10.00 sec 5.32 GBytes 4.57 Gbits/sec sender
[ 8] 0.00-10.00 sec 5.32 GBytes 4.57 Gbits/sec receiver
[ 10] 0.00-10.00 sec 5.38 GBytes 4.62 Gbits/sec sender
[ 10] 0.00-10.00 sec 5.38 GBytes 4.62 Gbits/sec receiver
[ 12] 0.00-10.00 sec 5.30 GBytes 4.55 Gbits/sec sender
[ 12] 0.00-10.00 sec 5.30 GBytes 4.55 Gbits/sec receiver
[ 14] 0.00-10.00 sec 5.24 GBytes 4.50 Gbits/sec sender
[ 14] 0.00-10.00 sec 5.24 GBytes 4.50 Gbits/sec receiver
[SUM] 0.00-10.00 sec 32.0 GBytes 27.5 Gbits/sec sender
[SUM] 0.00-10.00 sec 32.0 GBytes 27.5 Gbits/sec receiver