40G NIC な話

投稿者: | 2023-12-13

10G NIC を複数挿せないなら 40G でまとめちまえばいいじゃねぇかと DL360Gen9 に 544+FLR-QSFP を搭載し VDX6740 の 40G ポート間を QSFP の DAC で繋いだんですが、結果は惨敗。
DAC を VDX6740 に挿すと、

sw0# sh int status 
--------------------------------------------------------------------------------
Port         Status        Mode      Speed   Type           Description
--------------------------------------------------------------------------------
Fo 1/0/49    notconnected  Access     --       40G-QSFP                            
Fo 1/0/50    sfpAbsent     Access     --       --                                  
Fo 1/0/51    adminDown     Access     --       --                                  
Fo 1/0/52    adminDown     Access     --       --   

40G-QSFP と認識するんですが、Status が notconnected となっていて、別のコマンドでポート状態を見ると、

sw0# show ip interface brief

Interface                      IP-Address      Vrf                     Status                    Protocol
==========================     ==========      ==================      ====================      ========
FortyGigabitEthernet 1/0/49     unassigned        default-vrf          administratively down     down (no 40G Port Upgrade license)
FortyGigabitEthernet 1/0/50     unassigned        default-vrf          administratively down     down (no 40G Port Upgrade license)
FortyGigabitEthernet 1/0/51     unassigned        default-vrf          administratively down     down (no 40G Port Upgrade license)
FortyGigabitEthernet 1/0/52     unassigned        default-vrf          administratively down     down (no 40G Port Upgrade license)

と、強制ポートダウンさせられてる。
因みに VDX6740 側の DAC の LED はオレンジでヤバゲに点滅する。

ヤバゲに点滅する DAC

Protocol のところをそのまま読むと 40G 使うためのライセンスねーよボケ!となっているけど、前に見た VDX67 シリーズの設置マニュアルだと 4 ポート中 2 ポートはライセンス追加なしで使えると書いてあった気がするので・・
とりあえずで買ってみた QSFP の DAC ではなく HPE の純正ケーブル(670759-B24) を取り寄せてみた。

10GTek 3m で 4,000 円くらいの DAC
HPE の純正ケーブル(670759-B24)

で差し替えてみたけど、状況変わらず。
ただ raslog を見ると 10GTek の DAC だと、

2023/11/24-11:28:58, [NSM-1042], 88275683, SW/0 | Active | DCE, WARNING, sw0,  Unqualified SFP transceiver for interface FortyGigabitEthernet 1/0/49 is detected.

と、不適合(Unqualified)いうログが出力されるけど、HPE の純正ケーブルだと、

2023/12/01-16:31:48, [NSM-1028], 88276163, SW/0 | Active | DCE, ERROR, sw0,  Incompatible SFP transceiver for interface FortyGigabitEthernet 1/0/49 is detected.

非互換(Incompatible)と若干ログの内容が変わったけど使えないことに変わりない感じ。
どうしようもないので再度 VDX67 シリーズの設置マニュアルを読んだところライセンス無しでも 40G 2 ポート使えるのは VDX 6740T-1G だったっぽい。

Brocade VDX 6740T-1G
1G Base-T(RJ-45)ポートと、40GbE QSFP 追加ポートを備えています。
基本モデルには、100Mbps、1Gbps、または自動検出モードで動作する 48 の Base-T ポートが搭載
され、すべてのスロットが埋まっています。
10G Port Upgrade ライセンスによって、RJ-45 ポートは 10Gbps で動作できるようになります。こ
のライセンスは、16/32/48 ポート単位で適用できます。Brocade VDX 6740T-1G では、デフォルト
で 40GbE ポートを 2 ポート搭載した状態で出荷されます。40G Port Upgrade ライセンスを追加す
ると、40GbE ポートをさらに 2 ポート使用できるようになります。

VDX6740 の説明にはライセンスを追加すれば 2 ないしは 4 ポート使えるよ。と。。

Brocade VDX 6740
1/10GbE インターフェース用の SFP+ ポートを備えています。
基本モデルには、1Gbps、10Gbps、または自動検出モードで動作する Ethernet ポートが 24 ポート
含まれています。
10G Port Upgrade ライセンスによって、1/10GbE ポートを 8/16/24 ポート単位で追加できます。
40G Port Upgrade ライセンスを追加すると、40GbE ポートを 2 または 4 ポート使用できるように
なります。
やっぱり 10GTek 製のケーブル!

という訳で 40G を使うにはサーバ間直結しかなくなったので 40G 利用は諦めて 40G を 10G x4 で利用できないか悪足搔きするため 40G のトランシーバと MPO – LC x4 のケーブルを買ってみるも
リンクアップせず全く使いものにならず。。
もう完全にどうしようもないので 40G はきっぱり諦めて SmartArray P822 と 560SFP+FLR の組み合わせで PCIe のエラーが出るのが DL360 側のシステムボードの問題なのか P822 の問題なのか切り分けるため・・

追加で DL360Gen9 を入手しました!
完全に沼っている気がするけど気にしない。。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です