プロジェクト

全般

プロフィール

機能 #1205

完了
NO NO

NVMe/TCP のためのネットワーク構成再考 (2026-09)

機能 #1205: NVMe/TCP のためのネットワーク構成再考 (2026-09)

nop_thread さんが2ヶ月前に追加. 2ヶ月前に更新.

ステータス:
終了
優先度:
高め
担当者:
開始日:
期日:
進捗率:

100%

一時中断:
いいえ
pinned:
いいえ
リマインド予定日:
前回確認日:
2026/09/20
管理外残件あり:

説明

Proxmox VE 上で動かしている Ceph については2口 SFP+ の NIC のうち1口を占有して独立した VLAN に逃がしているが、 機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする でセットアップしようとしている NVMe/TCP については独立した VLAN を用意できていない。
また、 kanade (TrueNAS) 側でも現状では管理 VLAN とデスクトップ端末向け含む通常用途のネットワークにしか参加していない。

さすがに NVMe/TCP のトラフィックをアプリ向けと同じインターフェースで扱ってアプリの通信でブロックされたりするとかなり嫌なので、そこはどうにかネットワークを分離したい。


関連するチケット 1 (0件未完了 — 1件完了)

次のチケットをブロック 鯖缶 - 機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする終了nop_thread

操作

NO nop_thread さんが2ヶ月前に更新 · 編集済み 操作 #1

  • PVE の典型例
    • RJ45 (1GbE〜10GbE), オンボード: mgmt VLAN
    • (もうひとつ RJ45 が生えている場合もあるが、全てのノードでそうというわけではないので活用できていない。)
    • SFP+ (10GbE) ×2, PCIe NIC
      • 一方は backbone VLAN, intsvc VLAN 向け
      • もう一方は chuable-ceph VLAN (Ceph 向け)
  • kanade
    • RJ45 (10GbE) ×2, オンボード
      • 一方は mgmt VLAN
      • もう一方は未使用 (スイッチの RJ45 10G ポートに空きがないため (今なら SFP+ RJ45 module があるが))
    • SFP+ (10GbE) ×2, PCIe NIC
      • 2つとも LACP で束ねて backbone VLAN, intsvc VLAN 向け

こうして見ると、 backbone, intsvc (と public) VLAN については引き続き同じインターフェースを使うしかなさそうか。
backbone がここにあるのは結構嫌といえば嫌だが、基本的にアプリやデスクトップ端末による通信は帯域を使いきることがなく、かつ backbone での通信量は少ない (またはデータが大きい場合は時間がかかっても良い) はずだという前提で同居させている。

NVMe/TCP を独立させられないとなれば、 VM 向けバックエンドストレージ用のネットワークという括りで考えて Ceph 用のインターフェースを利用するのが一番マシそう。
というかそれ以外の選択肢がたぶんほとんどない。
インターフェースを共用にするとして、 VLAN を Ceph 向けと分離すべきかそうでないかは考えどころである。
分離しても大してメリットはない気がするので VLAN も (chuable-ceph という名前は変えたうえで) 共用にするのが良い気はしている。
分離すると将来的にスイッチが大量に生えてきたとき経路を分離できるなどの拡張性は確保できるかもしれないが、どちらかというと当面は NIC が足りないという方面で困り続けることになりそうなので、ネットワーク側だけ分離できても出入口が同じなのでほとんど意味がないはず。

NO nop_thread さんが2ヶ月前に更新 操作 #2

  • 次のチケットをブロック 機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする を追加

NO nop_thread さんが2ヶ月前に更新 操作 #3

nop_thread さんは #note-1 で書きました:

分離しても大してメリットはない気がするので VLAN も (chuable-ceph という名前は変えたうえで) 共用にするのが良い気はしている。

storage-backbone という名前に変更する。

NO nop_thread さんが2ヶ月前に更新 操作 #4

  • ステータス を 新規 から 終了 に変更
  • 進捗率 を 0 から 100 に変更

変更した。

kanade:

  • RJ45 (eno1): mgmt VLAN
  • RJ45 (eno2): 未使用
  • SFP+ (enp2s0f4)
    • vlan: storage-backbone
  • SFP+ (enp2s0f4d1): →bond0
  • bond0: enp2s0f4d1
    • vlan: backbone
    • vlan: intsvc

NO nop_thread さんが2ヶ月前に更新 操作 #5

nop_thread さんは #note-4 で書きました:

変更した。

kanade:

  • RJ45 (eno1): mgmt VLAN
  • RJ45 (eno2): 未使用
  • SFP+ (enp2s0f4)
    • vlan: storage-backbone
  • SFP+ (enp2s0f4d1): →bond0
  • bond0: enp2s0f4d1
    • vlan: backbone
    • vlan: intsvc

同じ bond0 の intsvc 用インターフェースは無事なのに backbone 側は ping がしょっちゅう途切れて使い物にならない。

状況:

何が起きているのか全然わからない。

NO nop_thread さんが2ヶ月前に更新 操作 #6

  • ステータス を 終了 から 進行中 に変更
  • 優先度 を 通常 から 高め に変更
  • 進捗率 を 100 から 90 に変更
  • 前回確認日 を 2026/09/18 から 2026/09/20 に変更

NO nop_thread さんが2ヶ月前に更新 · 編集済み 操作 #7

こたえ:

https://mastodon.cardina1.red/@lo48576/117303250199909739

結局 vlan インターフェースに個別に独自の MAC アドレスを割り当てて解決したので、これが7割正解だったっぽい……

https://mastodon.cardina1.red/@lo48576/117303259358236051

前提:

  • TrueNAS SCALE では VLAN インターフェースには MAC アドレスを個別に設定できない (親インターフェースのものがそのまま使われる)
  • MikroTik のスイッチを使っていた

発生条件:

  • 2ポート所属の LACP を使っている間は何も問題がなかった
  • LACP からポートを抜いて1ポートにしたところ、特定の VLAN のパケットだけが異常にドロップするようになった
  • LACP をやめて物理インターフェースから直に VLAN インターフェースを生やしてもドロップ症状は改善しなかった

https://mastodon.cardina1.red/@lo48576/117303303575195720

で、どうやら LACP で2ポート以上あるときは transmit hash policy が L2+L3+L4 なので衝突が起きなかったが、1ポートだけになる (あるいは LACP を使わない) と ASIC 側で何かの理由で L2 オンリー (MAC addr のみ) で扱うようになって問題が起きるっぽいんだけど、じゃあなんで VLAN ID を見てくれないの? という話ではあるんだよな

https://mastodon.cardina1.red/@lo48576/117303373101752404

VLAN インターフェースの MAC アドレスは TrueNAS CE の web UI から変更できなくて (まあ当たり前である、普通その必要ないから)、起動時にフックできるコマンドの仕組みを使う必要がある。
こういうの絶対後で存在を忘れてやらかすから嫌なんだけどなぁ (たとえばインターフェースを削除した後にもゴミを残してしまい、後で同名のインターフェースを作ったのち再起動してはじめて問題が発生するなど)

というわけで、 kanade の post-init フックで ip link set vlan{N} address {適当に生成した一意なMACアドレス} のようなものを仕込んでそれぞれの VLAN で固有の MAC アドレスを使わせることで、とりあえず解決できた。はず。
絶対何かがおかしいと思うのだが、 ASIC の仕様とかのせいだとか言われるとこちらとしても打つ手がないので、どうしようもない。

NO nop_thread さんが2ヶ月前に更新 操作 #8

  • ステータス を 進行中 から 終了 に変更
  • 進捗率 を 90 から 100 に変更

他の形式にエクスポート: PDF Atom