機能 #1205
未完了NVMe/TCP のためのネットワーク構成再考 (2026-09)
0%
説明
Proxmox VE 上で動かしている Ceph については2口 SFP+ の NIC のうち1口を占有して独立した VLAN に逃がしているが、 機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする でセットアップしようとしている NVMe/TCP については独立した VLAN を用意できていない。
また、 kanade (TrueNAS) 側でも現状では管理 VLAN とデスクトップ端末向け含む通常用途のネットワークにしか参加していない。
さすがに NVMe/TCP のトラフィックをアプリ向けと同じインターフェースで扱ってアプリの通信でブロックされたりするとかなり嫌なので、そこはどうにかネットワークを分離したい。
NO nop_thread さんが約8時間前に更新
- PVE の典型例
- RJ45 (1GbE〜10GbE), オンボード: mgmt VLAN
- (もうひとつ RJ45 が生えている場合もあるが、全てのノードでそうというわけではないので活用できていない。)
- SFP+ (10GbE) ×2, PCIe NIC
- 一方は backbone VLAN, lab VLAN, intsvc VLAN 向け
- もう一方は chuable-ceph VLAN (Ceph 向け)
- kanade
- RJ45 (10GbE) ×2, オンボード
- 一方は mgmt VLAN
- もう一方は未使用 (スイッチの RJ45 10G ポートに空きがないため (今なら SFP+ RJ45 module があるが))
- SFP+ (10GbE) ×2, PCIe NIC
- 2つとも LACP で束ねて lab VLAN, intsvc VLAB 向け
- RJ45 (10GbE) ×2, オンボード
こうして見ると、 backbone, lab, intsvc (と public) VLAN については引き続き同じインターフェースを使うしかなさそうか。
backbone がここにあるのは結構嫌といえば嫌だが、基本的にアプリやデスクトップ端末による通信は帯域を使いきることがなく、かつ backbone での通信量は少ない (またはデータが大きい場合は時間がかかっても良い) はずだという前提で同居させている。
NVMe/TCP を独立させられないとなれば、 VM 向けバックエンドストレージ用のネットワークという括りで考えて Ceph 用のインターフェースを利用するのが一番マシそう。
というかそれ以外の選択肢がたぶんほとんどない。
インターフェースを共用にするとして、 VLAN を Ceph 向けと分離すべきかそうでないかは考えどころである。
分離しても大してメリットはない気がするので VLAN も (chuable-ceph という名前は変えたうえで) 共用にするのが良い気はしている。
分離すると将来的にスイッチが大量に生えてきたとき経路を分離できるなどの拡張性は確保できるかもしれないが、どちらかというと当面は NIC が足りないという方面で困り続けることになりそうなので、ネットワーク側だけ分離できても出入口が同じなのでほとんど意味がないはず。
NO nop_thread さんが約8時間前に更新
- 次のチケットをブロック 機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする を追加
NO nop_thread さんが約8時間前に更新
nop_thread さんは #note-1 で書きました:
分離しても大してメリットはない気がするので VLAN も (
chuable-cephという名前は変えたうえで) 共用にするのが良い気はしている。
storage-backbone という名前に変更する。