鯖缶

braindump #568: Ceph の運用を考える を考えていて、やはり Ceph 用とそれ以外用 (主にシステム管理用とサービス用) のネットワークは分離する必要がある気がしてきている (特に NVMe SSD を使うなら)。
そうなるとサービス用の線は冗長化できなくなりそうで、それはそれで本当に良いのだろうかという気持ちになってくる。

現状だと LACP で冗長化しているので1本ずつ抜きながら作業したりできるが、はたしてその必要があるのかと言われるとたぶんない。
どちらかというと Mikrotik のスイッチや YAMAHA のルータのファームウェアをアップグレードするときに接続が止まる方が実用上は問題。
それにネットワークカードの故障を考えるにしても、サーバ側で同じカードから2口 SFP+ が生えている NIC を使っているので、故障耐性としてもたぶんそんなに大した嬉しさはない。

現状でもし冗長化を考えるなら、 Mikrotik の同じスイッチがせっかく2台あることを利用した構成とかだろうか。
しかしラックも2つあるからそれぞれ ToR スイッチにしたい気持ちが強く、わざわざ隣のラックからケーブルを引っ張ってきて物理配線を滅茶苦茶にしてまでスイッチの冗長化をしたいかというと現状ではそれも微妙。

現状:

• Mikrotik のスイッチ2台の容量にはそれぞれ余裕がある
  • SFP+ で 10G×24 と QSFP+ で 40G×2 があり、しかもノンブロッキング
• mgmt VLAN 用のスイッチは安物で代用できるようアンマネージドの RJ45 1G×24 を使っている
  • これは1台しかないので、ラック毎に設置するとしてもう1台あっても良いといえば良い、が、確実に余る (VLAN もないのに 24U ラックで24ポートを管理用に使いきれるわけがない)
• ルータの冗長化はない
  • RTX1300 なので、冗長性のために手軽に出せるお値段ではない…… (どうせ一番可用性が低いのはコンセントの電源そのものだし……)
• サーバ側では基本的に M/B 上の RJ45 端子を mgmt VLAN 用に利用し、 PCIe で増設した SFP+×2 NIC 1枚を LACP で束ねて tag VLAN で使っている。
  • つまりケーブルは冗長化されているが、ネットワーク機器やサーバ内部は冗長化されていない。
  • これは NAS (kanade) でも同じ。
  • toka は PCIe スロットに余裕があるので NIC の冗長化もできるが、あれを動かす予定は当面ない。少なくとも今の家では。