鯖缶

いいかげん Garage vs. RustFS vs. SeaweedFS の決着をつけて kanade あたりにデプロイしたい。

ブロックこそしていないが、 #1203 より前に完了したい。

• Proxmox VE Storage Plugin | TrueNAS Documentation Hub
  • truenas/truenas-proxmox-plugin: For providing seamless block storage to PVE
  • truenas-proxmox-plugin/wiki/NVMe-Setup.md at main · truenas/truenas-proxmox-plugin

なにやら TrueNAS 公式で Proxmox VE から TrueNAS と連携するブロックストレージプラグインが出ていた。
生の iSCSI を使うより良さげなので、これを使って chuable 上に Garage サーバを立てるのが良さそう。

iSCSI vs. NVMe/TCP については、 NVMe/TCP 一択っぽい。

• iSCSI vs NVMe-oF: Performance Comparison
• PROXMOX: ISCSI and NVMe/TCP SHARED STORAGE COMPARISON | Blockbridge Knowledgebase

明らかにオーバーヘッドが減ってパフォーマンスが上がっているようだ。
まあ HDD アレイと 10 GbE 程度では大差ない可能性もあるが、互換性や既存運用などを気にしない新規セットアップなら敢えて iSCSI を使う理由はなさそう。

Garage の data_dir は、公式にサポートはしていないながら、リモートの FS に置くことができるようだ。

#986 - Can Garage work with NFS-backed storage? - Deuxfleurs/garage - Forge Deuxfleurs

Fundamentally it should be possible, as garage doesn't really do anything fancy with the underlying file system. At least for the data folder. For the metadata, things could be more tricky depending on the backend used. In any cases this would likely not be something we would spend time supporting.

とはいえ、デフォルト設定だとオブジェクトは 1 MB のチャンクに分割されて保存されるようなので、小さなファイルを大量に転送するような動作になりそう。
これは CIFS だと体感として露骨に性能が落ちる負荷なので (NFS はわからんが概ね近いだろう)、チューニングなしで真っ当な性能を出したいならおそらくリモートの FS を使うべきではない。

Garage configuration file - Garage Documentation

Garage splits stored objects in consecutive chunks of size block_size (except the last one which might be smaller). The default size is 1MB and should work in most cases.

ブロックストレージを使うべきと考えたのはこういった理由である。

TrueNAS の Apps から Garage を立てるのも試そうとしたが、 web UI (garage-ui) を HTTPS 化するのが面倒になりそうだったのでやめた。

具体的には、まず Garage の web UI が HTTP なので、自宅 CA から証明書を取得・更新させて HTTPS 化しようとしたらリバースプロキシが必要になる。
(長期間の証明書を手作業で作ればどうにかなるのかもしれないが、そんなことはしたくないので最初から調べていない。)
しかし TrueNAS 自体の web UI や API エンドポイントが :443 を使っているので、 NPMplus のようなリバースプロキシを動かしたところで ACME での証明書自動更新はできない。
TrueNAS の web UI と API を :443 から出すのをやめて NPMplus に listen させて中継させる手も考えられなくはないが、 Apps 側で何かトラブルがあったときに :443 から API にアクセスできなくなるとクラスタの他の場所まで影響しそうで嫌だったので、 Truenas の Apps にそこまでの責任を負わせたくないということで却下した。