鯖缶

今のところデータ用に TrueNAS CORE サーバを運用しているが (設備・備品 #169: NAS: kanade (TrueNAS Mini R & TrueNAS Community Edition))、これはただでさえ FreeBSD ベースなのと VM やアプリ等の機能が使いづらいのとで、直接アプリケーションを動かすのに向いていない。
たとえば minio を動かしていたことがあったが、 PVE に比べるとネットワーク設定が難しかったり、設定変更がホストごと再起動しないと反映されなかったりなど、いろいろ運用しづらさを感じた。

また、最近ストレージを食いそうなサービスが増えてきそうな予感がしている。
現状でも以下のものにストレージを割きたい。

• minio
  • 今のところ複数の小さな minio コンテナを立てているが、本当は巨大なひとつの minio クラスタですべてをホストする方が良さそうな気がしている (オーバーヘッドが減りそうなので)
• Proxmox Backup Server (#133)
  • 当然ストレージを食うし、しかもアプリケーション等を動かしている chuable クラスタ上では運用できない (バックアップ元がそこなので)。
  • TrueNAS 上の VM で運用して大変悲惨なパフォーマンスになった経験があり、ベアメタルか PVE 上でないと動かしたくない。 PVE であればそれなりに満足いくパフォーマンスが出そうなことは実験的運用で確認済。

TrueNAS 側のストレージを供出する手もあるのだが、以下の理由からそれも面倒。

• ファイルシステムのチョイスが面倒
  • iSCSI は PVE 側のイニシエータ (というか生存確認スクリプト) の行儀が悪いらしく TrueNAS 側のログがゴミで埋まるので使いたくない
  • NFS は認証まわりが面倒。 VPN などを使う目論見があるなら尚更宅内ネットワークもしっかりしておきたいが、かといって Kerberos 云々を弄るのもかなり面倒そう。
    • TrueNAS 側にそれらしい機能はあるようだが……セットアップや移行の容易さはどうだろう (未確認)。
  • SMB は権限まわりが面倒。たとえば executable flag まわりの見えかた等をうまく設定できたためしがないし、 unix like な permission との食い合わせが十分に良いのか疑問。
• そもそもブロックデバイス相当の領域をリモートストレージに確保する方式だと、事前にサイズを決定してアロケートしたり、拡張するとき内側のファイルシステムも拡張しないといけなかったり、縮小が困難だったりと、取り回しが悪い。
  • この点 Proxmox VE の ZFS であれば LXC コンテナには透過的にファイルシステムを置けるのでちょっと嬉しい。
• コンテナから NFS 等をマウントするには unprivileged container にしないといけない。かといって VM にすると柔軟性がなくなって場当たり的な管理が難しくなる。

そういったわけで、 chuable から NAS に触るのではなく、ストレージを山のように積んでサービスを直接動かすためのサーバがあれば良いのではないかと考えている。
こうすると高速なストレージを使うべき場所を集中できて嬉しいという利点もある。
NAS でアーカイブ用に SSD を使うのも勿体ないし……

どうせ依存が発生してしまうならクラスタを分けなくてもいいかもしれないが、どうせ上に乗せるサービスは他へは動かせないだろうし、せっかく遠隔ストレージ用のプロトコルで分離できそうなところを敢えてクラスタとして結合してしまうことが良いことなのかはわからない。

nop_thread さんは #note-11 で書きました:

機能 #780: kanade を TrueNAS Community Edition へアップグレード が完了したことで今は Linux ベースの TrueNAS Community Edition を使っているので、若干アプリを動かすのは楽になっている可能性がある。
とはいえ NAS にデータの管理以外の重要な仕事を任せるのは、ソリューションの選定や構成の硬直化などを招くため気が進まない。

やっぱり TrueNAS (kanade, #169) に乗せるのが良いかと考え始めている。
Garage とかが良い？

よく考えると NFS だろうが S3 API だろうがストレージ専用の機構であるという点では NAS の責務ド真ん中であるといえる。
加えて、オブジェクトストレージを PVE クラスタで冗長化すると NVMe とかに乗せることになりコスパが悪すぎる。
どうせリモートストレージとして分離されている時点でアプリとストレージの同期はそこまでシビアにする必要がない (できない) ことは前提なのだから、相応のデータ保全さえできれば PVE クラスタ内に置いておく必要性はないはず。
冗長性の確保は NAS 側のファイルシステムでやらせた方がたぶん楽。