機能 #457
完了ストレージを食いまくるサービス用に、独立した Proxmox VE クラスタを用意するべきか検討
nop_thread さんが約2年前に追加. 14日前に更新.
0%
NO nop_thread さんが約2年前に更新 操作 #1
- 題名 を ストレージを食いまくるサービス用に、独立した Proxmox VE クラスタを用意する から ストレージを食いまくるサービス用に、独立した Proxmox VE クラスタを用意するべきか検討 に変更
今のところデータ用に TrueNAS CORE サーバを運用しているが (設備・備品 #169: NAS: kanade (TrueNAS Mini R & TrueNAS Community Edition))、これはただでさえ FreeBSD ベースなのと VM やアプリ等の機能が使いづらいのとで、直接アプリケーションを動かすのに向いていない。
たとえば minio を動かしていたことがあったが、 PVE に比べるとネットワーク設定が難しかったり、設定変更がホストごと再起動しないと反映されなかったりなど、いろいろ運用しづらさを感じた。
また、最近ストレージを食いそうなサービスが増えてきそうな予感がしている。
現状でも以下のものにストレージを割きたい。
- minio
- 今のところ複数の小さな minio コンテナを立てているが、本当は巨大なひとつの minio クラスタですべてをホストする方が良さそうな気がしている (オーバーヘッドが減りそうなので)
- Proxmox Backup Server (#133)
- 当然ストレージを食うし、しかもアプリケーション等を動かしている chuable クラスタ上では運用できない (バックアップ元がそこなので)。
- TrueNAS 上の VM で運用して大変悲惨なパフォーマンスになった経験があり、ベアメタルか PVE 上でないと動かしたくない。 PVE であればそれなりに満足いくパフォーマンスが出そうなことは実験的運用で確認済。
TrueNAS 側のストレージを供出する手もあるのだが、以下の理由からそれも面倒。
- ファイルシステムのチョイスが面倒
- iSCSI は PVE 側のイニシエータ (というか生存確認スクリプト) の行儀が悪いらしく TrueNAS 側のログがゴミで埋まるので使いたくない
- NFS は認証まわりが面倒。 VPN などを使う目論見があるなら尚更宅内ネットワークもしっかりしておきたいが、かといって Kerberos 云々を弄るのもかなり面倒そう。
- TrueNAS 側にそれらしい機能はあるようだが……セットアップや移行の容易さはどうだろう (未確認)。
- SMB は権限まわりが面倒。たとえば executable flag まわりの見えかた等をうまく設定できたためしがないし、 unix like な permission との食い合わせが十分に良いのか疑問。
- そもそもブロックデバイス相当の領域をリモートストレージに確保する方式だと、事前にサイズを決定してアロケートしたり、拡張するとき内側のファイルシステムも拡張しないといけなかったり、縮小が困難だったりと、取り回しが悪い。
- この点 Proxmox VE の ZFS であれば LXC コンテナには透過的にファイルシステムを置けるのでちょっと嬉しい。
- コンテナから NFS 等をマウントするには unprivileged container にしないといけない。かといって VM にすると柔軟性がなくなって場当たり的な管理が難しくなる。
そういったわけで、 chuable から NAS に触るのではなく、ストレージを山のように積んでサービスを直接動かすためのサーバがあれば良いのではないかと考えている。
こうすると高速なストレージを使うべき場所を集中できて嬉しいという利点もある。
NAS でアーカイブ用に SSD を使うのも勿体ないし……
NO nop_thread さんが約2年前に更新 操作 #2
- 次のチケットをブロック 機能 #133: Proxmox Backup Server を検討 を追加
NO nop_thread さんが約2年前に更新 操作 #3
- 関連している 買い物・物欲 #460: HL15 (45HomeLab) ストレージサーバ を追加
NO nop_thread さんがほぼ2年前に更新 操作 #4
- 関連している 機能 #415: minio の定期的バックアップ を追加
NO nop_thread さんがほぼ2年前に更新 操作 #5
- 前回確認日 を 2024/09/01 から 2024/10/21 に変更
どうせ依存が発生してしまうならクラスタを分けなくてもいいかもしれないが、どうせ上に乗せるサービスは他へは動かせないだろうし、せっかく遠隔ストレージ用のプロトコルで分離できそうなところを敢えてクラスタとして結合してしまうことが良いことなのかはわからない。
NO nop_thread さんがほぼ2年前に更新 · 編集済み 操作 #6
アプリと同じクラスタ内のどこかのノードに HDD を乗せておくという素直な手もなしではないかもしれないが、 SilverStone の RM44 は 3.5" ×2 しかないうえ CPU の直上に位置するのでクーラーによっては干渉してしまうことを考えると、ストレージの物理的移動やノード故障時の仮運用などはだいぶ面倒になりそう。
かといって SATA SSD などを使うというのも、¥10k/TB を下回らない現状ではコスト的につらいところがある。特に冗長化まで考えると。
NO nop_thread さんがほぼ2年前に更新 操作 #7
- 関連している braindump #568: Ceph の運用を考える を追加
NO nop_thread さんがほぼ2年前に更新 操作 #8
- 関連している 機能 #426: NAS 全般のハードウェアと運用を再考する (2024-07) を追加
NO nop_thread さんがほぼ2年前に更新 操作 #9
- 関連している 機能 #332: デスクトップとラップトップのバックアップ機構の検討 を追加
NO nop_thread さんがほぼ2年前に更新 操作 #10
- 次のチケットをブロック 機能 #49: PeerTube サーバを立てたい を追加
NO nop_thread さんが約1年前に更新 操作 #11
nop_thread さんは #note-1 で書きました:
今のところデータ用に TrueNAS CORE サーバを運用しているが (設備・備品 #169: NAS: kanade (TrueNAS Mini R & TrueNAS Community Edition))、これはただでさえ FreeBSD ベースなのと VM やアプリ等の機能が使いづらいのとで、直接アプリケーションを動かすのに向いていない。
機能 #780: kanade を TrueNAS Community Edition へアップグレード が完了したことで今は Linux ベースの TrueNAS Community Edition を使っているので、若干アプリを動かすのは楽になっている可能性がある。
とはいえ NAS にデータの管理以外の重要な仕事を任せるのは、ソリューションの選定や構成の硬直化などを招くため気が進まない。
NO nop_thread さんが約1年前に更新 操作 #12
- 前回確認日 を 2024/10/21 から 2025/08/06 に変更
NO nop_thread さんが10ヶ月前に更新 · 編集済み 操作 #13
- 前回確認日 を 2025/08/06 から 2025/11/30 に変更
nop_thread さんは #note-11 で書きました:
機能 #780: kanade を TrueNAS Community Edition へアップグレード が完了したことで今は Linux ベースの TrueNAS Community Edition を使っているので、若干アプリを動かすのは楽になっている可能性がある。
とはいえ NAS にデータの管理以外の重要な仕事を任せるのは、ソリューションの選定や構成の硬直化などを招くため気が進まない。
やっぱり TrueNAS (kanade, #169) に乗せるのが良いかと考え始めている。
Garage とかが良い？
よく考えると NFS だろうが S3 API だろうがストレージ専用の機構であるという点では NAS の責務ド真ん中であるといえる。
加えて、オブジェクトストレージを PVE クラスタで冗長化すると NVMe とかに乗せることになりコスパが悪すぎる。
どうせリモートストレージとして分離されている時点でアプリとストレージの同期はそこまでシビアにする必要がない (できない) ことは前提なのだから、相応のデータ保全さえできれば PVE クラスタ内に置いておく必要性はないはず。
冗長性の確保は NAS 側のファイルシステムでやらせた方がたぶん楽。
NO nop_thread さんが10ヶ月前に更新 操作 #14
- 次のチケットをブロック を削除 (機能 #49: PeerTube サーバを立てたい)
NO nop_thread さんが10ヶ月前に更新 操作 #15
- 関連している 機能 #49: PeerTube サーバを立てたい を追加
NO nop_thread さんが3ヶ月前に更新 操作 #16
nop_thread さんは #note-5 で書きました:
どうせ依存が発生してしまうならクラスタを分けなくてもいいかもしれないが、どうせ上に乗せるサービスは他へは動かせないだろうし、せっかく遠隔ストレージ用のプロトコルで分離できそうなところを敢えてクラスタとして結合してしまうことが良いことなのかはわからない。
nop_thread さんは #note-13 で書きました:
やっぱり TrueNAS (kanade, #169) に乗せるのが良いかと考え始めている。
Garage とかが良い？
S3 互換なら rclone か何かでミラーするなり、クラスタ機能があるならノード追加して削除で移行するなりで、ホストの移動は割と自由に行えるのではないかという気がしてきた。
短期的には NAS と chuable と他のどこか、どこに置いても後から都合良く変更できそう。
NO nop_thread さんが3ヶ月前に更新 操作 #17
nop_thread さんは #note-16 で書きました:
短期的には NAS と chuable と他のどこか、どこに置いても後から都合良く変更できそう。
性能だけで考えるなら、なぜかメモリが 20GB あって SSD も 1TB ×2 積んである 設備・備品 #187: NAS: yonagi なども、キャッシュが強そうだしバックアップの同期中以外は暇そうという点で候補に上がってくる。
NO nop_thread さんが3ヶ月前に更新 操作 #18
- 前回確認日 を 2025/11/30 から 2026/07/14 に変更
NO nop_thread さんが3ヶ月前に更新 操作 #19
- 関連している 機能 #1137: chuable 向けの S3 互換オブジェクトストレージサーバを立てる を追加
NO nop_thread さんが14日前に更新 操作 #20
- ステータス を 新規 から 終了 に変更
- 前回確認日 を 2026/07/14 から 2026/09/24 に変更
機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする で TrueNAS に直接 VM のディスクを置けるようになったので、とりあえずこれで行けるところまでは行ってみる。
駄目だったら別途チケットを立てて再検討するかも。