鯖缶

NFS をストレージとして使うことを考えていたが、どうもプライマリなバックアップの保存先はローカルな ZFS が前提になっている？
もう少し調べてみる。

ミニ PC の方にも考えるべきことはあって、電源ユニットがだいたい外にあるのが嫌。どうせ大したサイズではないのだから本体に仕込まれていてほしいのだが……
Mini-ITX の M/B を探して自前で組むという手も考えられるが、メモリとストレージを大きく積みづらそうなのであまり向いているとも思えない。

今のところ toka のストレージが 22 TB (増強予定あり) なので、メモリは 26 GB 以上あることが望ましいということになる。
32 GB か 64 GB ということになろう。やはり物理マシンを1台占有させるべきだ。
どうせ計算力にはあまりこだわらない (メモリが積めればひとまずは良い) から、いっそラック増設 (#123) を前提に支持レールで載せられるサイズの安い BTO マシンを用意するのはありかもしれない。
高さ 37〜44.5 cm くらいのデスクトップ PC なら、たぶん探せば結構あるはず。

PBS 自体にもレプリケーション機能があるので、もしそちらを使うなら toka 側のレプリケーション機能と重複しないようにセットアップする必要はありそう。

NAS に全てのレプリケーションを委ねるのと各種実装が固有に持つレプリケーションの活用、どちらが良いかは難しいが。
前者はバックアップ先の管理やディザスタリカバリが楽になるが、今のところ NAS そのものの冗長運用はしていないため、 SPoF としての NAS の重要度を高めてしまい、重大事故の際の被害が大きくなる (たとえばデータ喪失までいかずともダウンタイム増加などの) リスクが残る。
後者は実装固有の最適化や機能を活用しやすいが、同種の実装をバックアップ先にも立てる必要があり計算資源のオーバーヘッドは無視できない。

• How To: Setup Synology NFS for Proxmox Backup Server Datastore - Derek Seaman's Tech Blog

NFS は使えるようだが、 PBS 側にネイティブなサポートがあるわけではなく普通にマウントして使うことになるらしい。
権限まわりの落とし穴は嫌だな。

• Truenas NFS to proxmox backup server | Proxmox Support Forum

Firstly: while it works to add NFS shares to PBS, it is not built for that.
To add a NFS to PBS and use it as a Datasore, you need to adjust your permission in the nfs share [1][2][3][4] since by default a mounted nfs file will have nobody as user and group, which won't allow you to use a directory as datastore on that nfs.

• Run Proxmox Backup Server on TrueNAS | Alan Norbauer

PVE で VM を作ってそれを TrueNAS 側にコピーして設定をちょっと修正してやると、 TrueNAS 側への VM 導入が簡単になるらしい。なんだそれ……

PBS 同士で replication できることを利用して、 PVE 上の PBS と別ホストの (yonagi 上とかの) PBS で同期するという手もある。
容量は倍〜3倍 (PBS1 on toka, PBS2 on yonagi, toka's backup on yonagi) 消費するが、相当な dedup が効くはずなので 33% 以下への圧縮なら割と勝算がありそう。

本格的に依存するかは別途検討するとして、とりあえずその構成のつもりで PVE 上と yonagi 上に PBS を立ててみるのが良さそう。

しかしセカンダリな PBS を VM に立てるのはやはり良くないか。
ZFS on ZFS でないにせよ、 ZFS on btrfs もおそらく on ZFS と同様の理由で推奨されないだろうし、であれば yonagi 上に立てても地雷を埋めることになるだけかもしれない。
実験用途ではありだろうが……やはり使い物になりそうであればミニ PC なり何なりで専用マシンを立てるほかないか。
しかしミニ PC ではストレージをどうするかという問題もある。 JBOD エンクロージャでも用意するか？

SilverStone の SST-RM41-H08 (4U ラックマウントの PC ケース) に惹かれている。
ただ、やはり PBS 単体にストレージをしっかり積むかはよく考える必要がある。

そもそも巨大なデータは NFS とか iSCSI とかで NAS を直接使う形になるだろうから、 chuable だけで見ればバックアップすべきシステムは基本的に 1TB の NVMe SSD に収まる程度 (あるいはせいぜいそのノード数倍) になる。
つまり 8TB の HDD を2つ積んでミラーするだけでも VM/CT バックアップとしてはかなり長く使える気がする。

問題は、 PBS をサーバ類以外のバックアップに使おうとするとどうなるかということ。
世代管理したくなるようなバックアップがサーバ外にいかほどあるかは不明だが、デスクトップ PC 等のバックアップをこれでやりたくなる可能性は割とあると思っている。
(クライアントの対応プラットフォームはどうだっけ……)

But be aware, that GC tasks will need an eternity to finish in case your TrueNAS is only using HDDs without a SSD for L2ARC or special device.

--- Running pbs as vm inside truenas ? Your advice | Proxmox Support Forum (comment 2)

弊宅の NAS のストレージは基本的に HDD で運用されているため、 NFS 経由にせよ VM にせよこのまま PBS を動かそうとすると碌なことにならない気がしてきている。
やはり適当な専用マシンを調達してくるべきか。

試算:

• CPU + M/B : 37k (tsukumo, セット)
• メモリ (16G×2枚組) : 10k (tsukumo)
• 4Uラックマウントケース+レール : 33k (amazon, amazon)
• CPUファン : 13k (tsukumo)
• PSU (850W, Platinum) : 23k (tsukumo)
• dGPU : 14k (amazon)
• ケースファン (80mm ×2 NF-A8 PWM) (optional) : 2.4k×2 = 5k (tsukumo, 売切))
• SSD 500 GB (システム用) : 8k (tsukumo)
  • SATA SSD も NVMe M.2 SSD も 500 GB だと価格はだいたい同じ。
• 10G NIC : 13k (amazon)
• SFP+ DAC ケーブル (1.5m ×2) : 4k (amazon)
• SSD (データストア用)
  • SSD 4TB ×2 : 40k ×2 = 80k (tsukumo) または
  • SSD 8TB : 80k (tsukumo)

総額: ¥235k (ストレージ抜きで 155k)

ありといえばありか。
ラックに空きがないのが一番の問題だが。

VPS のバックアップに楽に使えそうであることを考えると、やはり PBS は単なる NAS 以上に有用に思われる。

ミニ PC を見てみたが、ただでさえ諸々の品質が心配なのに加えて、安いものはストレージの積み増しができなそうだし、ちょっとスペックがマシなものを選ぼうとすると ¥80k〜140k くらいは普通にいくので、であれば最初からラックマウント前提で自作するのでよさそう。

ヤフオクかどこかで適当に PRIMERGY とかを漁るのもありかもしれん。

2TB 帯だと NVMe M.2 SSD の方が SATA SSD よりも若干安い。
どうせストレージを SSD にするのであれば、 SATA ポートが多いよりも M.2 スロットが多いことを優先する方が良いのかもしれない。
考え直し。

Zen5 が今年中に発売されるだろうとの噂があるため、それでもう1台組んで nagisa (#206, CPU が Ryzen 7 3800X) と交換することも考えた。
しかしサーバについては現状まあまあ余力があるため御祝儀価格で買うほど性能が欲しいわけでもなく、また為替の不安定さや SSD の生産や価格への不安を考えると、今のうちに安く調達できそうなものはしておいた方が良い。
(もちろん CPU と M/B 以外のものだけ揃えておくのでも良いが、半年寝かせるのも保証期間などの面からあまり望ましくないし、なによりバックアップソリューションをはやく稼動させたい。)

3800X と 5700X の性能にそこまで差はないようだが電力効率は 5700X の方が良いので、 chuable に組み込むならこちらの方がマシと思われ、今から買うことも正当化できるといえばできるだろう。

nop_thread さんは #note-23 で書きました:

2TB 帯だと NVMe M.2 SSD の方が SATA SSD よりも若干安い。
どうせストレージを SSD にするのであれば、 SATA ポートが多いよりも M.2 スロットが多いことを優先する方が良いのかもしれない。
考え直し。

近年の M/B であれば M.2 スロットは最低でも2つはあるから、とりあえずそれらを使って NVMe SSD のストライピングで 2 TB ×2 できれば当面はどうにかなるだろう。
もしデスクトップやラップトップのサイズが膨らんで厳しかった場合は SATA SSD で 2TB ×4 などして、余った NVMe はデスクトップなり chuable のクラスタなりに積めば良い。

toka に PBS の VM をテストで立ててみているが、バックアップが 6 MB/s くらいからその 1/100 くらいまで揺れまくっている。
実機でここまで論外なスペックにはならないはずなので VM 固有の問題なのだろうが、それにしても評価が難しい。
1.35 GiB の LXC CT の初回バックアップで10時間16分かかっていたりするなど、速度については全く参考にならない。

サイズについては、7コンテナ64バックアップ (うち3つは同じ構成なので実質5コンテナと考えて良い) で 5 GiB いかないくらい。1コンテナあたり 0.5 GiB 以上で 1 GiB 前後といったところなので、 incremental backup によるサイズ削減は相応に効いていると考えて良い。
ただ、コンテナを跨いだ dedupについては効果はみられるものの過剰に期待しない方が良いかもしれない。

Ryzen 9000シリーズは，Zen 5を初めて採用するCPUで開発コードネーム「Granite Ridge」として知られていたCPUだ。現行のRyzen 7000シリーズの後継となるSocket AM5プラットフォーム向けの製品で，2024年7月以降に出荷を開始する。

—AMD，新世代CPUアーキテクチャ「Zen 5」採用の新型CPU「Ryzen 9000」と「Ryzen AI 300」を発表

……らしいので、9950X の価格と性能、その時点での 7950X の価格などを比較して考えることになりそう。

#419 で新サーバを考えているが、 Ryzen 9000 を待たず 7950X にすることにした。
どうせ定価で10万超えるし御祝儀価格になるし、今のところの用法だとコア数を増やす方が効きそうなので、プラス数万を払ってシングルスレッド性能を 7950X よりも上にしたいかというとべつにそこまででもないため。

べつに PBS サーバに直接は関係ないが #note-30 で言及してしまったので参考までに。

初回バックアップ、35スナップショットの時点で deduplication factor は 4.28、ストレージの usage は 15.72 GB だった。
だいたいどのコンテナもプラットフォームは LXC の Debian なのでもう少し効いても良さそうには思えるが、増分スナップショットなしでこの数値は十分に満足できる。

やっぱり NAS 使うべきか……
NFS を使いたくない気持ちがかなり高まっているのだが。

nop_thread さんは #note-39 で書きました:

メモリを与えれば与えるだけ食うのでどうなっているのかと思ったら、ほぼ全てが buff/cache へと飲み込まれている。

Verify All を実行したら急激に buff/cache が高まり限界に達した。それはそう。
verify 完了後、PBS 内のダッシュボードからは「10.76% (421.73 MiB of 3.83 GiB)」と報告されており、べつに困ることはなさそう。
気にする必要はない。