Project

General

Profile

Actions
Copy link

機能 #419

open
NO NO

新規サーバを組む準備 (2024-06)

機能 #419: 新規サーバを組む準備 (2024-06)

Added by nop_thread over 1 year ago. Updated about 1 year ago.

Status:
進行中
Priority:
通常
Assignee:
nop_thread
Start date:
06/27/2024
Due date:
% Done:

0%

一時中断:
No
pinned:
No
リマインド予定日:
前回確認日:
11/06/2024
管理外残件あり:
No

Description

Ryzen 9000 を御祝儀価格で買うのもアレだしシングルコア性能よりもコア数の方が欲しいので、 Ryzen 9 7950X あたりでもう1台 chuable に追加してしまいたい。

ほしいもの

  • 19インチサーバラック: 100-SV00324U (24U)
    • 空きがないのでまずこれがないと設置できない。
    • サンワサプライのがセールで安いので買いたい。
    • 部屋のレイアウトを真剣に考えないと寝る場所がなくなる。
  • CPU: Ryzen 9 9950X (16コア32スレッド)
    • 2025正月あたりにセールで M/B と一緒に安くならないかな。
  • CPU クーラー: NH-D12L (Noctua の12センチ) (#557)
    • 利用予定のケース (#558: SST-RM44) に (ケースのブリッジ部品を使わなければ) 収まることは実運用で確認済。
    • 性能的には、 9950X で 4U ならこれで良かろう。
  • メモリ: DDR5 32GB ×4枚 (#433, #434, #435, #436)
    • 他のノードが 128 GB でひとまず足りているため。
    • 1枚 48GB のモジュールとかはたぶん割に合わない。
  • M/B
    • PCIe の x8 が2つあると嬉しい。ミドルレンジだと選択肢が少なくなるが。
  • NIC (追加): 10Gtek の BCM57810S のやつ
    • 安いし、使っていて今のところ問題もなさそうだし、これでいい。
    • PCIe Gen2x8 なのがちょっとなぁ。 Gen3x4 とかにならんかね？ (なりません)
    • 運用休止中の toka (#175) で使っていたもの (#252) が余っており、剥がして使うこともできるにはできる。
  • ケース: SilverStone の 4U のやつ (#558)
    • 調達した。
  • ケースファン: NH-A12X25R-PWM
    • ケース (SST-RM44) に合わせていつものやつを調達した
  • SSD (システム用) (#538)
    • SATA の安いやつ。
  • SSD (データ用, 1TB) (#537)
    • NVMe M.2。
    • 無難で悪くない性能の 1TB。
  • SSD (データ用, 2TB) (#470)
    • NVMe M.2。
    • 性能がオーバーキルかもしれないが、負荷をかける用途を想定して強めのものを選定。
    • たとえば4ノードでクラスタを組んで3ノードへレプリケーションをするとかはかなりオーバーヘッドが気になるので、もしそういう雑なことをしたいなら 2TB あった方が安心。今のところのレートだと 1TB でも余裕は十分すぎるくらいあるが。
  • 電源 (#232)
    • 7950X だと TDP が 170W, TTP が 230W。 SSD が多めに見積って 35W として、これまた多めに4つ積むと 140W。この時点で2倍すると 740W になっているので、最低でも 750W 電源は欲しい (ただしこれだと NIC は含まれていない)。
    • だいたい 850〜1000W くらいが無難かなという気はする。どうせフルで計算を回すことにはならないだろう (蒸し焼きになりたくない) し、750W でも困りはしないだろうが、たぶん 750W では 80PLUS 認証のランクが低いものしかない。
    • 昔調達した 750W Platinum 認証のものがあるので、これでよかろう。足りなかったらそのとき考える。

Related issues 1 (1 open — 0 closed)

Related to 鯖缶 - 機能 #133: Proxmox Backup Server を検討進行中nop_thread

Actions

NO Updated by nop_thread over 1 year ago · Edited Actions
Copy link
 #1

chuable の中で一番スペックの低い nagisa を追い出すか PBS に流用するか参加させたまま放置するか k8s とかの専用マシンにするか、それはまた考えることにする。
(べつに4台クラスタにしても良いのだが、耐故障は1ノードのままになるためノード故障リスクが高まるだけになってしまう。)

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #2

  • Description updated (diff)
  • 前回確認日 set to 06/27/2024

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #3

  • Description updated (diff)

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #4

  • Description updated (diff)

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #5

  • Related to 機能 #133: Proxmox Backup Server を検討 added

NO Updated by nop_thread over 1 year ago · Edited Actions
Copy link
 #6

M/B はこの辺りか。

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #7

NO Updated by nop_thread over 1 year ago · Edited Actions
Copy link
 #8

  • 前回確認日 changed from 06/27/2024 to 06/28/2024

M/B についての比較。
雑な比較サイトで大雑把に眺めただけなので抜けや誤りがあるかも。
気になる/ならないというのはあくまでサーバとしての話で、デスクトップへ流用することがあるなら (あるか……？ ないと思うが) 話は変わってくる。

総合的には以下のような感じ。

  • ProArt:
    • PCIe 4.0 が x2 で M.2_3 と帯域共有しているものの、それ以外のインターフェースは充実している
      • SATA3 が2つ多い
      • 追加の 10GbE がある
      • USB4 もある (使わないが)
  • MPG:
    • インターフェースは相対的に控え目だが PCIe 4.0 が x4 を出せて帯域共有もしていない (たぶん)
    • ゲーム向けっぽい増強はある (使わないが)
      • Wi-Fi がちょっと強そう
      • S/PDIF インターフェースがある
気になる違い ASUS ProArt X670E-CREATOR WIFI MSI MPG X670E CARBON WIFI
価格 84k 63k
PCIe Gen4 x16スロットの帯域 x2 x4
SATA3 ポート数 6 4
Ethernet Marverll AQtion 10GbE + Intel 2.5GbE Realtek RTL8125BG 2.5GbE
M.2 2242 サイズに対応 2242サイズには非対応
PCIe 帯域共有 PCIEX16_3 (Gen4 x4) 有効時は M.2_3 は x2 動作 (未確認)
気にならない違い ASUS ProArt X670E-CREATOR WIFI MSI MPG X670E CARBON WIFI
パワーフェーズ 16+2 (70A) 18+2+1 (90A)
DDR5 8000+(OC) MHz 対応 対応 非対応
リアパネル USB-A (3.1/3.2 Gen2) ポート数 7 6
リアパネル USB-C (3.1/3.2 Gen2) ポート数 0 1
リアパネル USB-A (USB 2.0) ポート数 1 2
リアパネル USB4 Intel JHL8540 (2ポート) なし
Wi-Fi アンテナ コネクタ数 1 2 (アンテナ筐体は1本)
オーディオ 3x 3.5mm 4x 3.5mm + S/PDIF
CPUファン用4ピンヘッダ 2 1
LED 用ピンヘッダ 4 3
スピーカー 0 1
診断機能 - 2-digit debug LED
M.2 E key スロット数 1 0

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #9

MPG X670E CARBON WIFI は既に持っており (設備・備品 #220: M/B: MSI, MPG X670E CARBON WIFI) millicent (#229) で運用中だった。

Ethernet ポートが1つしかないのがなぁ。 nagisa と sakuno は2つあるので何か応用がありそうだったのだが。

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #10

そういえばラック用の PDU も必要だった。

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #11

  • Description updated (diff)
  • Status changed from 新規 to 進行中
  • 前回確認日 changed from 06/28/2024 to 07/16/2024

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #12

  • 前回確認日 changed from 07/16/2024 to 07/24/2024

DDR5 メモリ 32 GB を4枚調達 (#433, #434, #435, #436)。

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #13

  • Description updated (diff)

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #14

  • 前回確認日 changed from 07/24/2024 to 09/01/2024
  • 管理外残件あり set to No

M/B の選択で悩んでいる。
計算用のマシンになるので M.2 や SATA はそれぞれ4スロットもあれば十分だが、 RJ45 の Ethernet ポートが2つあり PCIe のスロットもそれなりに満足いく構成になっているものとなるとなかなか見付からない。
Ryzen 9000 シリーズも出たことだし AM5 の M/B ももう少しバリエーションが増えると嬉しいが。

NO Updated by nop_thread over 1 year ago Actions
Copy link
 #15

  • pinned changed from Yes to No
  • 前回確認日 changed from 09/01/2024 to 10/02/2024

Ryzen 9 9950X は Ryzen 9 7950X よりも発熱が控え目のようで、 Noctua の NH-D12L でも良好な冷却ができる ("best turbo/overclocking headroom") もよう。

手持ちの 7950X (#421) はデスクトップ機用として強い冷却とともに使い、サーバ用には 9000 番台を使う方が良さそう。

NO Updated by nop_thread about 1 year ago Actions
Copy link
 #16

NO Updated by nop_thread about 1 year ago Actions
Copy link
 #17

  • 前回確認日 changed from 10/02/2024 to 11/06/2024

nop_thread さんは #note-15 で書きました:

手持ちの 7950X (#421) はデスクトップ機用として強い冷却とともに使い、サーバ用には 9000 番台を使う方が良さそう。

そのようにした。
設備・備品 #421: CPU: AMD, Ryzen 9 7950X は 設備・備品 #563: PC: kano で 設備・備品 #556: CPU cooler (空冷): Noctua, NH-D15-G2 とともに利用することにして、サーバ用は Ryzen の 9000 番台を前提に考える。
(べつに Intel でも良いといえば良いのだが……)

NO Updated by nop_thread about 1 year ago Actions
Copy link
 #18

nop_thread さんは #note-10 で書きました:

そういえばラック用の PDU も必要だった。

未開封につき起票していないが (そして NetBox にも登録していないが)、 NEMA 5-15 ×10口のラックマウント PDU を2台調達した。
電源分配については心配ない。

NO Updated by nop_thread about 1 year ago · Edited Actions
Copy link
 #19

2024夏頃の description:

ほしいもの

  • 19インチサーバラック: 100-SV00324U (24U)
    • 空きがないのでまずこれがないと設置できない。
    • サンワサプライのがセールで安いので買いたい。
    • 部屋のレイアウトを真剣に考えないと寝る場所がなくなる。
  • CPU: Ryzen 9 7950X (16コア32スレッド)
    • たぶん 9000 直前の今の時期が買い時。
  • CPU クーラー: NH-D12L (Noctua の12センチ)
    • ケース次第なので保留。普通のタワー型ケースにするならもっと大きくできる。
    • 性能的には、 7950X で 4U ならこれで良かろう。
  • メモリ: DDR5 32GB ×4枚
    • 他のノードが 128 GB でひとまず足りているため。
    • 1枚 48GB のモジュールとかはたぶん割に合わない。
  • M/B
    • PCIe の x8 が2つあると嬉しい。ミドルレンジだと選択肢が少なくなるが。
  • NIC (追加): 10Gtek の BCM57810S のやつ
    • 安いし、使っていて今のところ問題もなさそうだし、これでいい。
    • PCIe Gen2x8 なのがちょっとなぁ。 Gen3x4 とかにならんかね？ (なりません)
  • ケース: SilverStone の 4U のやつ
    • nagisa の用途次第で何を使うべきか変わりそうなので、とりあえず判断を保留。
    • 最悪の場合普通のデスクトップケースを用意して棚板に置く手もあるが、ケースが余ると邪魔なだけなので一時凌ぎはしたくない。
  • ケースファン
    • ケースが決まってから考える。
  • SSD (システム用)
    • SATA の安いやつを適当に。
  • SSD (データ用)
    • NVMe M.2。
    • 他のクラスタに合わせて 1TB にしても良いし、お得なものがあれば 2TB にしても良い。
    • たとえば4ノードでクラスタを組んで3ノードへレプリケーションをするとかはかなりオーバーヘッドが気になるので、もしそういう雑なことをしたいなら 2TB あった方が安心。今のところのレートだと 1TB でも余裕は十分すぎるくらいあるが。
  • 電源
    • 7950X だと TDP が 170W, TTP が 230W。 SSD が多めに見積って 35W として、これまた多めに4つ積むと 140W。この時点で2倍すると 740W になっているので、最低でも 750W 電源は欲しい (ただしこれだと NIC は含まれていない)。
    • だいたい 850〜1000W くらいが無難かなという気はする。どうせフルで計算を回すことにはならないだろうし (蒸し焼きになりたくない) 750W でも困りはしないだろうが、たぶん 750W では 80PLUS 認証のランクが低いものしかない。

それ以降 2024-11 まででの状況の変化:

  • CPU: Ryzen 9 7950X をデスクトップ用にして Ryzen 9 9950X を狙うことにした (#note-17)
  • M/B: 年末年始あたりのセールで 9950X と抱き合わせ販売しているものを探してみる。
  • メモリ: 調達した (#note-12)
  • NIC: toka を運用休止した (#175#note-30) ので SFP+ ×2 の NIC (#252) が余っているが、剥がして流用すべきか、新規調達すべきか
  • ケース: レール含め調達した (#558)
  • ケースファン: ケースに合わせて調達した
  • SSD (システム用): 調達した (#538)
  • SSD (データ用): 調達した (#537, #470)
  • PSU: 調達済 (#232)

NO Updated by nop_thread about 1 year ago Actions
Copy link
 #20

  • Description updated (diff)
Actions
Copy link

Also available in: PDF Atom