プロジェクト

全般

プロフィール

機能 #1204

完了
NO NO

TrueNAS Proxmox VE Storage Plugin をセットアップする

機能 #1204: TrueNAS Proxmox VE Storage Plugin をセットアップする

nop_thread さんが2ヶ月前に追加. 2ヶ月前に更新.

ステータス:
終了
優先度:
通常
担当者:
開始日:
期日:
進捗率:

100%

一時中断:
いいえ
pinned:
いいえ
リマインド予定日:
前回確認日:
2026/09/21
管理外残件あり:


関連するチケット 2 (0件未完了 — 2件完了)

次のチケットをブロック 鯖缶 - 機能 #1137: chuable 向けの S3 互換オブジェクトストレージサーバを立てる終了nop_thread

操作
次のチケットがブロック 鯖缶 - 機能 #1205: NVMe/TCP のためのネットワーク構成再考 (2026-09)終了nop_thread

操作

NO nop_thread さんが2ヶ月前に更新 操作 #1

  • 次のチケットをブロック 機能 #1137: chuable 向けの S3 互換オブジェクトストレージサーバを立てる を追加

NO nop_thread さんが2ヶ月前に更新 操作 #2

Proxmox VE へのインストールは apt でできるようなので、 ansible でセットアップできそう。

https://github.com/truenas/truenas-proxmox-plugin/blob/8b1c93876cb1beba2cc418026934489f7f02abad/README.md?plain=1#L74-L90

Manual deb822 source setup:

cat >/etc/apt/sources.list.d/truenas-proxmox-plugin.sources <<'EOF'
Types: deb
URIs: https://truenas.github.io/truenas-proxmox-plugin/apt/
Suites: <bookworm|trixie>
Components: main
Architectures: amd64
Signed-By: /etc/apt/keyrings/truenas-proxmox-plugin.gpg
EOF

mkdir -p /etc/apt/keyrings
curl -fsSL https://truenas.github.io/truenas-proxmox-plugin/apt/pubkey.gpg -o /etc/apt/keyrings/truenas-proxmox-plugin.gpg
apt-get update
apt-get install -y truenas-proxmox-plugin

NO nop_thread さんが2ヶ月前に更新 · 編集済み 操作 #3

NVMe/TCP の認証 (DH-CHAP) については PVE の各ノードでセットアップが必要そう。

truenas-proxmox-plugin/wiki/NVMe-Setup.md at 8b1c93876cb1beba2cc418026934489f7f02abad · truenas/truenas-proxmox-plugin

ランダムな secret を生成する部分が ansible での自動化と絶妙に相性が悪そうで嫌だなぁ。
べつにコマンドを使わずとも特定の長さの乱数を base64 でエンコードして作るのでも良い可能性はあるが…… (ちゃんと確認していないので駄目かもしれない)。
secret を生成するコマンドの実行は事前にやっておいて、変数 (host_vars とか) としてそれを playbook に与えるとかが無難か。

NO nop_thread さんが2ヶ月前に更新 · 編集済み 操作 #4

ネットワークインターフェースと VLAN を分離するかどうかが悩みどころ。
現状で十分に大きな帯域のあるインターフェースは、大別してアプリによる通信用 (サービス間通信含む) と Ceph 用 (PVE のノード間でしか通信しない) の2つだけがある。

一方 kanade (TrueNAS) 側では NIC を1枚しか増設できない都合と可用性を確保したいという気持ちで、増設 NIC から生えている SFP+ の2口を LACP で束ねて使っており、 RJ45 の2口のうち1口を管理 VLAN に使って残りの1口は余らせている。

もちろんこれは勿体ないので、何かあったとき (たとえばケーブル断線等……十分ありうる) の障害を覚悟したうえで LACP を解除するとか、 RJ45 の口を NVMe/TCP に使うとかの手はある。

何にせよ、アプリ用のネットワークにストレージ用トラフィックを垂れ流すのはちょっと嫌なので、先に kanade 側のネットワーク構成を考えなおす必要がありそう。
→ 機能 #1205: NVMe/TCP のためのネットワーク構成再考 (2026-09)

NO nop_thread さんが2ヶ月前に更新 操作 #5

  • 次のチケットがブロック 機能 #1205: NVMe/TCP のためのネットワーク構成再考 (2026-09) を追加

NO nop_thread さんが2ヶ月前に更新 操作 #6

  • ステータス を 進行中 から 終了 に変更
  • 進捗率 を 0 から 100 に変更
  • pinned を はい から いいえ に変更
  • 前回確認日 を 2026/09/18 から 2026/09/21 に変更

たぶんセットアップできた。

installer.sh の function test を走らせるとディスクの削除など一部処理が失敗するとか細かいトラブルはあるが、とりあえず使える状態にはなっていそう。
実運用に回して様子を見てみたい。

NO nop_thread さんが2ヶ月前に更新 操作 #7

ヒント:
NVMe-oF の subsystem を作るとき allow any hosts にチェックを入れたままにしていると後からは変更できなくなり、後で認証を強制したいと思って hosts を追加しても allow any hosts と矛盾するとのことで NVMe-oF 自体が起動しなくなってしまう。
必ず最初から off にしておくこと。

他の形式にエクスポート: PDF Atom