プロジェクト

全般

プロフィール

機能 #343

未完了

機能 #340: あらゆるものを †監視† する

systemd-journald のログを各コンテナ内に溜めるのをやめる

nop_thread さんが6ヶ月前に追加. 23日前に更新.

ステータス:
新規
優先度:
低め
担当者:
開始日:
期日:
進捗率:

0%

一時中断:
いいえ
pinned:
いいえ
確認予定日:
前回確認日:
2024/11/02
管理外残件あり:

説明

systemd の journal 等がコンテナの数十%を占めている場合が結構ある。
さすがにこれがバックアップに含まれるのは何か違う気がするので、各VMやLXCコンテナをそれぞれログで太らせないためと、異常の監視やログ保全をしやすくなるよう、 syslog サーバか Grafana Loki 的なものをどこかに立ててログを集約したい。


関連するチケット 1 (1件未完了0件完了)

関連している 鯖缶 - 機能 #346: ログ集約サーバの整備新規nop_thread

操作

nop_thread さんが6ヶ月前に更新

nextcloud-tontokaimo コンテナ (LXC) が想定より大きかったので確認したところ、 /var/log/journal だけで 418 MiB (コンテナの 20% 程度) あるようだった。
ちなみにデータ (/var/www/nextcloud-data) はちょっと整理した状態 (写真等や一時的なデータを toka へ移動し終えたクリーンな状態) で以下のような状態。

  • /: du によると 2.3GiB、 PVE によると 2.19 GiB
    • /usr/: 585 MiB
    • /var/: 1.7 GiB
      • /var/www/nextcloud: 1.1 GiB
        • /var/www/nextcloud: 408 MiB
        • /var/www/nextcloud-data: 666MiB
      • /var/log: 421 MiB
        • /var/log/journal: 418 MiB

nop_thread さんが6ヶ月前に更新

nop_thread さんが6ヶ月前に更新

  • 関連している 機能 #331: メトリクス監視のセットアップ を追加

nop_thread さんが6ヶ月前に更新

  • 親チケット#331 にセット

nop_thread さんが6ヶ月前に更新

ログ肥大化への対策だけなら journalctl --vacuum-size=80M とかで適当に削ってやれば良いのだが、そういう話ではない……

nop_thread さんが6ヶ月前に更新

  • 親チケット#331 から #340 に変更

nop_thread さんが6ヶ月前に更新

  • 題名ログ集約サーバを立てる から systemd-journald のログを集約する に変更

nop_thread さんが6ヶ月前に更新

  • 関連している 機能 #346: ログ集約サーバの整備 を追加

nop_thread さんが6ヶ月前に更新

  • 題名systemd-journald のログを集約する から systemd-journald のログを各ノードが溜めるのをやめさせる に変更

nop_thread さんが6ヶ月前に更新

nop_thread さんが23日前に更新 · 編集済み

redmine-cardina1 の /var/log/redmine/production.log が 704 MiB に達し、 disk full で死んでいた。
アプリケーション固有のログファイルがあるようなものは探し出して systemd-journald を使うようにすべきか。
logrotate 系のものを設定してもコンテナ内にログが溜まり続けてしまうことに変わりはない……

nop_thread さんが23日前に更新

nop_thread さんは #note-11 で書きました:

アプリケーション固有のログファイルがあるようなものは探し出して systemd-journald を使うようにすべきか。

apache2 も固有のログファイルを持っているのでどうなっているか確認してみたが、 Debian が /etc/logrotate.d/apache2 を持っていて logrotate.timer でよろしくやってくれていた。なるほど。

nop_thread さんが23日前に更新

  • 題名systemd-journald のログを各ノードが溜めるのをやめさせる から systemd-journald のログを各コンテナ内に溜めるのをやめる に変更
  • 前回確認日2024/11/02 にセット

nop_thread さんが23日前に更新

  • 子チケット #550 を追加

nop_thread さんが23日前に更新

  • 子チケット #551 を追加

nop_thread さんが23日前に更新

  • 子チケット を削除 (#550)

nop_thread さんが23日前に更新

  • 子チケット を削除 (#551)

他の形式にエクスポート: Atom PDF