Self-hosted project management for devs and their clients: tickets, time tracking, docs and meetings, with an AI assistant that cites its sources. AGPL-3.0.
Backup und Log-Retention (Produktion)
Self-hosting? This directory is the backup setup of the servers behind lalabase.com (two hosts, a Storage Box, systemd units), not a guide for your instance. To back up a Docker Compose installation, see Backups in the self-hosting docs.
Selbst betrieben? Dieses Verzeichnis ist die Backup-Einrichtung der Server hinter lalabase.com, keine Anleitung für deine Instanz. Wie du eine Installation mit Docker Compose sicherst, steht unter Backups.
Eingerichtet am 04.08.2026. Vorher gab es keine Backup-Automatik und keine Rotation der Anwendungs-Logs; die einzige Sicherung war ein von Hand gezogener Dump vom 02.08.
Die Dateien hier sind Kopien dessen, was auf den Servern läuft. Sie werden nicht automatisch ausgerollt — bei Änderungen beides nachziehen (siehe „Ausrollen").
Koordinaten setzen, bevor du hier etwas ausführst
Die Befehle unten sprechen vier Werte über Variablen an, weil sie von Installation zu Installation verschieden sind und in diesem Repo nichts zu suchen haben:
export DB_HOST=<ssh-ziel des datenbank-servers>
export APP_HOST=<ssh-ziel des app-servers>
export BOX=<kennung der storage box> # ergibt <BOX>.your-storagebox.de
export DEPLOY_ROOT=<deploy-verzeichnis der app> # z. B. /home/deploy/lalabase_production
Dieselben Werte brauchen die Skripte selbst zur Laufzeit. Sie lesen sie aus
/etc/lalabase-backup/backup.conf auf beiden Hosts; die Vorlage dafür ist
backup.conf.example. Fehlt die Datei, brechen die Skripte
laut ab und nennen sie beim Namen. Das ist Absicht: Eine Voreinstellung im Repo
hieße, dass jede veröffentlichte Kopie das Konto ihres Autors mitschleppt.
Was gesichert wird
| Daten | Betrieb | Sicherung |
|---|---|---|
PostgreSQL (DB_NAME aus backup.conf) |
$DB_HOST |
täglich 03:00 UTC → Storage Box db/ |
| Dateianhänge (Active Storage) | $APP_HOST, shared/storage |
täglich 03:20 UTC → Storage Box attachments/ |
| Logs | App-Server | gar nicht — die werden gelöscht, nicht gesichert |
Die Anhänge sind nicht im pg_dump. Der Dump enthält nur die Blob-Datensätze; ein Restore
allein aus der Datenbank ließe jeden Kundenanhang ins Leere zeigen. Deshalb zwei Quellen.
Storage Box
$BOX.your-storagebox.de, bei uns BX21 (5 TB), Standort Falkenstein. Der Standort ist nicht
beliebig: die Datenschutzerklärung (app/views/static/legal/_privacy_body.html.erb, englisch
_privacy_body.en.html.erb) und AVV § 3 Abs. 3 sagen Verarbeitung in Deutschland zu, eine Box in
Helsinki oder Ashburn würde beide Dokumente unwahr machen.
- SSH/SFTP/rsync auf Port 23, nicht 22.
- SMB, WebDAV und „Äußere Erreichbarkeit" sind aus. Aus Hetzner-Netzen ist die Box trotzdem erreichbar; vom Arbeitsplatz aus nicht — der Restore läuft deshalb über den DB-Host.
- Zwei Sub-Accounts, je auf ihr Verzeichnis eingesperrt und mit eigenem Schlüssel:
| Sub-Account | Verzeichnis | Quelle | Schlüssel auf dem Server |
|---|---|---|---|
$BOX-sub1 |
db |
$DB_HOST |
/root/.ssh/id_ed25519_storagebox |
$BOX-sub2 |
attachments |
$APP_HOST |
/root/.ssh/id_ed25519_storagebox |
Ein übernommener App-Server erreicht die Datenbank-Dumps damit nicht und umgekehrt (verifiziert:
aus sub1 heraus existieren ../attachments und /home/attachments nicht).
Sub-Accounts kennen nur „nur lesen" oder „lesen und schreiben" — kein „schreiben, aber nicht löschen". Das Aufräumen alter Stände braucht Löschrechte, also ist der Schutz gegen mutwilliges Löschen allein die Snapshot-Funktion der Box (täglich 05:00, 14 Stände). Die wird außerhalb der Sub-Account-Zugänge verwaltet und ist von den Servern aus nicht angreifbar.
Verschlüsselung
age mit nur dem öffentlichen Schlüssel auf den Servern
(/etc/lalabase-backup/recipients.txt). Ein kompromittierter Server kann Sicherungen erzeugen,
aber keine bestehenden lesen.
Der private Schlüssel liegt ausschließlich auf dem Arbeitsplatz-Mac unter
~/.config/lalabase/backup-age-key.txt und gehört zusätzlich in den Passwortmanager.
Geht der private Schlüssel verloren, ist jede Sicherung Altpapier. Das ist der Preis dafür, dass ein übernommener Server die Altbestände nicht lesen kann.
resticundborgwurden deshalb verworfen: Beide brauchen das Repo-Passwort zum Schreiben, es läge also auf dem Server.
Aufbewahrung
| Lokal | Storage Box | |
|---|---|---|
| Datenbank | 7 Stände | 35 Stände |
| Anhänge | Spiegel, bis 35 Tage nach Verwaisung | dito, danach + 14 Tage Snapshots |
Beide Stränge halten 35 Tage. Darüber liegen die täglichen Snapshots der Box (14 Stände), die
von den Servern aus niemand löschen kann. Das ehrliche Löschfenster ist deshalb ~50 Tage, und
genau diese Zahl gehört in AVV § 12 Abs. 4 — nicht die 35. Beim Ändern einer der drei Zahlen
das Vertragsdokument mitziehen (Herleitung: doc/avv_vergleich_awork_2026_08_05.md §1).
Fristlöschung der Anhänge
Bis zum 05.08.2026 war die Anhang-Sicherung append-only: Ein in der App gelöschter Anhang blieb
unbegrenzt liegen. Damit wäre jede Löschfrist im Vertrag unwahr gewesen. Seither löscht
lalabase-attachments-backup.sh verwaiste Dateien automatisch — in beiden Ablagen.
Was nie aus shared/storage verschwindet, verwaist allerdings auch nie — und läuft damit in
keine Frist, egal wie gut dieses Skript arbeitet. Genau das war bei Dateien ohne Verknüpfung in
der Datenbank der Fall. Dafür sorgt der App-Job UnattachedBlobPurgeJob (täglich 05:15, sieben Tage
Wartefrist): Er ist das Vorschaltglied dieser Kette, nicht Teil von ihr. Beschrieben auf
https://lalabase.com/docs/de/self-hosting/operation/background-jobs (die Seite liegt seit D5
in gboyke/lalabase-documentation, nicht mehr in diesem Repo).
Verwaist heißt: Die Datei liegt im Spiegel, fehlt aber in shared/storage. Wann eine Datei
verwaist ist, lässt sich nachträglich nicht mehr feststellen — die Spiegeldatei trägt nur ihr
Verschlüsselungsdatum, und die Quelldatei ist ja gerade das, was fehlt. Diese Information entsteht
ausschließlich im Moment eines Laufs. Deshalb der Index /var/lib/lalabase-backup/orphans.tsv
(Modus 600, drei Spalten: relativer Pfad ohne .age, Zeitstempel der ersten Sichtung, Zähler
fehlgeschlagener Löschungen — Box und Spiegel, beide eskalieren gleich). Ein Folgelauf
überschreibt das Datum nicht; taucht die Quelle wieder auf, verschwindet der Eintrag
rückstandslos und es wird nichts gelöscht. Das Verzeichnis /var/lib/lalabase-backup selbst ist
700.
Vier Riegel stehen zwischen einem Fehllauf und dem Totalverlust der Anhang-Sicherung:
| Riegel | Fängt | Verhalten |
|---|---|---|
| Massen-Verwaisungs-Sperre | ausgehängtes Quellverzeichnis, halb fertiger Deploy | Abbruch, bevor der Index geschrieben wird — sonst gälten schlagartig alle 907 Dateien als verwaist und wären 35 Tage später weg. Einmalig freigebbar, siehe unten |
| Plausibilität der Zeitstempel | beschädigten oder zurückdatierten Index, gesprungene Uhr | Abbruch, nichts gelöscht |
| Lösch-Obergrenze je Lauf (25) | zu viel auf einmal | drosselt, hält nicht an: die ältesten 25 gehen, der Rest folgt in den Folgeläufen. Notbremse erst bei 500 |
| Gegenprobe der Quelle | Wiederauftauchen im letzten Moment | keine Löschung, Eintrag abgeräumt |
Die Schwelle der Massen-Sperre ist max(5 % des Spiegels, 50 Dateien) — bei 907 Dateien also 50.
Warum keiner dieser Riegel dauerhaft klemmen darf
Eine Sperre, die auf einen Zustand reagiert, der sich nicht von selbst ändert, verklemmt für immer: Der Abbruch schreibt den Index nicht, also trifft der nächste Lauf denselben Zustand und bricht wieder ab. Nacht für Nacht, mit Alarm-Mail und ohne dass je etwas gelöscht wird. Das ist nicht die sichere Seite — es heißt, die zugesagte Löschfrist wird nie wieder eingehalten, für keine Datei.
Zwei Fassungen dieses Fehlers waren in der ersten Auslieferung drin und sind hier behoben:
Die Obergrenze lag unter der Massen-Schwelle (25 gegen 50). Verwaisungen fallen in Tagesbündeln an und werden 35 Tage später als dasselbe Bündel fällig — ein einziger Tag mit 26 bis 50 gelöschten Anhängen hätte die Löschung dauerhaft gestoppt. Deshalb ist die Obergrenze jetzt eine Drossel: die ältesten
MAX_PRUNE_PER_RUNgehen, der Rest fließt in den nächsten Nächten ab. Ob dem Index zu trauen ist, beantwortet jetzt die Plausibilitätsprüfung direkt, statt es aus der Anzahl fälliger Einträge zu erraten. Die Notbremse (MAX_PRUNE_HALT=500) bleibt für den Fall, an den niemand gedacht hat.Die Massen-Sperre war unauflösbar. Sie ist jetzt einmalig und bündelgebunden freigebbar. Die Mail nennt die Kennung des konkreten Satzes:
echo <kennung> | sudo tee /var/lib/lalabase-backup/mass-orphan-ackDie Freigabe gilt nur für exakt diese Dateiliste und wird beim nächsten Lauf verbraucht. War das Quellverzeichnis dagegen nur nicht lesbar, ist nichts zu tun — dann wird nie freigegeben, und der Satz verschwindet von selbst, sobald die Quelle wieder da ist.
Aus demselben Grund ist die Plausibilitätsprüfung nicht gegen die mtime der Spiegeldatei gefloort, obwohl das die schärfere Schranke wäre: Ein Spiegel-Restore ohne mtime-Erhalt würde schlagartig jeden laufenden Eintrag unplausibel machen und exakt wieder dauerhaft klemmen. Die Untergrenze ist stattdessen fest der Einführungstag des Index — jeder mitten im Schreiben abgerissene Unix-Zeitstempel landet Jahrzehnte davor und wird so gefangen.
Die Reihenfolge ist nicht beliebig: erst Box, dann Spiegel. Der Verwaisungs-Satz wird aus dem
Spiegel abgeleitet. Andersherum verschwände der Index-Eintrag beim nächsten Lauf mangels
Spiegeldatei — der Retry hätte keinen Anker mehr, und die Kopie auf der Box bliebe für immer liegen.
Der Index-Eintrag fällt erst, wenn die Box-Löschung bestätigt ist; der Exit-Code des
sftp-Batches allein zählt nicht. Scheitert eine Box-Löschung bei erreichbarer Box, bleibt der
Eintrag stehen und der Folgetag versucht es erneut; ab dem dritten Fehlversuch derselben Datei wird
daraus ein harter Fehler, weil sonst die zugesagte Frist still verrutscht.
Beide Aussagen müssen positiv sein
Die Verifikation fordert je Kandidat genau ein positives Urteil:
| Urteil | Beleg | Strom |
|---|---|---|
| vorhanden | Listing-Zeile nach der Echo-Zeile | stdout |
| gelöscht | Can't ls: "…" not found der Box |
stderr |
Alles andere — kein Urteil, oder beide — bricht den Lauf ab. Das ist keine Förmlichkeit: Würde
„keine Listing-Zeile" als gelöscht gelten, fiele die Prüfung offen aus. Eine Datei mit
abweichendem Modus (-r-------- statt -rw-r--r--) reicht dann schon: Spiegel gelöscht,
Index-Eintrag weg, Box-Kopie für immer verwaist — unauffindbar, weil der Verwaisungs-Satz aus dem
Spiegel stammt — und kein Alarm. Auf der Box nachgestellt und behoben.
Deshalb wird stderr nicht nach /dev/null geworfen: Dort steht der einzige positive Beleg für
eine Abwesenheit. Anwesenheit liest sich allein aus stdout, wo Echo- und Listing-Zeile denselben
Strom teilen und ihre Reihenfolge garantiert ist; der Abwesenheitsbeleg wird über den Pfad im
Text zugeordnet. So kann keine Verschränkung der beiden Ströme die Zuordnung verwirren.
Nachweis. Je gelöschter Datei eine Log-Zeile GELÖSCHT <pfad> verwaist_seit=<datum> orte=spiegel,box, dazu ein Eintrag in /var/lib/lalabase-backup/deletions.log und eine Mail über
lalabase-alert.sh bei jedem Lauf mit Löschungen. Läufe ohne Löschungen senden nichts.
Drei Ablagen, weil jede für sich zu wenig ist: /var/log/lalabase-backup.log rotiert monatlich mit
12 Ständen und trägt den Nachweis nur ~ein Jahr. Die Mail bleibt dauerhaft, kann aber ausfallen —
auf diesem Host hat AppArmor msmtp schon einmal blockiert. deletions.log liegt unter /var/lib,
wo nichts rotiert, und ist damit die Zweitschrift, die einen kaputten Mailweg überlebt. Ein
fehlgeschlagener Versand lässt den Lauf mit Fehler enden.
Die Nachweiszeile entsteht in dem Moment, in dem die Box-Kopie nachweislich weg ist — also vor der Spiegel-Löschung, nicht am Ende des Laufs. Vorher lag zwischen der Zerstörung und ihrem Beleg das ganze restliche Skript: Ein Reboot in diesem Fenster hätte Kundendaten in beiden Ablagen vernichtet und nichts hinterlassen als eine Log-Zeile, die nach zwölf Monaten wegrotiert. Scheitert danach die Spiegel-Löschung, steht die Zeile trotzdem — die materielle, unumkehrbare Löschung hat stattgefunden, und ein Wiederholungslauf schreibt dann eine zweite Zeile. Doppelte Zeilen sind der seltene Ausnahmefall und behaupten nichts Falsches.
Riegel-Verletzungen sind harte Fehler mit Alarm-Mail. Der Erfolgs-Marker wird jedoch
geschrieben, denn zu diesem Zeitpunkt waren Verschlüsselung, Vollständigkeitsprüfung und Upload
erfolgreich: Die Sicherung ist aktuell, hängen geblieben ist nur die Fristlöschung.
OnFailure= meldet das treffend; würde der Marker fehlen, meldete der Peer-Check des Partners
stattdessen jeden Morgen „Sicherung nicht aktuell" über ein intaktes Backup. Ein Melder, der das
Falsche sagt, wird ignoriert — dieselbe Überlegung wie bei der 26-Stunden-Schwelle. Dieselbe Regel
gilt für alle Riegel und für die klemmende Löschung; sie war anfangs nur auf letztere angewandt.
Eine Ausnahme, bewusst: Ein gescheiterter Nachweis-Versand hält den Marker doch zurück. Ist
der lokale Mailweg kaputt, kommt auch OnFailure= nicht durch — dann ist der Peer-Check des
Partners der einzige Kanal, der überhaupt noch eine Meldung hinausbringt.
Leere Verzeichnisse, die auf der Box zurückbleiben, sind hinnehmbar. Der rsync-Upload läuft
weiterhin ohne --delete — auf der Box löscht ausschließlich der sftp-Batch des Skripts.
Der Index ist die Frist, also wird er mitgesichert
orphans.tsv und deletions.log lagen bis 05.08.2026 nur auf der Platte des App-Servers. Ein
neu aufgesetzter Server hätte damit jede laufende Frist stillschweigend mit dem Tagesdatum neu
begonnen und den Nachweis gleich mit verloren — die Zusage wäre unbemerkt gebrochen gewesen. Beide
Dateien werden deshalb am Ende jedes Laufs verschlüsselt unter _state/ in den Spiegel geschrieben
und auf die Box geladen. Dieses Präfix ist vom Verwaisungs-Satz ausgenommen: Es hat keine
Entsprechung in shared/storage und würde sonst als verwaist gelten und genau den Index löschen,
aus dem es besteht. Scheitert die Zustandskopie, ist das eine Warnung und kein Abbruch — ein
gelungenes Backup darf daran nicht scheitern.
Testen
Die Löschlogik lässt sich in einem Sandkasten fahren, ohne Produktion und ohne echte Box:
docker run --rm -v "$PWD:/repo" -w /repo debian:stable-slim bash ops/backup/test/run-tests.sh
16 Fälle, darunter vier Regressionen für Defekte, die bereits ausgeliefert waren. Details und die
Begründung des Aufbaus: ops/backup/test/README.md. Vor jeder Änderung am Prune laufen lassen —
bash -n sieht keinen dieser Fehler.
⚠️ Der Prune sieht nur, was aus
shared/storageverschwindet. Am 05.08.2026 lagen dort 31 unverknüpfte Active-Storage-Blobs (bis 11 Monate alt): Rails räumt unverknüpfte Blobs nicht von allein auf, undAttachmentPurgerServicewird nirgends aufgerufen. Diese Dateien verwaisen nie, laufen in keine Frist und bleiben unbegrenzt in der Sicherung. Die Löschzusage im AVV ist erst dann vollständig wahr, wenn dieser Aufräum-Job Rails-seitig gebaut ist. Er gehört nicht hierher, ist aber Teil derselben Zusage.
Log-Retention
Die Datenschutzerklärung (app/views/static/legal/_privacy_body*.html.erb) sagt zu, dass Logfiles
spätestens nach 7 Tagen gelöscht werden. Bis zum
04.08.2026 stimmte das nicht: production.log war 389 MB groß und reichte 11 Monate zurück.
logrotate/lalabase-app-server.conf— täglich, 7 Stände,copytruncate.journald/90-lalabase-retention.conf—MaxRetentionSec=7d,SystemMaxUse=500M. Rails loggt in die Datei und nach stdout; ohne diese Grenze bliebe im Journal eine zweite Kopie liegen, die keine Datei-Rotation je anfasst (war 3,9 GB).- nginx wurde von 14 auf 7 Tage gezogen (
/etc/logrotate.d/nginx, nicht hier gespiegelt).
copytruncate ist Pflicht, keine Geschmacksfrage. config/environments/production.rb hält
ein offenes Handle auf production.log, und Solid Queue hängt per systemd StandardOutput=append:
daran. Ein normales Umbenennen ließe beide in den alten Inode weiterschreiben — die neue Datei
bliebe leer. Dass Solid Queue mit O_APPEND schreibt (und nach dem Abschneiden bei null beginnt
statt eine Datei mit Loch zu erzeugen), ist über /proc/<pid>/fdinfo geprüft.
Zusätzlich verlangt logrotate für /var/log eine su root syslog-Direktive, weil das
Verzeichnis root:syslog gehört — ohne sie überspringt es die Datei mit einer Fehlermeldung,
die man leicht übersieht.
Ausrollen
Zuerst die Koordinaten, sonst starten die Skripte nicht:
# Auf BEIDEN Hosts, je mit dem Unterkonto DIESES Hosts
scp ops/backup/backup.conf.example "$DB_HOST":/etc/lalabase-backup/backup.conf
scp ops/backup/backup.conf.example "$APP_HOST":/etc/lalabase-backup/backup.conf
# ... dann dort REMOTE eintragen (sub1 auf dem DB-Host, sub2 auf dem App-Server)
# DB-Host
scp ops/backup/lalabase-db-backup.sh "$DB_HOST":/usr/local/sbin/
scp ops/backup/systemd/lalabase-db-backup.* "$DB_HOST":/etc/systemd/system/
ssh "$DB_HOST" 'chmod 750 /usr/local/sbin/lalabase-db-backup.sh && systemctl daemon-reload \
&& systemctl enable --now lalabase-db-backup.timer'
# App-Server
scp ops/backup/lalabase-attachments-backup.sh "$APP_HOST":/usr/local/sbin/
scp ops/backup/systemd/lalabase-attachments-backup.* "$APP_HOST":/etc/systemd/system/
sed "s#__DEPLOY_ROOT__#${DEPLOY_ROOT}#" ops/backup/logrotate/lalabase-app-server.conf \
| ssh "$APP_HOST" 'cat > /etc/logrotate.d/lalabase'
ssh "$APP_HOST" 'chmod 750 /usr/local/sbin/lalabase-attachments-backup.sh && systemctl daemon-reload \
&& systemctl enable --now lalabase-attachments-backup.timer'
Danach beide Stände vergleichen. Seit das Anhang-Skript löscht, heißt eine veraltete Server-Kopie nicht mehr „etwas ältere Sicherung", sondern: Die Löschzusage im AVV beschreibt Code, der dort gar nicht läuft — und nichts meldet das.
Lesefreigabe für das Löschverzeichnis (einmalig, App-Server)
Die Anwendung führt das Löschverzeichnis nach AVV § 12 Abs. 7 und trägt dort nach, wann eine
Datei aus den Sicherungen verschwunden ist. Die Quelle dafür ist deletions.log dieses Skripts.
Ohne den folgenden Schritt passiert der Nachtrag nie: Das Skript läuft als root und legt
Verzeichnis (700) wie Datei (600) root-only an, der Solid-Queue-Worker läuft aber als deploy und
kommt nicht einmal in das Verzeichnis. Der Job meldet das einmal täglich als Warnung
([deletion_register] … is not readable) — sichtbar nur, wenn jemand das Anwendungsprotokoll liest.
ssh "$APP_HOST" '
groupadd -f lalabase-deletion-log
usermod -aG lalabase-deletion-log deploy
mkdir -p /etc/systemd/system/lalabase-attachments-backup.service.d
printf "[Service]\nEnvironment=DELETION_RECORD_GROUP=lalabase-deletion-log\n" \
> /etc/systemd/system/lalabase-attachments-backup.service.d/deletion-log-group.conf
systemctl daemon-reload
systemctl restart solid_queue
'
Die Rechte selbst setzt der nächste Skript-Lauf (chgrp + 750/640). Nur der Nachweis wird
freigegeben, nicht der Verwaisungs-Index: Der bleibt 600, weil er die laufende Frist trägt und außer
dem Skript niemand etwas darin zu suchen hat. Ist die Variable nicht gesetzt oder die Gruppe nicht
vorhanden, bleibt alles wie bisher root-only — das Skript weitet Rechte nie ungefragt aus.
Prüfen, ob es wirkt:
ssh "$APP_HOST" 'sudo -u deploy test -r /var/lib/lalabase-backup/deletions.log && echo lesbar || echo "NICHT lesbar"'
sha256sum ops/backup/lalabase-attachments-backup.sh
ssh "$APP_HOST" 'sudo sha256sum /usr/local/sbin/lalabase-attachments-backup.sh'
# Weichen die beiden ab, ist das tatsächliche Löschverhalten unbekannt.
Das Zustandsverzeichnis setzt das Skript bei jedem Lauf auf 700 — bis 05.08.2026 fehlte das
und /var/lib/lalabase-backup stand auf 755. Wer nicht bis zum nächsten Lauf warten will:
ssh "$APP_HOST" 'sudo chmod 700 /var/lib/lalabase-backup'
Alarmierung (auf beide Hosts):
scp ops/backup/lalabase-alert.sh ops/backup/lalabase-alert-unit.sh \
ops/backup/lalabase-peer-check.sh <host>:/usr/local/sbin/
scp ops/backup/systemd/[email protected] \
ops/backup/systemd/lalabase-peer-check.* <host>:/etc/systemd/system/
ssh <host> 'chmod 750 /usr/local/sbin/lalabase-*.sh && systemctl daemon-reload \
&& systemctl enable --now lalabase-peer-check.timer'
Voraussetzungen auf einem frischen Server:
apt install age msmtp- age-Schlüsselpaar erzeugen, Public Key beim passenden Sub-Account hinterlegen,
/etc/lalabase-backup/recipients.txtmit dem age-Recipient anlegen - Host-Key der Box per
ssh-keyscan -p 23inknown_hostslegen alert.confundmsmtprcaus den.example-Vorlagen anlegen (msmtprcauf Modus 600)- Peer-Schlüsselpaar erzeugen und beim Partner mit erzwungenem Befehl hinterlegen
(siehe „Alarmierung"), Host-Keys beidseitig in
known_hosts
Kontrolle
ssh "$DB_HOST" 'tail -20 /var/log/lalabase-backup.log; systemctl list-timers --no-pager | grep lalabase'
ssh "$APP_HOST" 'tail -20 /var/log/lalabase-backup.log; systemctl list-timers --no-pager | grep lalabase'
# Fristlöschung: was wurde wann gelöscht (rotationsfeste Zweitschrift),
# und was steht gerade zur Löschung an?
ssh "$APP_HOST" 'cat /var/lib/lalabase-backup/deletions.log; cat /var/lib/lalabase-backup/orphans.tsv'
Alarmierung
Es gibt zwei Fehlerarten, und die meisten Lösungen decken nur die harmlosere ab:
| Fehlerart | Was passiert | Erkannt durch |
|---|---|---|
| Lauf bricht ab | Exit ≠ 0, z. B. Box nicht erreichbar | OnFailure= → Alarm-Mail mit Journal-Auszug |
| Lauf findet nicht statt | Timer deaktiviert, Host aus, systemd nach Upgrade kaputt | lalabase-peer-check.timer |
Die zweite ist die gefährliche: OnFailure= bleibt dabei still, weil nichts fehlgeschlagen ist.
Sie ist monatelang geräuschlos und fällt genau dann auf, wenn die Sicherung gebraucht wird.
Gegenseitige Überwachung. Beide Backup-Skripte schreiben bei Erfolg einen Unix-Zeitstempel
nach /var/lib/lalabase-backup/last-success. Täglich um 09:00 UTC prüft jeder Host den eigenen
und den Zeitstempel des Partners; ist einer älter als 26 Stunden oder der Partner nicht
erreichbar, geht eine Mail raus.
Die 26 Stunden sind Absicht: Bei 24 schlägt jede kleine Laufzeitverschiebung falschen Alarm, und ein Melder, der grundlos piept, wird nach zwei Wochen ignoriert.
Fällt ein Host ganz aus, meldet ihn der andere. Fallen beide gleichzeitig aus, meldet es niemand — dann ist aber das Produkt offline und es fällt ohnehin auf.
Der Zugriff auf den Partner ist auf genau einen Befehl festgenagelt. In dessen
authorized_keys steht:
command="/bin/cat /var/lib/lalabase-backup/last-success",restrict ssh-ed25519 AAAA…
Verifiziert: Ein ssh … "cat /etc/shadow" mit diesem Schlüssel liefert trotzdem nur den
Zeitstempel. Das ist die einzige Stelle, an der die sonst konsequente Trennung der beiden
Maschinen aufgeweicht wird — deshalb der erzwungene Befehl statt eines normalen Schlüssels.
Eigener SMTP-Benutzer. /etc/lalabase-backup/msmtprc (Modus 600) nutzt bewusst nicht die
Zugangsdaten der Anwendung: Ein kompromittierter Server soll Alarm schlagen können, aber niemals
im Namen des Produkts an Kunden schreiben. Vorlagen: msmtprc.example, alert.conf.example.
Fehlt die Konfiguration, versendet nichts still ins Leere — lalabase-alert.sh schreibt dann
eine ausdrückliche Fehlerzeile ins Log.
Verbleibende Lücke: Bricht der Mailweg selbst (SMTP-Passwort abgelaufen, Hetzner-Postfach voll), steht das nur im Log. Eine periodische Test-Mail wäre die Antwort darauf, ist aber bisher nicht eingerichtet.
Falle: AppArmor blockiert msmtp auf Ubuntu 22.04
Auf dem App-Server scheiterte der Versand mit msmtp: /etc/lalabase-backup/msmtprc: Permission denied — obwohl die Datei root:root 600 ist und cat sie als root problemlos liest. Ursache
ist das AppArmor-Profil usr.bin.msmtp, das nur /etc/msmtprc und ~/*msmtprc erlaubt.
Drei Dinge, die die Diagnose verschleppt haben:
- Das Ubuntu-Paket legt bei der Installation einen disable-Symlink unter
/etc/apparmor.d/disable/an — das Profil ist also für künftige Boots deaktiviert, war aber aus der laufenden Installation noch im Kernel geladen.aa-statuszeigte es, während der Symlink das Gegenteil suggerierte. - Wegen dieses Symlinks lädt
apparmor_parser -rdas Profil nicht neu. Ergänzte Regeln wirken also nicht, ohne dass ein Fehler erschiene. - Der DB-Server (Ubuntu 24.04, msmtp 1.8.24) hat gar kein geladenes Profil — dort funktionierte dieselbe Konfiguration sofort. Der Unterschied lag nicht an der Konfiguration.
Lösung: apparmor_parser -R /etc/apparmor.d/usr.bin.msmtp — das entlädt das Profil und
stellt genau den Zustand her, den der Host nach dem nächsten Neustart ohnehin hätte.
Eigene Regeln in /etc/apparmor.d/local/usr.bin.msmtp sind nicht der Weg: rix-Einträge
kollidieren mit den x-Modifikatoren des Profils („profile has merged rule with conflicting x
modifiers"), wodurch sich das Profil anschließend nicht einmal mehr entladen lässt.
Restore
Der private Schlüssel darf nicht auf den Server, und der Mac erreicht die Box nicht direkt. Also: Datei über den DB-Host holen, Klartext durch den Tunnel schicken.
ssh "$DB_HOST" "rsync -e 'ssh -p 23 -i /root/.ssh/id_ed25519_storagebox' \
$BOX-sub1@$BOX.your-storagebox.de:./<datei>.age /var/tmp/restore.age"
ssh "$DB_HOST" 'sudo -u postgres createdb lalabase_restore_test'
ssh "$DB_HOST" 'cat /var/tmp/restore.age' \
| age -d -i ~/.config/lalabase/backup-age-key.txt \
| ssh "$DB_HOST" 'sudo -u postgres pg_restore -d lalabase_restore_test'
Danach Zeilenzahlen gegen die Produktion vergleichen, dann dropdb und /var/tmp/restore.age
löschen. Durchgeführtes Protokoll: doc/restore_test_2026_08_04.md.
Anhänge
Gleiches Prinzip, aber je Datei einzeln — der Pfad auf der Box ergibt sich aus dem
Active-Storage-Key: <key[0..1]>/<key[2..3]>/<key>.age.
ssh "$APP_HOST" "rsync -e 'ssh -p 23 -i /root/.ssh/id_ed25519_storagebox' \
$BOX-sub2@$BOX.your-storagebox.de:./ab/cd/abcd….age /var/tmp/restore/"
ssh "$APP_HOST" 'cat /var/tmp/restore/abcd….age' \
| age -d -i ~/.config/lalabase/backup-age-key.txt \
| ssh "$APP_HOST" 'cat > /var/tmp/restore/abcd…'
Wiederhergestellte Dateien in ein Wegwerf-Verzeichnis legen, nie direkt zurück nach
shared/storage — das würde beim nächsten Lauf mitverschlüsselt und den Befund verwischen.
Durchgeführtes Protokoll: doc/restore_test_anhaenge_2026_08_04.md.
Zwei Dinge, die beim Prüfen Zeit kosten:
- Die Box hat eine eingeschränkte Shell —
find,wcund dergleichen gibt es dort nicht. Bestand aufnehmen geht überrsync --list-only -r, Löschen übersftp. systemctl list-timersmeldet für die Backup-TimerLAST: n/a, auch wenn sie gelaufen sind. Verlässlich sindzcat -f /var/log/lalabase-backup.log*und/var/lib/lalabase-backup/last-success.
Beim Vergleich beachten: solid_queue_* weicht immer ab, weil die Warteschlangen
weiterlaufen. Dass es sich um Bewegung und nicht um Datenverlust handelt, zeigt erst ein
Blick auf max(created_at) — im Restore muss der jüngste Job vor dem Dump-Zeitpunkt liegen.
Ein Dump allein reicht nicht: Die verschlüsselten Spalten (
ai_credentials.access_token,project_repositories.access_token/webhook_secret, …) sind nur mit den dreiACTIVE_RECORD_ENCRYPTION_*-Schlüsseln aus dershared/.envdes App-Servers lesbar. Die drei Werte gehören deshalb wie der age-Key in den Passwortmanager — gehen sie verloren, bleiben diese Spalten im Restore Ciphertext.
Zwei Fallen beim Ändern der Skripte
sshnimmt den Port als-p,sftpals-P. Ein gemeinsamer Options-String macht aus-pstill sftps „preserve permissions" und schluckt die 23. Ergebnis: leere Ausgabe, kein Fehler. Deshalb gibt esSSH_OPTSundSFTP_OPTSgetrennt.sftpspiegelt das eingegebene Kommando zurück, und diese Echo-Zeile enthält den Dateinamen ebenfalls. Ein Grep auf den Namen fängt sie mit und meldet fälschlich „noch da". Beide Skripte nutzen die Echo-Zeile deshalb als Anker für den Pfad und werten erst eine darauf folgende Listing-Zeile als Anwesenheit. Belegte Ausgabe:sftp> -ls -l zn/8c/x.age→ vorhanden-rw-r--r-- … zn/8c/x.age, gelöschtCan't ls: "/home/zn/8c/x.age" not found.⚠️ Im Prune darf die Listing-Zeile NICHT auf
^-rwgematcht werden, sondern auf die Modus-Zeichen^[-dlbcps]. Eine Datei mit abweichendem Modus (-r--------) fiele sonst durch und würde als gelöscht gelten — Spiegel gelöscht, Index-Eintrag weg, Box-Kopie für immer unauffindbar, kein Alarm. Das war ein echter Defekt, auf der Box nachgestellt und inca43aab1behoben; die Begründung steht oben unter „Beide Aussagen müssen positiv sein".lalabase-db-backup.shmatcht weiterhin/^-rw/— dort wird nur eine Größe gelesen, eine Fehlklassifikation löscht nichts.Ein vorangestelltes
-lässtsftpeinen Fehler überspringen statt den Rest des Batches abzubrechen (-rm,-ls). Ohne das bricht eine Löschliste beim ersten fehlenden Pfad ab.