Leistung 04 · Failover-Tests

Failover-Tests & Notfallpläne: Ausfälle proben, bevor sie passieren

Kurzantwort

Ein Failover-Test prüft unter kontrollierten Bedingungen, ob ein Hochverfügbarkeits-Cluster den Ausfall eines Nodes wie geplant abfängt. Bei managed-cluster.net testen wir vollständig vor der Inbetriebnahme und danach regelmäßig im mit Ihnen abgestimmten Rhythmus, jeweils mit Protokoll. Für Szenarien jenseits des automatischen Failovers erhalten Sie dokumentierte Notfallpläne. Beides gehört zum Betriebsvertrag mit monatlichem Festpreis.

Vor der Inbetriebnahme

Der Failover-Test vor der Inbetriebnahme

Bevor Ihr Cluster produktiv arbeitet, durchläuft er einen vollständigen Failover-Test: Wir führen den Ausfall eines Nodes gezielt herbei und prüfen, ob der automatische Failover wie geplant greift. Der Test gehört zum Aufbau, zusammen mit der Einrichtung von Monitoring und Backups. Erst danach folgen Migration und Übergabe, und Sie erhalten das Protokoll des Tests.

Failover-Tests sind einer von vier Leistungsbereichen im Managed-Cluster-Betrieb. Ihre produktiven Systeme ziehen erst nach dem Test um, den Migrationstermin legen Sie fest. Wo der Test im Projekt steht, zeigt der Test vor der Übergabe im Projektablauf.

Was der Test durchläuft

Einen Failover-Cluster zu testen heißt, genau den Ausfall herbeizuführen, den er abfangen soll. Der Test durchläuft dieselbe Kette wie ein echter Node-Ausfall. Die verbleibenden Nodes behalten das Quorum, also die Mehrheit der Stimmen im Cluster, und der Loadbalancer nimmt den ausgefallenen Node aus der Verteilung. Fencing grenzt den Node ab, damit keine virtuelle Maschine doppelt läuft. Danach startet der Proxmox HA Manager die betroffenen virtuellen Maschinen auf einem anderen Node neu.

Die Seite zum High Availability Cluster zeigt im Detail, wie der automatische Failover abläuft; warum dafür ein Quorum nötig ist, erklärt der Ratgeber Quorum, Fencing und Split-Brain.

Im laufenden Betrieb

Regelmäßige Failover-Tests im laufenden Betrieb

Nach der Übergabe wiederholen wir den Failover-Test regelmäßig, während Ihre Systeme produktiv laufen. Den Rhythmus stimmen wir mit Ihnen ab, damit die Tests zu Ihren betrieblichen Abläufen passen. Jeder Test wird protokolliert. So zeigt jedes Protokoll, ob der Failover mit dem aktuellen Stand Ihres Clusters greift.

Ein Cluster verändert sich: Wir spielen Rolling Updates Node für Node ein, neue virtuelle Maschinen kommen hinzu, und aus der Kapazitätsplanung im laufenden Betrieb folgen Ausbau-Empfehlungen. Wiederkehrende Tests zeigen, ob Quorum, Fencing und Neustart auch mit dem heutigen Stand zusammenspielen.

Schema 05 Failover-Tests über den Lebenszyklus
  • Projektablauf
  • wiederkehrend, Rhythmus nach Absprache
Der erste Failover-Test läuft vor Migration und Übergabe, danach wiederholen wir ihn im abgestimmten Rhythmus, jeweils mit Protokoll.
Schema als Text
  1. Aufbau mit Monitoring und Backups.
  2. Vollständiger Failover-Test vor der Inbetriebnahme, Ergebnis: Protokoll.
  3. Übergabe mit schriftlicher Dokumentation einschließlich Notfallplan.
  4. Betrieb mit regelmäßigen Failover-Tests im abgestimmten Rhythmus, jeweils mit Protokoll.
  5. Business-Paket: Test des Umschaltplans zwischen FRA01 und NBG01.

Testprotokoll

Das Testprotokoll: was ein Failover-Test festhält

Zu jedem Failover-Test erhalten Sie ein schriftliches Protokoll. Es hält fest, welcher Ausfall herbeigeführt wurde, wie der Cluster reagiert hat und ob das Ergebnis dem geplanten Verhalten entspricht. Damit haben IT-Leitung, Informationssicherheit und Revision einen Nachweis, dass der Failover tatsächlich getestet wurde.

Szenario

Welcher Node wann und auf welche Weise ausfällt.

Ablauf

Wie Quorum, Fencing, Neustart und Loadbalancer reagiert haben.

Ergebnis

Ob sich der Cluster wie geplant verhalten hat und welche Abweichungen es gab.

Wie lange ein Failover dauert, hängt von der Ebene ab. Der Loadbalancer nimmt einen ausgefallenen Node binnen Sekunden aus der Verteilung. Die virtuellen Maschinen des Nodes starten nach dem Fencing auf einem anderen Node neu; wie lange das dauert, hängt vom Fencing und von der Startzeit des Gastsystems ab. Der Test macht dieses Verhalten für Ihre Gastsysteme sichtbar.

Welche Ausfallzeit Ihr Verfügbarkeitsziel im Jahr erlaubt, zeigt der Rechner Verfügbarkeit berechnen. Welche Nachweise Sie von einem Hosting-Anbieter verlangen können, fasst die Checkliste für die Anbieterauswahl zusammen.

Notfallpläne

IT-Notfallpläne für Szenarien jenseits des automatischen Failovers

Der automatische Failover fängt den Ausfall eines Nodes ab. Für Störungen, die darüber hinausgehen, erstellen wir dokumentierte Notfallpläne. Ein Notfallplan legt für ein bestimmtes Szenario fest, mit welchen Schritten und in welcher Reihenfolge der Betrieb wiederhergestellt wird. Er ist Teil der schriftlichen Dokumentation Ihres Clusters und gehört Ihnen.

Wo der automatische Failover endet

Replikation schützt vor Hardware-Ausfall, kopiert aber auch Fehler. Ein Neustart auf einem anderen Node hilft deshalb nicht bei:

  • Fehlern in der Anwendung und fehlerhaften Updates,
  • versehentlich gelöschten Daten,
  • Verschlüsselungstrojanern, deren Änderungen ebenfalls repliziert werden.

Auch den Ausfall eines ganzen Rechenzentrums fängt ein Cluster an einem einzigen Standort nicht ab.

Woran sich ein Notfallplan messen lassen muss, legen Ihre Wiederanlaufziele fest: die Recovery Time Objective (RTO), also die höchstens tolerierbare Zeit bis zum Wiederanlauf, und die Recovery Point Objective (RPO), der höchstens tolerierbare Datenverlust, gemessen als Zeitraum vor dem Ausfall. Beide erfassen wir in der Bestandsaufnahme und legen sie gemeinsam mit Ihnen im Betriebsvertrag fest. Wie Notfallpläne, Backups und Restore-Tests zusammenwirken, zeigt die Disaster-Recovery-Planung.

Notfallpläne und Testprotokolle können Sie für interne Prüfungen und Audits Ihrer Informationssicherheit verwenden. Welche Unterlagen Sie insgesamt von uns erhalten, zeigt die Übersicht Dokumente für Ihre Lieferantenbewertung.

Ein HA-Cluster ersetzt kein Backup.

Gegen gelöschte oder verschlüsselte Daten hilft eine getrennte Sicherung, deren Wiederherstellung regelmäßig getestet wird: Backup & Disaster Recovery.

Zwei Standorte

Standortumschaltung testen: der Umschaltplan im Business-Paket

Ein Cluster in einem einzelnen Rechenzentrum fängt Ausfälle innerhalb dieses Rechenzentrums ab, etwa eines Servers, einer Platte oder eines Switches. Das Business-Paket von managed-cluster.net verteilt sechs Nodes auf FRA01 und NBG01 und ergänzt einen dokumentierten Umschaltplan für den Wechsel zwischen beiden Standorten. Dieser Plan wird regelmäßig getestet, nicht nur beschrieben.

Zum Paket gehören außerdem Ceph-HA-Storage, standortübergreifend repliziert, und Backups mit Restore-Tests am Zweitstandort NBG01. Enterprise-Umgebungen mit mehreren Standorten planen wir nach Ihren Anforderungen, mit individuellen RPO/RTO- und SLA-Zielen. Umfang und Preis zeigt das Business-Paket mit zwei Standorten; welche Rolle die beiden Standorte haben, beschreibt die Seite Rechenzentren FRA01 und NBG01.

Abgrenzung

Automatischer Failover, Failover-Test, Restore-Test: die Unterschiede

Die drei Begriffe werden oft vermischt. Der automatische Failover ist die Reaktion des Clusters auf einen Ausfall. Der Failover-Test prüft diese Reaktion geplant und mit Protokoll. Der Restore-Test prüft etwas anderes: ob sich eine Sicherung tatsächlich zurückspielen lässt. Zusammen decken sie Ausfall, Nachweis und Wiederherstellung ab.

Abgrenzung Drei Verfahren, drei verschiedene Fragen
VerfahrenWas geschiehtWannErgebnis
Automatischer FailoverDer Cluster reagiert ohne manuellen Eingriff auf einen Node-Ausfall: Der HA Manager startet die betroffenen virtuellen Maschinen auf einem anderen Node neu. Siehe High Availability Cluster.im ErnstfallNachbericht mit Ursache und Maßnahmen
Failover-TestWir führen den Ausfall eines Nodes gezielt herbei und prüfen, ob der automatische Failover wie geplant greift.vor der Inbetriebnahme vollständig, danach im abgestimmten Rhythmusschriftliches Testprotokoll
Restore-TestEine Sicherung wird zurückgespielt, um zu prüfen, ob sich die Daten wiederherstellen lassen. Siehe Restore-Tests im Detail.regelmäßiggeprüfte Wiederherstellbarkeit der Sicherung

FAQ

Häufige Fragen zu Failover-Tests und Notfallplänen

Wie oft werden Failover-Tests durchgeführt?

Vor der Inbetriebnahme einmal vollständig, danach regelmäßig im laufenden Betrieb. Den Rhythmus stimmen wir mit Ihnen ab; jeder Test wird protokolliert.

Erhalte ich ein Testprotokoll?

Ja. Zu jedem Failover-Test erhalten Sie ein schriftliches Protokoll mit Szenario, Ablauf und Ergebnis, als Nachweis gegenüber IT-Leitung, Informationssicherheit oder Revision.

Was steht in einem Notfallplan?

Die Schritte, mit denen der Betrieb in einem Szenario wiederhergestellt wird, das der automatische Failover nicht abfängt. Maßstab sind Ihre Wiederanlaufziele RTO und RPO. Notfallpläne sind Teil der schriftlichen Dokumentation zu Architektur, Konfiguration und Zugängen und gehören Ihnen.

Wird auch der Wechsel des Standorts getestet?

Ja, im Business-Paket: Der dokumentierte Umschaltplan für den Wechsel zwischen FRA01 und NBG01 wird regelmäßig getestet. Enterprise-Umgebungen mit mehreren Standorten planen wir nach Ihren Anforderungen.

Nächster Schritt

Wann wurde Ihr Failover zuletzt getestet?

Beschreiben Sie Ihre Umgebung, Ihr Verfügbarkeitsziel und Ihre Wiederanlaufziele. Wir besprechen mit Ihnen, welche Ausfallszenarien wir testen und welche in Notfallplänen dokumentiert werden.

Testkonzept besprechen