Lösung · Storage

Managed Ceph Cluster: verteilter Storage für Proxmox

Kurzantwort

Ceph ist ein verteiltes Storage-System, das Daten in mehreren Kopien auf verschiedene Nodes verteilt und seine Redundanz nach Ausfällen selbst wiederherstellt. Im Managed Ceph Cluster von managed-cluster.net liegt jeder Datenblock im Standard dreifach vor; wir bauen Ceph in Ihren Proxmox-VE-Cluster ein und betreiben es rund um die Uhr, ab dem Paket Essentials für 449,99 € netto im Monat. Replikation ersetzt kein Backup.

Funktionsweise

So arbeitet ein Managed Ceph Cluster in Proxmox VE

Ceph verteilt die Daten Ihrer virtuellen Maschinen über die Platten aller Nodes; ein zentrales Speichersystem gibt es nicht. Jeder Datenblock liegt dreifach auf verschiedenen Nodes, und ein Schreibvorgang ist erst bestätigt, wenn auch die Kopien auf den anderen Nodes stehen. Deshalb kann jede virtuelle Maschine auf jedem Node starten.

Schema 03 Ceph im 3-Node-Proxmox-Cluster
  • Ceph-Replikation über das Storage-Netz
  • Node aktiv
  • A, B, C: Datenblöcke; hervorgehoben die drei Kopien von Block A
Schema als Text
  1. Drei Nodes mit Proxmox VE, auf jedem laufen virtuelle Maschinen.
  2. Jede Platte eines Nodes verwaltet ein Ceph-Dienst (OSD).
  3. Die Datenblöcke A, B und C liegen je einmal auf jedem Node, also dreifach auf verschiedenen Nodes.
  4. Repliziert wird über ein dediziertes Storage-Netz.
  5. Fällt ein Node aus, liegt jeder Datenblock weiter in zwei Kopien vor.
Jeder Datenblock liegt in drei Kopien auf verschiedenen Nodes, repliziert über ein eigenes Storage-Netz. Schematische Darstellung; die Zahl der Platten je Node legen wir im Konzept fest.

Hyperkonvergent: Rechenleistung und Storage auf denselben Nodes

In einem Managed Proxmox Cluster laufen virtuelle Maschinen und Ceph Storage auf denselben Nodes; Proxmox VE nennt das hyperkonvergente Infrastruktur. Ein separates Speichersystem wie ein SAN (Storage Area Network) entfällt und mit ihm eine zentrale Komponente, deren Ausfall alle Nodes zugleich treffen würde.

OSD, CRUSH und min_size

Jede Platte verwaltet ein eigener Ceph-Dienst, das OSD (Object Storage Daemon). Wo ein Datenblock liegt, berechnet Ceph mit dem Algorithmus CRUSH, ohne zentrale Zuordnungstabelle. Proxmox VE legt standardmäßig drei Kopien an (size 3); mindestens zwei müssen erreichbar sein, damit Zugriffe weiterlaufen (min_size 2).

Eigenes Netz für die Replikation

Repliziert wird über ein dediziertes Storage-Netz, getrennt von Management und öffentlichem Traffic. Proxmox empfiehlt diese Trennung ausdrücklich, weil der Datenverkehr einer Wiederherstellung sonst die Cluster-Kommunikation über Corosync stören kann. Fällt ein Node aus, startet der Proxmox HA Manager dessen virtuelle Maschinen auf einem anderen Node neu; mehr zur Hochverfügbarkeit im Cluster.

Quellen: Proxmox VE Administration Guide, „Deploy Hyper-Converged Ceph Cluster“ (Version 9.2); Ceph-Dokumentation, „Architecture“ (Release Tentacle); abgerufen am 9. Oktober 2026 · Stand: Oktober 2026

Ausfallverhalten

Was beim Ausfall einer Platte oder eines Nodes passiert

Fällt eine Platte oder ein ganzer Node aus, gehen keine Daten verloren: Ceph hält jeden Datenblock dreifach auf verschiedenen Nodes und stellt die Soll-Redundanz selbst wieder her, sobald dafür genügend Platten und Nodes verfügbar sind. Während dieser Wiederherstellung steigt die I/O-Last; bei mehreren gleichzeitigen Ausfällen können einzelne Datenbereiche bis zum Abschluss vorübergehend nicht verfügbar sein.

Ausfallszenarien Ceph Storage in Proxmox, Replikation mit drei Kopien je Datenblock
SzenarioIhre DatenWas Ceph und der Cluster tunUnsere Maßnahme
Eine Platte fällt aus Verfügbar Kein Datenverlust, Zugriffe laufen weiter. Ceph schreibt die fehlenden Kopien auf die übrigen Platten (Self-Healing); bis dahin steigt die I/O-Last. Alarm an die Rufbereitschaft, Plattentausch, Nachbericht.
Ein Node fällt aus Verfügbar Kein Datenverlust; jeder Datenblock liegt weiter zweifach vor. Der HA Manager startet die virtuellen Maschinen des Nodes auf einem anderen Node neu. Weil jede Kopie auf einem anderen Node liegen muss, entsteht die dritte Kopie im 3-Node-Cluster erst mit dem reparierten Node wieder. Alarm an die Rufbereitschaft, Fehleranalyse und Hardware-Tausch, Nachbericht.
Zwei Platten fallen gleichzeitig aus Teilweise Kein Datenverlust; einzelne Datenbereiche vorübergehend nicht verfügbar. Im selben Node: Jeder Datenblock bleibt zweifach erreichbar. Auf verschiedenen Nodes: Einzelne Datenbereiche haben nur noch eine Kopie, Zugriffe darauf ruhen, bis Ceph eine zweite Kopie hergestellt hat. Alarm an die Rufbereitschaft, Tausch beider Platten, Nachbericht.

Annahme: Proxmox-Standard mit size 3 und min_size 2. Laut Ceph-Dokumentation verkraftet ein replizierter Pool ohne Datenverlust so viele gleichzeitig ausgefallene OSDs, wie er Kopien hat, minus eins. Quellen: Proxmox VE Administration Guide; Ceph-Dokumentation, „Pools“ (Release Tentacle), abgerufen am 9. Oktober 2026 · Stand: Oktober 2026

Auf der Rechenebene starten die virtuellen Maschinen eines ausgefallenen Nodes auf einem anderen Node neu. Dienste, die hinter dem Loadbalancer auf mehreren Nodes laufen, bleiben dabei erreichbar. Den Ablauf eines Failovers im Detail zeigt die Seite zum High Availability Cluster.

Entscheidungshilfe

Ceph oder ZFS: welcher Storage zu Ihrem Cluster passt

Die Pakete Essentials und Business nutzen Ceph. ZFS-Replikation setzen wir in individuell konzipierten, kompakteren Setups ein. Der wichtigste Unterschied liegt im Zeitpunkt der Replikation: Ceph schreibt synchron auf drei Nodes, ZFS gleicht die Daten in Intervallen ab. Dieses Intervall bestimmt, wie viele Daten bei einem Hardware-Ausfall fehlen können.

Vergleich Ceph und ZFS-Replikation im Proxmox-Cluster
KriteriumCephZFS-Replikation
Mindestgröße ab drei Nodes kompaktere Setups, auch zwei Nodes mit externem Quorum-Device
Replikation synchron, dreifach auf verschiedenen Nodes in Intervallen, laut Proxmox von minütlich bis wöchentlich einstellbar
Folge für den RPO (Recovery Point Objective) bei Hardware-Ausfall Bestätigte Schreibvorgänge liegen bereits auf mehreren Nodes; der Ausfall einer Platte oder eines Nodes kostet keine Daten. Änderungen seit dem letzten Abgleich können fehlen; das Intervall bestimmt den RPO.
Neustart virtueller Maschinen nach Node-Ausfall auf jedem verbliebenen Node auf einem Node mit Replik, Datenstand des letzten Abgleichs
In den Paketen Ja Essentials und Business Nein individuell konzipierte Setups
Ersetzt ein Backup Nein repliziert auch Fehler und Löschungen Nein repliziert auch Fehler und Löschungen

Quelle zur ZFS-Replikation: Proxmox VE Administration Guide, „Storage Replication“ (Version 9.2), abgerufen am 9. Oktober 2026. Mehr zu RPO und Replikationsverfahren · Stand: Oktober 2026

Welches Verfahren passt, hängt von Datenmenge, I/O-Profil und RPO-Ziel ab; das klären wir in der Konzeption und Dimensionierung.

In den Cluster-Paketen ist Ceph Standard: Ceph HA ab dem Essentials-Paket für 449,99 € netto im Monat, mit drei Nodes und vollständigem Betrieb.

Alle Preise netto zzgl. Umsatzsteuer.

Kapazität

Wie viel nutzbarer Speicher bei drei Kopien bleibt

Bei dreifacher Replikation steht rund ein Drittel der Rohkapazität für Daten zur Verfügung. Ganz belegen sollten Sie dieses Drittel nicht: Ceph braucht freien Platz, um nach einem Plattenausfall fehlende Kopien neu zu schreiben, und warnt standardmäßig ab 85 Prozent Belegung einer Platte.

Beispielrechnung, kein Angebot Drei Nodes mit je vier gleich großen Platten, Werte in Prozent der Rohkapazität
SchrittRechnungErgebnis
RohkapazitätSumme aller Platten der drei Nodes100 %
Nutzbar bei drei Kopien100 % ÷ 3rund 33 %
Bis zur Warnschwelle „nearfull“33 % × 0,85 (Standardwert in Ceph)rund 28 %
Mit Reserve für einen Plattenausfall je NodeDie Daten einer ausgefallenen Platte verteilen sich auf die drei übrigen Platten des Nodes: 0,85 × ¾ ≈ 64 % Belegung vorher, also 33 % × 0,64rund 21 %

Vereinfacht, bei gleichmäßiger Verteilung und ohne Metadaten. Standardwerte laut Ceph: „nearfull“ 0,85, „full“ 0,95. Quelle: Ceph-Dokumentation, „Monitor Config Reference“ (Release Tentacle), abgerufen am 9. Oktober 2026 · Stand: Oktober 2026

Die letzte Zeile folgt aus der Platzierung: Weil jede Kopie auf einem anderen Node liegen muss, landen die Daten einer ausgefallenen Platte im 3-Node-Cluster auf den übrigen Platten desselben Nodes. Erreicht eine Platte die Schwelle „full“, blockiert Ceph laut Dokumentation Zugriffe, um Datenverlust zu verhindern.

Größere Platten erhöhen die Speicherdichte, doch nach einem Ausfall muss Ceph dann mehr Daten auf einmal wiederherstellen (laut Proxmox). Die Hardware der Cluster-Nodes (CPU, RAM, Storage, Netzanbindung) besprechen wir individuell und legen sie im Konzept fest, zusammen mit der Reserve für Plattenausfälle, Lastspitzen und Wachstum.

Betrieb

Ceph Hosting rund um die Uhr: was wir übernehmen

Wir überwachen den Ceph-Storage rund um die Uhr als Teil Ihres Clusters: Platten, Storage-Netz und Ceph-Dienste. Kritische Alarme erreichen die Rufbereitschaft sofort und werden umgehend bearbeitet. Defekte Platten tauschen wir, und jeder Vorfall endet mit einem Nachbericht zu Ursache und Maßnahmen.

  1. EINE PLATTE FÄLLT AUS. Ceph arbeitet mit den verbliebenen Kopien weiter.
  2. Ceph schreibt die fehlenden Kopien auf die übrigen Platten (Self-Healing).
  3. Das Monitoring alarmiert die Rufbereitschaft, auch nachts und am Wochenende.
  4. Wir tauschen die Platte, sie geht wieder in den Verbund ein.
  5. Sie erhalten einen Nachbericht zu Ursache und Maßnahmen.

Defekte Komponenten werden im Rechenzentrum FRA01 im Rhein-Main-Gebiet über Remote Hands rund um die Uhr getauscht.

  • Monitoring auf allen Ebenen: Hardware, Virtualisierung, Betriebssystem, Dienste und Netz.
  • Kapazitätsplanung: Belegung im Trend, Ausbau-Empfehlung, bevor die Reserve knapp wird.
  • Updates Node für Node im laufenden Betrieb. Ausnahmen wie das Major-Upgrade einer Datenbank kündigen wir an und legen sie in ein Zeitfenster, das Sie wählen.
  • Monatlicher Betriebsbericht mit Verfügbarkeit, Vorfällen und Auslastung; mehr zu 24/7-Monitoring und Rufbereitschaft.

Abgrenzung

Warum Ceph-Replikation kein Backup ersetzt

Ceph schützt vor dem Ausfall von Hardware, nicht vor Fehlern in den Daten. Jede Änderung schreibt Ceph synchron auf alle Kopien, auch ein versehentliches Löschen oder die Verschlüsselung durch einen Trojaner. Für den Weg zurück brauchen Sie einen früheren, unbeschädigten Datenstand außerhalb des Clusters.

Ein HA-Cluster ersetzt kein Backup.

Backups laufen auf einer vom Cluster getrennten Backup-Infrastruktur mit definierten Aufbewahrungsfristen und regelmäßigen Restore-Tests. Im Business-Paket liegen sie mit Restore-Tests am Zweitstandort NBG01. Hintergründe und Wiederanlaufziele: warum Replikation kein Backup ist.

FAQ

Häufige Fragen zum Managed Ceph Cluster

Ceph oder ZFS: Was passt zu meinem Cluster?

Ab drei Nodes meist Ceph, für kompaktere Setups ZFS-Replikation. Ceph repliziert synchron und lässt jede virtuelle Maschine auf jedem Node starten; die Pakete Essentials und Business nutzen Ceph. ZFS gleicht die Daten in Intervallen ab. Wir entscheiden im Konzept nach Datenmenge, I/O-Profil und RPO-Ziel.

Wie viele Nodes braucht Ceph?

Mindestens drei. Ceph legt die drei Kopien eines Datenblocks auf drei verschiedene Nodes, und auch Proxmox setzt für einen hyperkonvergenten Ceph-Cluster mindestens drei Server voraus. Für kleinere Umgebungen gibt es ZFS-Replikation, siehe Ceph oder ZFS im Vergleich.

Was passiert, wenn eine Platte ausfällt?

Es gehen keine Daten verloren. Ceph schreibt die fehlenden Kopien selbst auf die übrigen Platten, währenddessen steigt die I/O-Last. Unsere Rufbereitschaft wird alarmiert, wir tauschen die Platte und dokumentieren den Vorfall im Nachbericht.

Wie viel nutzbarer Speicher bleibt bei dreifacher Replikation?

Rund ein Drittel der Rohkapazität, vor Reserve. Weil Ceph freien Platz für die Wiederherstellung braucht und ab 85 Prozent Belegung warnt, planen Sie im Beispiel mit drei Nodes zu je vier Platten besser mit rund 21 Prozent der Rohkapazität. Details zeigt die Beispielrechnung zur Kapazität.

Ersetzt Ceph-Replikation ein Backup?

Nein. Replikation überträgt auch Löschungen und Fehler auf alle Kopien. Wie getrennte Backups mit Restore-Tests das abfangen, erklärt die Seite Backup & Disaster Recovery.

Nächster Schritt

Wie viel Storage braucht Ihre Anwendung?

Nennen Sie uns Datenmenge, I/O-Profil und RPO-Ziel. Sie erhalten ein schriftliches Konzept mit Architekturzeichnung, Komponentenliste und Festpreis für Aufbau und Betrieb.

Storage-Anforderungen besprechen

Weiterführend