Sicherung von 10.000 SQL Server-Datenbanken in wenigen Stunden

Unternehmen, die Microsoft SQL Server verwenden, neigen dazu, die Anzahl der Datenbanken horizontal zu erhöhen. Bei neueren Versionen von SQL Server beträgt die maximale Anzahl von Datenbanken auf einer einzigen Instanz 32.767 – und es ist üblich, dass der Bedarf der Kunden diese Grenze überschreitet. Rubrik, das Zero Trust Data Management-Unternehmen, unterstützt mehrere Organisationen, die sich der Marke von 10.000 Datenbanken auf einem einzigen Host nähern. Da SQL Server immer mehr in das Unternehmenssegment vordringt, muss man sich mit dem Problem der Verwaltung und Sicherung dieser Server in großem Maßstab befassen. Das größte Problem bei dieser Größenordnung ist die Sicherung. Ist es möglich, tägliche Backups von 10.000 Datenbanken auf einem einzigen Windows-Server durchzuführen?

Rubrik hat 4.000 kleine SQL Server-Datenbanken auf einen einzigen Host gestellt und beschlossen, sie einzeln mit den Standard-APIs von Microsoft und dem SQL Server Writer zu sichern, um zu sehen, wo es Optimierungsmöglichkeiten gibt. Es dauerte etwa einen Monat, bis der Sicherungsprozess abgeschlossen war. Anschließend implementierte das Team die Stapelverarbeitung, bei der es einen Stapel von Datenbanken auf einmal sicherte. Das Team variierte die Stapelgröße bis hin zu 200, konnten die Sicherung jedoch nicht in weniger als einem Tag abschließen.

Analyse

Rubrik ging den Problemen auf den Grund und entdeckte drei Bereiche, die es zu optimieren gelang:

• Die erste Aufgabe bei der Sicherung einer großen Anzahl von Datenbanken besteht darin, die Metadaten aller Datenbanken im System zu tabellieren. Wenn sich viele Datenbanken auf dem Host befinden, nimmt die aktuelle Methode vermutlich mehr Zeit in Anspruch, weil sie Metadaten zu allen Datenbanken auf dem Host erfasst, auch zu denen, von denen kein Backup erstellt wird. Bei dem obigen Experiment hat das Team festgestellt, dass diese Aufgabe mehr als eine Stunde dauern kann.
• Der Zeitaufwand für die Erfassung der Metadaten aller Datenbanken ließe sich verringern, wenn sich eine große Anzahl von Datenbanken auf einmal sichern ließe und man die Metadaten nicht mehrfach erfassen müsste. Allerdings konnte Rubrik die Stapelgröße nicht über 200 Datenbanken hinaus erhöhen. Für eine Sicherung von 10.000 Datenbanken müssten die Metadaten 50 Mal erfasst werden, was jeweils eine Stunde dauern würde. Damit wäre das Ziel, tägliche Backups zu erstellen, zunichtegemacht.
• Schließlich muss jeder Mechanismus, der Daten von einem Windows-Host auf ein Sicherungsziel kopiert, mit einer großen Anzahl von Dateien skalieren. Ein Host mit 10.000 Datenbanken wird mindestens 20.000 Dateien haben, und in einer solchen Situation sollte der Kopiermechanismus mit einer großen Anzahl von Dateien auf einem Host skalieren.

Lösung

Zwei Innovationen in die SQL Server-Backup-Lösung helfen die Herausforderung zu bewältigen:

• Skalierbarer Snapshot-Dienst: Rubrik hat einen neuen Datenbank-Snapshot-Mechanismus entwickelt, der nur die zu sichernden Datenbanken erfasst und einfriert, einen Snapshot der Volumes erstellt, in denen sich die Datenbanken befinden, diese Datenbanken „auftaut“ und eine Abrechnung nach dem Snapshot durchführt. Dieser Mechanismus ist nicht nur sehr schnell, sondern optimiert auch die Anzahl der Threads und die Menge des verwendeten Speichers und ermöglicht die Verwendung einer großen Stapelgröße von 400.
• Parallel Copy Writer: Die Analyse hat gezeigt, dass mit jedem einzelnen Dateiabruf pro Datenbank ein erheblicher Overhead verbunden war. Daher hat Rubrik einen neuen parallelen Copy Writer entwickelt, um den Overhead mit einer einzigen Gruppenabruffunktion zu amortisieren, die eine große Anzahl von Dateien mit einem einzigen RPC abrufen kann. Dies ermöglicht einen effizienteren Mechanismus zur Übertragung von Dateien vom Windows-Host zu einem Sicherungsziel und maximiert die Bandbreitennutzung für Szenarien mit einer großen Anzahl kleiner Dateien.

Ergebnisse

Um die Lösung zu testen, hat Rubrik die Zeit für die Sicherung von 100 bis 10.000 Testdatenbanken mit einer durchschnittlichen Größe von weniger als einem GB auf einem Windows-Host mit vier Kernen und 128 GB Speicher gemessen. Dies erfolgte sowohl mit der Standardinfrastruktur von Microsoft als auch mit der neuen Rubrik-Lösung. Es waren weniger als sechs Stunden erforderlich, um 10.000 Datenbanken mit der Lösung zu sichern.