„Die Datenbank wächst und wächst.“
Dahinter steckt meist eine Frage nach Abfragen und Archivierung, nicht nach dem nächsten Server →
Jeden Tag kommen Buchungen, Belege und Protokolle hinzu, und nichts geht je wieder heraus. Irgendwann heißt es, die SQL Server Datenbank sei zu groß und die Software deshalb langsamer. Wenn die Datenbank wächst und die Performance sinkt, ist die Größe allein nach meiner Erfahrung selten die Ursache: Meist liest eine Abfrage mehr Zeilen, als sie braucht, und mit jedem Jahr mehr Daten wird das spürbarer.
Die Datenbank wird immer größer, und die Frage lautet: Daten löschen oder behalten? Archivierung im SQL Server, Löschen oder Partitionieren hilft nur, wenn es gemessen und gewollt ist. Eine große Datenbank ist beherrschbar; ob sie langsam bleibt, entscheidet sich an den Abfragen und am Umgang mit alten Daten.
Wachstum beschreiben Kunden selten mit Fachworten. Erkennen Sie sich in einem dieser Sätze wieder?
„Die Datenbank wächst und wächst.“
Dahinter steckt meist eine Frage nach Abfragen und Archivierung, nicht nach dem nächsten Server →
„Die Datenbank ist zu groß geworden.“
Dahinter steckt meist eine Abfrage, die mit den Daten mitwächst, und nicht die Größe allein →
„Die Anwendung wird jeden Monat langsamer.“
Dahinter steckt meist dieselbe Ursache, die auch SQL Server langsam macht →
„Wir können keine Daten löschen, weil wir sie vielleicht noch brauchen.“
Dahinter steckt meist eine Entscheidung, die der Fachbereich trifft und die Technik umsetzt →
„Wir wissen nicht, was wir archivieren dürfen.“
Dahinter steckt meist eine Frage für Fachbereich und Aufbewahrungsfristen, nicht für den Index →
„Das Löschen alter Daten dauert ewig.“
Dahinter steckt meist ein DELETE, das jede Zeile einzeln protokolliert →
Fehlt der passende Index, durchsucht SQL Server bei jeder Anfrage die ganze Tabelle, und mit mehr Daten dauert jede Anfrage länger. Im Labor sanken bei zehn Millionen Zeilen die Lesezugriffe von 349.716 auf 11 Seiten, sobald der passende Index da war.
Ein DELETE schreibt jede Zeile ins Protokoll und pflegt jeden Index mit. Im Labor dauerte es bei einhundert Millionen Buchungen, einen Monat zu entfernen, 14.082 Millisekunden mit Datumsindex und 67.298 Millisekunden ohne; das Leeren der Monatspartition brauchte 8,5 Millisekunden.
Partitionierung dient der Datenpflege, nicht der Abfragegeschwindigkeit: Die Monatssumme brauchte partitioniert 244 Millisekunden, mit einfachem Datumsindex 173, und die Kontoabfrage 285 gegen 45 Millisekunden.
Bei einem Halbleiterhersteller prüfte ich im Betrieb rund um die Uhr monatlich rund 1,4 Milliarden neue Datensätze gegen 64 Milliarden Bestandszeilen (4 TB), ohne Produktionsstillstand. Entscheidend war die Architektur, nicht die Größe.
Archivierung im SQL Server ist erst die Folge einer Entscheidung. Dahinter steht die Frage, wie lange welche Daten im schnellen Zugriff bleiben müssen.
Sie haben eine belegte Antwort: ob die Größe der Datenbank das Problem ist oder eine einzelne Abfrage, welche Daten Sie sinnvoll archivieren können und was jede Maßnahme bewirkt hat, vorher und nachher gemessen. Dazu gehören eine Kurzfassung für die Leitung, eine nach Wirkung geordnete Maßnahmenliste mit Rückweg und alle verwendeten Skripte.
Ein Beispiel finden Sie hier: Beispielbefund (PDF, Labordaten).
Nicht unbedingt. Eine große Datenbank ist nicht automatisch langsam: Mit dem passenden Index liest eine Abfrage nur das, was sie braucht, egal wie viele Zeilen daneben liegen. Im Labor sanken bei zehn Millionen Zeilen die Lesezugriffe von 349.716 auf 11 Seiten. Kleiner wird die Datenbank dadurch nicht, aber die Anwendung wird schneller. Sinnvoll ist das Entfernen alter Daten dort, wo sie Wartung, Sicherung oder Speicher belasten, und wo Ihr Fachbereich es erlaubt. Ob die Größe oder eine einzelne Abfrage bremst, zeigt eine Messung, bevor Sie archivieren oder löschen. Wenn die Messung zeigt, dass es nicht die Datenmenge ist, sage ich Ihnen das. Vor dem Löschen lohnt außerdem die Frage, welche Daten Ihr Fachbereich aus gesetzlichen oder fachlichen Gründen behalten muss: Das entscheidet die Fachseite, nicht die Technik.
Für die Datenpflege oft ja, für die Abfragegeschwindigkeit nicht automatisch. Im Labor ließ sich bei einhundert Millionen Buchungen ein Monat durch Leeren der Partition in 8,5 Millisekunden entfernen, ein DELETE brauchte 14.082 Millisekunden. Die Abfragen waren dagegen nicht schneller: Die Kontoabfrage brauchte partitioniert 285 Millisekunden, mit einfachem Index 45. Partitionierung lohnt sich, wenn regelmäßig ganze Zeiträume entfernt werden, und sie setzt voraus, dass der Monat genau in einer Partition liegt und alle Indizes gleich partitioniert sind. Für Abfragen ersetzt sie den passenden Index nicht. Ich prüfe vorab, ob sie sich für Ihre Datenbank rechnet. Gemessen wurde mit synthetischen Labordaten; Ihre Zahlen können abweichen, deshalb messe ich an Ihrem System. Auch ein Index nach Datum beschleunigt das Entfernen eines Monats: Ohne Datumsindex brauchte das DELETE im Labor 67.298 Millisekunden.
Eine feste Obergrenze nenne ich nicht, weil sie von Zugriffsmustern, Hardware und Architektur abhängt. Aus der Praxis: Bei NXP Semiconductors lief eine Datenbank mit 64 Milliarden Bestandszeilen (4 TB) im Betrieb rund um die Uhr, und monatlich kamen rund 1,4 Milliarden neue hinzu. Dafür waren eine Insert-only-Architektur mit temporaler Datenhaltung und entkoppelte Warteschlangen nötig, und die Daten wurden batchweise migriert, ohne die Produktion anzuhalten. Für ein Mittelstandssystem ist das nach meiner Erfahrung selten nötig; dort genügen meist passende Indizes, angepasste Abfragen und eine Entscheidung über alte Daten. Wo Ihre Grenze liegt, zeigt eine Messung an Ihrem System und nicht eine Faustregel. Ob sich ein solcher Aufwand für Sie lohnt, hängt vom Wachstum und von der Art der Zugriffe ab; die Messung zeigt es, bevor Sie etwas umbauen.
Welche Maske, welcher Bericht, welcher Lauf, und seit wann? Im Erstgespräch klären wir, ob sich eine Messung lohnt.
Mehr dazu: Praxisfall NXP Semiconductors · Labor: DELETE gegen Partition leeren · SQL Server langsam · Datenbank optimieren · SQL Server Performance-Analyse