Ein Hyperscale-Data-Center (HDC) ist im Wesentlichen ein riesiges, oft mehrere Fußballfelder großes Gebäude, das mit Tausenden Servern, Racks und Netzwerkgeräten ausgestattet ist. Meta betreibt eine Reihe von HDCs unterschiedlichen Designs auf ihrem Campus, darunter H- und I-förmige Designs.
Problemstellung
Bei der Entwicklung eines neuen HDC musste Meta sicher sein, dass es mit allen damit verbundenen Funktionen ohne Verzögerungen oder Engpässe effizient betrieben werden kann. Wichtig war dabei auch die Frage, wie die Arbeitsabläufe rund um die Bereitstellung der Racks im Rechenzentrum verbessert werden könnten.
Hier gibt es drei Arten von Arbeitsabläufen, die mit den Racks verbunden sind, wobei der Schwerpunkt dieser Fallstudie auf dem „Eingang“ lag. Dieser Arbeitsschritt erfolgt, wenn ein Rechenzentrum in Betrieb genommen wird und Racks in das betreffende Rechenzentrum verbracht werden.
Die damit verbundenen Arbeitsabläufe werden von hochqualifizierten Mitarbeitern ausgeführt. Daher sollten die betreffende Arbeitsplanung und -ausführung optimiert werden.
Meta besaß bisher kein geeignetes Verfahren zur Visualisierung und Simulation von Betriebseinschränkungen in HDC-Designs und verstand daher die vorhandenen Engpässe und den potenziell möglichen Durchsatz nicht.
Lösung
Um die Anforderungen an ein neues HDC besser zu verstehen, entschloss sich Meta für einen Modellierungsansatz. Der erste Schritt war die Erstellung einer 3D-Visualisierung für ein agentenbasiertes Modell, um die Validierung von Rack-Flow-Daten zu erleichtern und die Arbeitsabläufe und Schulung der Teams zu beschleunigen. Damit lässt sich vor dem Bau des HDCs der gesamte Arbeitsablauf in den betreffenden Räumlichkeiten verfolgen.
Ferner bot die 3D-Visualisierung Einblicke in die zur Erstellung des ereignisdiskreten Simulationsmodells erforderlichen Parameter und deren Optimierung.
Für die ereignisdiskrete Simulation waren mehrere Voraussetzungen notwendig:
- In der AnyLogic-Plattform ist das HDC ein Objekt mit mehreren Parametern und der Durchsatz einer Vielzahl von HDC-Typen kann vorhergesagt werden.
- Der zu modellierende Eingang der Racks umfasst mehrere Schritte, die auf verschiedene Teams verteilt sind (Wareneingang und Positionierung – Team 1, Stromzufuhr – Team 2, Verkabelung – Team 3, automatisierte Bereitstellung).
- Der Simulationszeitraum beträgt eine Woche und der Durchsatz wird als Prozentsatz des Gesamtwertes gemessen.
- Die Ressourcen sind für jedes Team konfigurierbar mit einer vorgegebenen Auslastung von 60 bis 80 %.
- Der Schichtbeginn ist um 8 Uhr morgens, Überstunden sind möglich.
- Zu den Aufgaben von Team 1 gehören das Entladen des Lastwagens, das Auspacken und die Erledigung von Verwaltungstätigkeiten, Rackbereitstellung, Datenhallengänge, Aufzugkapazitäten, erster oder zweiter Stock (50/50-Chance).
- Normalverteilung für Team 2 und Team 3.
- Die Bereitstellung erfolgt in zwei Schritten – Switch und Server, wobei beide auf 80 % gesetzt sind (d. h., sie müssen in 20 % der Fälle nachbearbeitet werden).
Eine der vielen großartigen Funktionen von AnyLogic ist, eine Benutzeroberfläche für das Modell entwickeln zu können, dann die Parameter zu verändern und sich die Ergebnisse anzusehen. Für das Empfangsmodell erstellte Meta eine Benutzeroberfläche, auf der der Anwender die Parameter für jedes Team ändern konnte, z. B. die Anzahl der Mitarbeiter, zusätzliche Überstunden, die Abladezeit u. v. m.
Ergebnisse
Diskrete Ereignissimulation
Meta verwendete eine diskrete Ereignissimulation und führte das Modell mit regulären Parametern aus. Der angestrebte Durchsatz lag bei 100 %, erreicht wurden jedoch nur 40 % mit einer durchschnittlichen Dauer von 3,7 Tagen. Dabei wurden Engpässe bei der Verkabelung und Positionierung innerhalb des Regalprozesses festgestellt.
Optimierungsversuch
Um diese Probleme zu lösen, war es also notwendig, die optimalen Parameterwerte zu ermitteln. Dies geschah mithilfe eines Optimierungsexperiments mit dem Ziel der Durchsatzmaximierung.
Die Optimierungsergebnisse sind in der untenstehenden Tabelle aufgeführt. Anhand dieser Ergebnisse wurde das Modell erneut ausgeführt und konnte einen Durchsatz von 92 % bei einer durchschnittlichen Dauer von 2,2 Tagen erreichen – eine Reduzierung um 1,5 Tage gegenüber dem ursprünglichen Modell. Infolgedessen konnten nun mehr Racks pro Woche angenommen und bereitgestellt werden.
Zudem traten keine Engpässe auf und der einzige Grund, dass der Wert von 100 % nicht erreicht wurde, war, dass die Zeit auf eine Woche festgelegt wurde und die Bereitstellung (automatisierter Prozess) nicht innerhalb dieser Zeitspanne abgeschlossen werden konnte.
Allerdings reicht ein einzelnes optimiertes Modell nicht aus, um die gesamte Realität abzubilden, denn es fehlt das Element der Unsicherheit.
Monte-Carlo-Experiment
Meta verstand dies und entschied sich für ein Monte-Carlo-Experiment. Dabei handelt es sich um eine stochastische Methode, bei der eine Zufallsstichprobe an Eingaben verwendet wird, um Modell-Antworten zu ermitteln.
Durch mehrmaliges Ausführen des Monte-Carlo-Experiments erhält man dann eine Verteilung der Ergebnisse, und statt nur eines Szenarios erhält man mehrere Szenarien.
Meta ließ das Modell 10.000-mal laufen; die Ergebnisse sind in der Abbildung unten zu sehen. Die x-Achse gibt den Durchsatz und die y-Achse die Wahrscheinlichkeit für diesen Durchsatz an. Das Diagramm zeigt, dass der Durchsatz in 40 % der Fälle bei 90 % liegen wird. Daneben werden auch andere Optionen angezeigt, etwa eine 20%ige Chance, dass der Durchsatz 30 % beträgt. Diese Ergebnisse zeigen, dass ein Durchsatz von 90 % zwar nicht garantiert ist, aber es ist das wahrscheinlichste Ergebnis des Modells.
Nächste Schritte
- Einbindung von Reckumverteilungs- und Erneuerungsprozessen in das Modell.
- Weitere Details zu den Schritten Energieversorgung, Verkabelung und Bereitstellung hinzufügen.
- Sensitivitätsanalyse für das Modell erstellen, um die bestmöglichen Parameterwerte zu ermitteln.
Sobald das Modell um diese Schritte ergänzt wurde, kann das Team im letzten Schritt die Simulationsdauer auf ein Jahr erhöhen und die Ergebnisse analysieren.
Die Fallstudie wurde von Peter Lopez, Mohammad Shariatmadari, Marcin Starzyk und Lakhwinder Singh von Meta auf der AnyLogic Conference 2022 vorgestellt.
Die Präsentation ist als PDF verfügbar.
