Herausforderungen:
Element AI verwandelt modernste KI-Forschung und Branchenexpertise in Softwareanwendungen, die exponentiell lernen und sich verbessern. Das Unternehmen untersuchte mögliche Wege, KI mit Simulation zu kombinieren, und identifizierte drei Herausforderungen, die mit AnyLogic beantwortet werden können:
- Kann Simulation helfen, brauchbare Datensätze zu generieren, um ein KI-Modell vorab zu trainieren?
- Kann KI helfen, das Agentenverhalten in der Simulation zu verbessern?
- Können Methoden des Reinforcement Learning auf konkrete Fälle in der Industrie angewandt werden?
Für jene, die mit den jüngsten Entwicklungen im Bereich Machine Learning nicht vertraut sind, ist es wichtig zu betonen, dass Deep Learning in der Regel sehr große Datensätze erfordert, um Modelle erfolgreich zu trainieren. Statt umfangreiche regelbasierte Systeme zu entwickeln, lernen neuronale Netze (eine spezielle Art von Modellen, die in der KI verwendet werden) aus riesigen Datenmengen, indem sie Entscheidungen treffen, die mit möglichst vielen Datenpunkten in Einklang stehen. Die Daten können jedoch mit mehreren Problemen behaftet sein:
- unzureichend oder nicht vorhanden,
- ungenau/fehlerhaft,
- vertraulich/privat und erfordern daher eine Anonymisierung,
- die Zugriffszeiten (für den Client-Einsatz) sind zu lang,
- müssen bereinigt werden,
- müssen für das KI-Modell bearbeitet werden.
Deshalb muss ein KI-Team, wenn es mit Kunden zusammenarbeitet oder seine Kernkompetenzen aufbauen will, die Datenanforderungen zu Beginn eines Projektes ermitteln: entweder durch eine Daten-Audit-Phase oder durch eine Phase der Datenerfassung und -kennzeichnung. Dieser Schritt dauert oft lange und kann recht kostspielig sein. Für Element AI war dies deshalb die primäre Herausforderung, welche mittels Simulation angegangen wurde.
Darüber hinaus untersuchte Element AI, wie die Simulation dabei helfen kann, bessere Entscheidungen zu treffen, und entdeckte mehrere interessante Anwendungen:
- KI kann als eine Art Gehirn für den Simulations-Agenten fungieren, sodass diese ihre Funktion auf der Grundlage besserer Einblicke erfüllen kann;
- Simulation kann als Testfeld dienen, um KI-Modelle zu vergleichen;
- die Simulation ermöglicht eine visuelle Veranschaulichung des Mehrwertes einer KI-Lösung;
- Durch Simulationen kann die KI auf irreguläre Betriebssituationen vorbereitet werden, mit wesentlich geringeren Kosten;
- Simulation kann von Fach- und Technologieexperten eingesetzt werden, um das gemeinsame Problemverständnis zu erreichen und Projektrisiken frühzeitig zu reduzieren;
- Simulation kann mit KI in einer Digital-Twin-Umgebung kombiniert werden.
Aufgrund der beiden erstgenannten Punkte entschied sich Element AI, die industrielle Erprobung von Reinforcement Learning-Techniken auf einen späteren Zeitpunkt zu verschieben und im Rahmen einer anderen Fallstudie durch zuführen.
Lösung:

Um die identifizierten Herausforderungen anzugehen, wählte Element AI einen industriellen Anwendungsfall aus, der von der Verwendung der oben hervorgehobenen Simulationsideen profitieren würde. Dabei konzentrierte sich das Unternehmen auf die Nachbildung eines Lebensmittelgeschäfts: Insbesondere wurde der Schwerpunkt auf die Vorhersage der Produktnachfrage sowie auf die Aufgabenpriorisierung der Mitarbeiter bei der Regalauffüllung („Replenishment“) gelegt.
Die erste Zielsetzung bestand darin, minutengenaue Daten über die Produktnachfrage in einem 5-Jahres-Zeitraum mit signifikanter Variabilität, Rauschen und unregelmäßigen Ereignissen zu generieren. Entscheidend war, genügend Daten für den Zeitreihenprognose-(KI)-Algorithmus zu generieren, um daraus auf einem Komplexitätsniveau zu lernen, das die Verwendung der KI gegenüber traditionellen regelbasierten Gleichungen rechtfertigt.
Bei diesem Ansatz besteht das bekannte Risiko, dass ein KI-Modell zu den simulierten Daten overfittet, d. h. überangepasst, wird und damit nicht verallgemeinert werden kann, wenn neue Parameter eingefügt oder mit realen Daten verglichen werden. Dies wird im Allgemeinen durch Domänen-Randomisierung überwunden oder minimiert.
Das zweite Ziel bestand darin, die KI zur Priorisierung der Mitarbeiteraufgaben in der Simulation zu nutzen. D. h., die virtuellen Mitarbeiter (Agenten), die für die Aufgaben der Regalauffüllung im Lebensmittelgeschäft verantwortlich sind, darin zu unterstützen, welche Produkte sie priorisieren sollten, um kostspielige Out-of-Stock-Ereignisse zu vermeiden bzw. zu minimieren.
Das Simulationsmodell für Lebensmittelgeschäfte umfasste drei grundlegende Agententypen mit jeweils einem Parametersatz mit zufälligen Startwerten, um den gewünschten Komplexitätsgrad zu gewährleisten.
1. Kunden, die als Fußgänger-Agenten modelliert wurden, mit verschiedenen:
- Gehgeschwindigkeiten
- Produkt-Einkaufslisten
- Ankunftsraten (pro Stunde, Wochentag, Monat des Jahres, Jahr zu Jahr, keine an nationalen Feiertagen)
- Toleranzen für Kaufabbrüche
2. Produktkategorien mit verschiedenen:
- Nachfrageverteilungen
- Verfügbarkeiten
- Schwellenwerte für die Wiederauffüllung der Bestände
- Regalkapazitäten
- Wiederauffüllzeiträme
- Preise & Margen
- Physische Platz im Geschäft
- wöchentliche Angebote/Rabattaktionen
3. Mitarbeiter mit verschiedenen:
- Rollen
- Schichtpläne
- Aufgabenprioritäten
Schließlich arbeitete Element AI eng mit dem AnyLogic-Supportteam zusammen, um einen Weg zu finden, KI-Modelle außerhalb von AnyLogic, aber dennoch synchron zur Simulation auszuführen.
Die entwickelte Lösung umfasste vier einfache Schritte:
- Ausführung der Simulation für einige Minuten/Stunden
- Pausieren der Simulation, um die Lagerbestände der einzelnen Produkte in eine Textdatei auszugeben
- Setzen eines Flags für das externe KI-Modul auf:
- Verarbeiten der Informationen
- Rückgabe einer Liste von priorisierten Produkten zur Wiederauffüllung des Lagerbestands (Aufgaben) in einer Textdatei
- Fortsetzung der Simulation mit den Mitarbeitern, die auf der Grundlage der neuen Prioritäten arbeiten
Der Hauptnutzen dieses Ansatzes besteht darin, dass er hinsichtlich des Komplexitätsgrades der KI sowie der Programmiersprache (in diesem Fall Python) unabhängig ist, jedoch zu dem Preis, dass die Simulation in regelmäßigen Abständen kurz unterbrochen werden muss.
Ergebnis:
Die aus der Simulation generierten 5-Jahres-Daten ermöglichten den Forschern bei Element AI, Zeitreihen-Prognosemodelle für die minütliche Produktnachfrage zu trainieren. Dies geschah mithilfe eines Daten-Splittings, wobei die ersten 4 Jahre für das Trainieren der KI und das fünfte Jahr für die Überprüfung der Vorhersagegenauigkeit herangezogen wurden.
Die Baseline für die stündliche Produktnachfrage-Prognose wurde als Lag-0 festgelegt, die voraussagt, dass sich die vorausgehende Stunde wiederholen wird. Die Genauigkeit anderer Zeitreihenmodelle wurde dann anhand dieser Baseline bewertet.

Zeitreihen-Modellvergleich für stündliche Produktnachfrageprognosen. Baseline Lag-0
Die in dieser Tabelle aufgeführten Ergebnisse veranschaulichen, dass ein Filialleiter, der versucht, vorherzusagen, was in der nächsten Stunde verkauft wird, zu 61 % richtig läge, würde er die letzte Stunde als Referenz verwenden. Der gleiche Ladenbesitzer kann eine Genauigkeit von bis zu 80 % erreichen, wenn er/sie ein KI-Nachfrageprognose-Tool einsetzt.
Diese Schlussfolgerung ist jedoch mit einer Einschränkung verbunden. Zwar wurden in dem Simulationsmodell mehrere Variabilitäts- und Komplexitäts-Quellen berücksichtigt, jedoch fehlte es den generierten Daten noch an genügend Realitätsnähe.
So gab es z. B. keine außergewöhnlichen Zwischenfälle, welche eine zeitweise Ladenschließung erzwungen hätten, es gab keine Mitarbeiter, die nicht zur Arbeit erschienen, es waren immer genug Waren im Lager vorhanden, um die Regale aufzufüllen, und zu guter Letzt wurde das Problem der Nachfrageprognose vereinfacht, indem Produktneueinführungen vermieden wurden.
Hier wären Techniken der Domänen-Randomisierung und jüngste Fortschritte beim Sim-to-Real oder Transfer Learning von Vorteil.
Zwar kann die KI keine Ergebnisse garantieren. Ist sie aber einmal realen Daten ausgesetzt, kann die mit diesem Simulationsansatz geschulte KI Forschern helfen, ungeeignete Prognosemodelle auszuschließen und zu bewerten, ob ein Anwendungsfall von zusätzlichen Messungen oder Datenquellen profitieren würde.
Wie im zweiten Ziel identifiziert, ermöglicht das Simulationsmodell Element AI, die Auswirkungen verschiedener KI-Strategien für die Aufgabenpriorisierung zu vergleichen (auf Basis eines Satzes von Metriken pro definiertem Zeitraum wie Tag, Woche, Monat, Jahr):

Beispielergebnisse für die täglichen Gewinne des Geschäfts
- Gesamtumsatz
- Gesamtgewinn
- Gesamtwartezeit der Kunden
- Summe Out-of-Stock Ereignisse
- Gesamtumsatzverlust durch Out-of-Stock Ereignisse
- Summe Kaufabbrüche & Artikel
Die Puffer-Strategie bedeutet, dass Produkte in der Reihenfolge des Verbrauchs wieder aufgefüllt werden. Die anderen Strategien werden dann mit dieser Baseline verglichen, um die optimale Strategie für die Gewinne zu evaluieren. Sie können aber auch zur Optimierung für andere KPIs, wie z. B. die Zeitausnutzung der Mitarbeiter verwendet werden. Wie sich herausstellte, hat die Aufgabenpriorisierung unter den definierten Parametern weit weniger Einfluss als die Fähigkeit, die Nachfrage zu prognostizieren. Jedoch könnten unterschiedliche Parameter oder Datensätze zu einer abweichenden Schlussfolgerung führen.
Schließlich wurde die Simulation zur Datengenerierung, zur Verbesserung der Prognosefähigkeit der KI sowie als Testumgebung für verschiedene KI-Agentenstrategien verwendet. Einmal in einem Einzelhandelsgeschäft implementiert, könnte diese Lösung Filialleiter helfen, zu verstehen, wie viele Produkte pro Stunde voraussichtlich verkauft werden und worauf sich die Mitarbeiter bei der Regalbefüllung konzentrieren sollten.
Durch dieses Projekt erhielt Element AI die Möglichkeit, sich mit diskreten ereignis- und agentenbasierten Simulationen vertraut zu machen, Kunden auf neue Weisen einzubeziehen und Daten für interne Teams zu generieren. Vor allem aber bot der Simulationseinsatz für Element AI eine Grundlage, die bei komplexeren zukünftigen Projekten nützlich ist, wenn Reinforcement Learning, Sim-to-Real, Transfer Learning und Digital Twinning eingesetzt werden soll.