World Models: Wie KI lernt, die physische Welt zu verstehen
Künstliche Intelligenz kann Objekte erkennen, Sprache verarbeiten und komplexe Muster in großen Datenmengen finden. Für Maschinen, die sich in der physischen Welt bewegen und dort selbstständig handeln sollen, reicht reine Mustererkennung jedoch nicht aus. Ein Roboter muss nicht nur feststellen, dass vor ihm eine Kiste steht. Er sollte auch abschätzen können, wie sie sich bewegt, ob sie kippen könnte und welche Folgen ein Schieben oder Anheben hätte.
An diesem Punkt kommen sogenannte World Models ins Spiel. Sie sollen KI-Systemen eine interne Vorstellung ihrer Umgebung vermitteln. Auf dieser Grundlage können Maschinen mögliche Entwicklungen vorhersagen, Handlungen gedanklich erproben und Entscheidungen treffen, bevor sie in der realen Welt aktiv werden.
Was ist ein World Model?
Ein World Model ist ein erlerntes Modell der Umgebung und ihrer Dynamik. Es verarbeitet Beobachtungen wie Kamerabilder, Messwerte oder Zustandsdaten und versucht vorherzusagen, wie sich die beobachtete Situation weiterentwickelt.
Dabei kann das Modell beispielsweise lernen:
welche Objekte vorhanden sind,
wo sich diese Objekte befinden,
wie sie sich bewegen,
wie sie miteinander interagieren,
welche Folgen eine bestimmte Handlung wahrscheinlich hat.
Der Begriff bezeichnet keine einzelne, fest definierte KI-Architektur. World Models können sehr unterschiedlich aufgebaut sein. Einige prognostizieren zukünftige Bilder oder Videosequenzen. Andere arbeiten mit komprimierten internen Repräsentationen und sagen nicht jedes sichtbare Detail voraus, sondern nur die Informationen, die für eine Aufgabe relevant sind.
Bekannt wurde das Konzept unter anderem durch die 2018 veröffentlichte Arbeit „World Models“ von David Ha und Jürgen Schmidhuber. Darin wurde gezeigt, dass ein KI-Agent ein komprimiertes Modell einer virtuellen Umgebung lernen und anschließend innerhalb dieser intern erzeugten Umgebung trainiert werden kann.
Eine Art innere Simulation
Menschen denken häufig in möglichen Abläufen. Wer eine volle Tasse vom Tisch hebt, schätzt unbewusst deren Position, Gewicht, Stabilität und Bewegungsrichtung ein. Viele dieser Überlegungen laufen ab, bevor die Hand die Tasse berührt.
Ein World Model verfolgt ein ähnliches Prinzip. Es ermöglicht einem KI-System, mögliche Zukünfte intern zu simulieren:
Was passiert, wenn der Roboter nach links fährt?
Kann er das Objekt an dieser Stelle sicher greifen?
Wird ein anderer Verkehrsteilnehmer seine Fahrbahn kreuzen?
Führt diese Bewegungsfolge zum gewünschten Ziel?
Statt jede Möglichkeit in der Realität auszuprobieren, kann das System verschiedene Handlungsoptionen innerhalb seines Modells bewerten. Das reduziert reale Fehlversuche und ist besonders dort relevant, wo Experimente teuer, langsam oder gefährlich wären.
Wie funktionieren World Models?
Ein typisches World Model verbindet mehrere Verarbeitungsschritte.
1. Wahrnehmung
Zunächst erfasst das System Informationen über seine Umgebung. Diese Daten können von Kameras, LiDAR-, Radar-, Ultraschall-, Kraft-, Positions- oder Inertialsensoren stammen.
2. Interne Repräsentation
Die Rohdaten werden in eine kompaktere Darstellung überführt. Diese Repräsentation kann unter anderem Objekte, räumliche Beziehungen, Bewegungen und relevante Zustände enthalten.
Ein Modell muss dabei nicht jedes Pixel speichern. Für einen mobilen Roboter kann es wichtiger sein zu wissen, dass ein Hindernis den Fahrweg blockiert, als dessen Farbe oder Oberflächenstruktur exakt abzubilden.
3. Dynamikmodell
Anschließend lernt das System, wie sich Zustände über die Zeit verändern. Es erkennt beispielsweise, dass ein rollender Gegenstand seine Position verändert, dass eine geöffnete Tür einen neuen Weg freigibt oder dass eine Roboterbewegung die Lage eines gegriffenen Objekts beeinflusst.
4. Aktionsvorhersage
Ein handlungsfähiges World Model berücksichtigt zusätzlich die Aktionen des Systems. Es schätzt nicht nur, was als Nächstes passiert, sondern auch, wie unterschiedliche Handlungen die weitere Entwicklung verändern.
5. Planung
Auf Basis dieser Vorhersagen kann ein übergeordnetes System mehrere Handlungsfolgen vergleichen und eine geeignete Strategie auswählen.
Warum Sensorik eine zentrale Rolle spielt
Ein World Model kann nur mit den Informationen arbeiten, die es erhält. Sensoren bilden deshalb die Verbindung zwischen der physischen Umgebung und der internen Repräsentation der KI.
Kameras liefern visuelle Merkmale, LiDAR erzeugt räumliche Punktwolken, Radar erkennt Entfernungen und Relativgeschwindigkeiten, während Kraft- und Drehmomentsensoren Informationen über physische Kontakte erfassen. Inertialsensoren messen Beschleunigung und Orientierung. Mikrofone, Temperaturfühler oder Drucksensoren können je nach Anwendung weitere Zustände erschließen.
Die eigentliche Herausforderung besteht häufig nicht im einzelnen Sensor, sondern in der Sensorfusion. Messungen können unvollständig, verzögert oder widersprüchlich sein. Ein robustes World Model muss daraus dennoch eine möglichst konsistente Vorstellung der Situation ableiten.
Bewegt sich beispielsweise ein Fußgänger kurzzeitig hinter einem Fahrzeug, verschwindet er aus dem Kamerabild. Ein gutes Modell sollte daraus nicht schließen, dass die Person nicht mehr existiert. Es muss verdeckte Objekte über einen gewissen Zeitraum intern weiterführen und deren mögliche Bewegung berücksichtigen.
World Models als Grundlage für Physical AI
Physical AI beschreibt KI-Systeme, die nicht ausschließlich digitale Informationen verarbeiten, sondern in der realen Welt wahrnehmen, entscheiden und handeln. Dazu gehören unter anderem:
Industrieroboter,
autonome Fahrzeuge,
mobile Logistikroboter,
Drohnen,
humanoide Roboter,
intelligente Produktionsanlagen,
Assistenz- und Serviceroboter.
Solche Systeme müssen räumliche, zeitliche und physikalische Zusammenhänge erfassen. Ein Roboter benötigt nicht nur die Information, dass ein Gegenstand vorhanden ist. Er muss beurteilen, wie er gegriffen werden kann, welche Kräfte wirken und ob seine Bewegung andere Objekte oder Menschen gefährdet.
Aktuelle Robotikmodelle verbinden dafür visuelle Wahrnehmung, Sprache, räumliches Schlussfolgern und Aktionsplanung. Google DeepMind beschreibt etwa bei seinen Gemini-Robotics-Systemen Fähigkeiten wie räumliches Verständnis, Zustandsschätzung, Planung und die Ableitung geeigneter Roboterhandlungen.
Nicht jedes dieser Systeme ist automatisch ein vollständiges World Model. Die Entwicklung zeigt jedoch, wie stark sich Robotik von reaktiver Objekterkennung hin zu vorausschauendem, kontextbezogenem Handeln bewegt.
Mögliche Anwendungen
Robotik und Greifaufgaben
Ein Manipulationsroboter kann unterschiedliche Greifpositionen simulieren und abschätzen, ob ein Objekt verrutscht, kollidiert oder beschädigt wird. Das ist besonders bei unbekannten oder unterschiedlich geformten Gegenständen hilfreich.
Autonomes Fahren
Autonome Fahrzeuge müssen nicht nur den aktuellen Verkehr erfassen, sondern die möglichen Bewegungen anderer Verkehrsteilnehmer vorhersagen. Ein World Model kann verschiedene Szenarien bewerten und sichere Fahrmanöver vorbereiten.
Produktion und Intralogistik
Mobile Roboter können Bewegungen von Menschen, Fahrzeugen und Waren berücksichtigen. Produktionssysteme könnten bevorstehende Zustandsänderungen erkennen und Abläufe dynamisch anpassen.
Drohnen
Eine Drohne kann Flugbahnen planen, Hindernisse berücksichtigen und mögliche Veränderungen durch Wind oder bewegliche Objekte einbeziehen.
Training in virtuellen Umgebungen
World Models können als lernbare Simulatoren dienen. Ein Agent trainiert dann nicht ausschließlich in einer klassischen, von Hand programmierten Simulation, sondern in einer Umgebung, deren Dynamik aus Daten gelernt wurde.
Generative World Models erweitern diesen Ansatz. Das Forschungsmodell Genie zeigte beispielsweise, wie aus Videos interaktive, steuerbare virtuelle Umgebungen gelernt werden können.
World Models und generative Video-KI
Die Fortschritte bei generativer Video-KI haben den Begriff World Model stärker in den öffentlichen Fokus gerückt. Ein Videomodell muss lernen, wie sich Szenen zeitlich entwickeln und wie Objekte ihre Form, Position und Sichtbarkeit verändern.
Ein glaubwürdig erzeugtes Video ist jedoch noch kein Beweis für ein belastbares Verständnis der physischen Welt. Ein Modell kann visuell überzeugende Sequenzen generieren und trotzdem grundlegende Fehler bei Kausalität, Objektbeständigkeit oder Physik machen.
Für ein handlungsfähiges World Model reicht es daher nicht, dass eine Simulation realistisch aussieht. Sie muss auch auf Aktionen kontrolliert reagieren, zeitlich konsistent bleiben und für die jeweilige Aufgabe relevante Folgen zuverlässig abbilden.
Neuere Systeme wie Genie 3 werden als allgemeine World Models beschrieben, die interaktive Umgebungen in Echtzeit erzeugen und deren Entwicklung abhängig von Nutzereingaben simulieren können.
Welche Rolle spielt Edge AI?
In vielen Anwendungen müssen Wahrnehmung, Vorhersage und Planung unmittelbar auf einer Maschine oder einem Fahrzeug erfolgen. Eine dauerhafte Übertragung sämtlicher Sensordaten in eine Cloud wäre häufig zu langsam, zu teuer oder aus Datenschutzgründen problematisch.
World Models auf Edge-Systemen könnten deshalb eine wichtige Rolle spielen. Sie ermöglichen schnelle lokale Entscheidungen und können auch bei eingeschränkter Verbindung weiterarbeiten.
Dem stehen erhebliche technische Anforderungen gegenüber. Die Modelle müssen mit begrenzter Rechenleistung, Energie und Speicherkapazität auskommen. Mögliche Ansätze sind:
kleinere spezialisierte Modelle,
komprimierte Zustandsrepräsentationen,
Hardwarebeschleuniger für KI-Berechnungen,
Aufteilung der Verarbeitung zwischen Edge und Cloud,
ereignisgesteuerte statt kontinuierliche Berechnung.
Für sicherheitskritische Systeme ist zudem entscheidend, dass die Vorhersagen innerhalb definierter Zeitgrenzen verfügbar sind.
Grenzen und offene Herausforderungen
World Models vermitteln keine perfekte Kopie der Realität. Sie beruhen auf Trainingsdaten, Modellannahmen und begrenzten Beobachtungen.
Zu den größten Herausforderungen gehören:
Unvollständige Sensordaten: Bereiche können verdeckt sein oder außerhalb der Sensorreichweite liegen.
Seltene Ereignisse: Ungewöhnliche Situationen sind in Trainingsdaten oft unterrepräsentiert.
Langfristige Vorhersagen: Kleine Fehler können sich über mehrere Simulationsschritte verstärken.
Unsicherheit: Ein Modell sollte nicht nur eine Vorhersage liefern, sondern auch erkennen, wenn mehrere Entwicklungen möglich sind.
Übertragbarkeit: Ein Modell, das in einer Umgebung zuverlässig arbeitet, kann in einer veränderten Situation scheitern.
Rechenaufwand: Hochauflösende räumliche und zeitliche Modelle benötigen erhebliche Ressourcen.
Sicherheit: Eine plausible Vorhersage ist nicht zwangsläufig eine sichere Vorhersage. Für reale Maschinen sind zusätzliche Überwachung, Begrenzungen und klassische Sicherheitsmechanismen erforderlich.
World Model oder Digital Twin?
World Models und digitale Zwillinge überschneiden sich, sind aber nicht identisch.
Ein Digital Twin bildet meist eine bestimmte Maschine, Anlage oder einen Prozess möglichst strukturiert ab. Häufig basiert er auf technischen Modellen, Konstruktionsdaten, Betriebsdaten und bekannten physikalischen Zusammenhängen.
Ein World Model wird typischerweise stärker aus Beobachtungen gelernt. Es soll die Dynamik einer Umgebung erfassen und mögliche zukünftige Zustände oder Handlungsfolgen vorhersagen.
In industriellen Anwendungen können sich beide Konzepte ergänzen. Ein Digital Twin liefert präzises Domänenwissen, während ein lernendes World Model unbekannte oder schwer modellierbare Zusammenhänge aus Sensordaten erschließt.
Der Schritt von reaktiver zu vorausschauender KI
World Models markieren einen wichtigen Wandel. Viele heutige KI-Systeme reagieren auf eine Eingabe und erzeugen unmittelbar eine Ausgabe. Maschinen in der realen Welt benötigen jedoch mehr: Sie müssen Zusammenhänge über die Zeit verfolgen, alternative Entwicklungen berücksichtigen und Handlungen planen.
Damit werden World Models zu einem wesentlichen Baustein für Physical AI, autonome Systeme und die nächste Generation intelligenter Robotik. Ihr Potenzial liegt nicht darin, die physische Welt vollständig zu kopieren. Entscheidend ist vielmehr, eine hinreichend gute interne Repräsentation zu schaffen, mit der eine Maschine sicherer, effizienter und vorausschauender handeln kann.
Kurz erklärt
Ein World Model ist ein erlerntes internes Modell einer Umgebung. Es hilft einer KI, aktuelle Zustände einzuordnen, zukünftige Entwicklungen vorherzusagen und die möglichen Folgen eigener Handlungen abzuschätzen.
