HEGEMON OTTO: Nachvollziehbare GeoKI für valide Lagebilder mit hoher Sicherheitsrelevanz

Holistische Evaluation Generativer Foundation Models im Sicherheitskontext (HEGEMON) – Cyberaganetur

Sicherheitsrelevante Entscheidungen brauchen verlässliche KI

© KI generiert / Bearbeitung Fraunhofer IIS
Vier KI-Anwendungen für Geodaten: automatische Dossier-Erstellung, Vektorextraktion aus Orthofotos, kartografische Generalisierung und ein Karten-Chatbot zur Analyse topografischer Informationen.

Sicherheits- oder Verteidigungsbehörden auf Landes- und Bundesebene mit Lage- und Geodatenverantwortung müssen im Ernstfall Informationen schnell einordnen – und trotzdem verlässlich nachvollziehen können, worauf Entscheidungen beruhen. KI-Systeme auf Basis von Large Language Models (LLMs) und Visual Language Models (VLMs) liefern effizient Ergebnisse, etwa für Lagebilder aus der Analyse von Geoinformationen. Doch was ist Fakt? Wie korrekt sind abgeleitete Karten und Informationen? Und wie kommt die KI zu ihrem Ergebnis?

Im Rahmen des Forschungsprogramms HEGEMONHolistische Evaluation GEnerativer Foundation Models im SicherheitskONtext«) der Cyberagentur – Agentur für Innovation in der Cybersicherheit GmbH wird im Projekt OTTO diesen Fragen nachgegangen und dafür ein Demonstrator und ein ganzheitliches Benchmark-Framework als Bewertungsrahmen mit mehreren Messgrößen entwickelt. Damit können Verantwortliche im Sicherheitsumfeld zukünftig fundiert entscheiden, wie und wofür LLMs und VLMs im Geoinformationswesen sicher einsetzbar sind – und bei welchen Aufgaben KI (noch) nicht unterstützen sollte. Im Laufe des Jahres 2026 soll ein integrierter Demonstrator bereitstehen.  

Drei Anwendungsfälle aus dem Alltag von Sicherheitsbehörden

OTTO verbindet drei typische Informationsbedarfe im Sicherheitsumfeld, die heute oft getrennt bearbeitet werden: Textzusammenstellung, Bildauswertung und Kartenanalyse. Der Demonstrator erzeugt Text- Dossiers, vektorisiert Orthophotos und Bebauungspläne und ermöglicht natürlichsprachliche Dialoge und Abfragen – Schritt für Schritt, mit Rückfragen, wie in einer Lagebesprechung:

  1. Faktengetreue textbasierte Kontext- und Länderdossiers für Lagebilder
    Der Demonstrator generiert faktengetreue Länder- bzw. Kontextdossiers und beantwortet Fragen auf Basis kuratierter, verlässlicher Quellen.
    Beispiel: »Welche Kernfakten sind für ein Lagebriefing relevant – und woher stammen sie?«
  2. Vektorisierung aus Orthophotos und Bebauungsplänen
    Aus Orthophotos erzeugt das System semantische Segmentierungen und topologisch korrekte Vektordaten, z. B. für Gebäude- und Straßenstrukturen. Zusätzlich werden Bebauungspläne inklusive Legenden automatisiert analysiert und vektorisiert.
    Beispiel: »Welche Objekte, Strukturen und Planinhalte sind vorhanden?«
  3. Dialogfähiger Karten-Chatbot für komplexe Kartenfragen
    Ein Chatbot interagiert mit Karten, Fernerkundungsdaten und Höhendaten sowie einem Wissensgraphen (inkl. OSM). So lassen sich multimodal Auswertungen und Informationen in natürlichsprachlichen Dialogen erschließen.
    Beispiel: »Welche Informationen liegen zu einem Kartenbereich vor – und welche Rückfragen sind nötig, um die Aussage zu präzisieren?«

KI-Einsatz im Sicherheitskontext: Bewertung auf Basis umfassender Benchmarks

Für alle drei Use Cases entstehen Benchmarks, die den Einsatz im Sicherheitskontext messbar machen – nicht nur nach »Genauigkeit«, sondern auch nach Kriterien, die im Prozess entscheidend sind: Faktentreue und Nachvollziehbarkeit, Bias und Robustheit, Sicherheitseigenschaften wie Prompt-Injection-Resistenz, Ressourcenverbrauch sowie Dialogqualität in Multi-Turn-Interaktionen. So wird sichtbar, welches Modell in welcher Aufgabe zuverlässig unterstützt – und wo Grenzen liegen.

 

Unsere Kompetenzen, die OTTO möglich machen

Wir machen aus Bildern Informationen und verknüpfen heterogene Datenquellen so, dass Entscheidungen transparent nachvollzogen werden können. Dazu entwickeln wir multimodale Agenten- und Assistenzsysteme, die Geodaten strukturiert zusammenführen.

  • GeoKI & multimodale Modelle (LLM/VLM) für Text-, Bild- und Kartenaufgaben
  • Datenfusion & Wissensgraphen zur transparenten Verknüpfung von Quellen und Geodaten
  • Agentenassistenzsysteme für mehrstufige Analyse- und Dialogprozesse
  • Evaluationspipelines & Dashboards für reproduzierbare Bewertungen


Ziel: Integrierter Demonstrator für Text-, Bild- und Kartenanalyse inkl. Dialogsystem

Im Laufe des Jahres soll ein integrierter OTTO-Demonstrator vorliegen, der alle drei Use Cases zusammenführt. Ergänzend entsteht ein holistisches Benchmark-Framework inklusive Datensätzen, Metriken, Evaluationspipelines und Dashboards, um LLM/VLM-Verfahren im Geoinfo-Sicherheitskontext systematisch vergleichbar zu machen.

FAQ – Ihre Fragen, unsere Antworten

Das könnte Sie auch interessieren

 

Forschungsschwerpunkt

Nahtloser Datenaustausch in Wertschöpfungssystemen

Wir vereinfachen die Dateninteroperabilität zwischen Unternehmen, ohne dass Datensouveränität aufgegeben werden muss. Mit Wissensgraphen und dezentralen Datenräumen ermöglichen wir ganzheitliche Lösungen für vernetzte Industriesysteme und das interoperable Netzwerk von Morgen!

 

Forschungsschwerpunkt

Datenzentrierte Raum- und Risikoforschung

Wir verwenden AI zur Analyse von geografischen Bilddaten und natürlich-sprachlichen Texten für mehr zivile Sicherheit, widerstandsfähigere Supply Chains und nachhaltigere Standortentscheidungen: Für mehr Transparenz und Sicherheit bei der Entscheidungsfindung.

 

Flächendeckende Identifikation von Brachflächen mit KI

Mit dem Projekt ARGOS soll eine bundesweit flächendeckende, KI-gestützte Extraktion von Brachflächen aus Geodaten, Luft- und Satellitenbildern realisiert werden. Ziel ist, daraus eine Online-Informationsplattform zum Thema Brownfields zu entwickeln, die eine aktuelle Übersicht zu potenziellen Standortoptionen für gewerbliche Immobilienprojekte ermöglicht.

 

Projekt

Schnelle Lageerfassung und Schadensanalyse im Katastrophenfall

Im Projekt NoKObiLK entwickeln wir ein KI-gestütztes System, das durch automatische Analyse von Drohnenbildern und anderen Datenquellen Gebäude- und Infrastrukturschäden in Echtzeit erkennt und visualisiert. So ensteht ein verständliches Lagebild – für schnelle, fundierte Entscheidungen zur effektiveren Bewältigung von Großschadenslagen.

Leistung

Effiziente Identifikation von Potenzialflächen mit GeoAI

Entdecken Sie mit GeoAI die Zukunft der Flächenanalyse in der Gewerbeimmobilienwirtschaft! Unsere innovative Web-Plattform bietet Ihnen flächendeckende Übersicht und einfache Sortier- und Filtermöglichkeiten für verschiedene Flächenkategorien. Mit automatisierter Bildklassifizierung und multimodaler Wissensgenerierung erhalten Sie schnell und effizient die entscheidenden Informationen zur Identifikation relevanter Potenzialflächen. Profitieren Sie von unserem einzigartigen Ansatz zur georeferenzierten Entscheidungsfindung und optimieren Sie Ihre Prozesse. Kontaktieren Sie uns jetzt und verwandeln Sie Herausforderungen in Chancen!

Leistung

Talk to your Data mit »Graf von Data«

»Graf von Data« bietet eine intuitive Plug-and-Play-Lösung, die natürliche Sprachabfragen ermöglicht – ohne technische Vorkenntnisse. Kombinieren Sie Large Language Models mit Wissensgraphen für transparente, effiziente und souveräne Datenanalysen. Lassen Sie uns gemeinsam Ihre individuellen Anforderungen umsetzen und die Potenziale Ihrer Daten ausschöpfen!

 

Der Markt für Einsatzunterstützungssysteme

Die Studie bietet einen Überblick über Software für die nicht-polizeiliche Gefahrenabwehr, identifiziert Digitalisierungsbedarfe und -hindernisse und soll den IT-Markt für Einsatzunterstützungssysteme transparenter machen. Sie richtet sich an Beschaffende bei Feuerwehren und Rettungsdiensten und bittet um Feedback zur Verbesserung der Marktübersicht.