Automatisiertes Maschinelles Lernen (AutoML) für Anwendungen in der Industrie

© zapp2photo - stock.adobe.com

Wie gut sind automatisierte ML-Lösungen in der industriellen Praxis?

 

Ein großes Hindernis für die praktische Anwendung von Künstlicher Intelligenz (KI) im Allgemeinen und Maschinellem Lernen (ML) im Speziellen ist der extrem hohe Aufwand, die beste Methode zu identifizieren und schließlich optimal für die jeweilige Anwendung zu konfigurieren: In der Regel überprüfen ML-Experten auf Basis der vorliegenden Datengrundlage und der angedachten Aufgabe zuerst unterschiedlichste Methoden auf Passung, bevor sie daraus die beste für die aktuelle Fragestellung auswählen, den ML-Prozess entwerfen und aufsetzen. Oftmals müssen etliche verschiedene Methoden und Konfiguration getestet werden, bevor anhand der Ergebnisse eine Entscheidung getroffen werden kann. Das dauert lange und ist mit viel manuellem Aufwand verbunden.

 

Weniger Wartungsaufwand und Personalbedarf im ML-Prozess

 

Mit AutoML sollen nun Systeme entwickelt werden, mit denen die gesamten Prozesse, oder bei hoher Komplexität auch nur einzelne Schritte daraus, automatisiert ablaufen können. So können  beispielsweise Veränderungen in der Datengrundlage automatisch einfließen oder bei Abweichungen im Prozessumfeld die für den jeweiligen Zeitpunkt beste Methode automatisch neu ausgewählt werden. Dies schafft freie Zeit und Ressourcen, die Mitarbeiter sinnvolleren und wichtigeren Aufgaben widmen können, anstatt manuell Methoden und Konfigurationen zu testen.

 

Standard- versus Individuallösung – was ist besser?

 

Zwar existieren inzwischen einige kommerzielle AutoML Lösungen; ob diese Systeme aber wirklich eine Option für komplexe industrielle Anwendungen sind, ist aktuell nur schwer zu beurteilen. Diese Systeme, so wie auch jüngere wissenschaftliche Publikationen, sind meist auf Standard-Klassifikations- und Regressionsprobleme ausgerichtet und benötigen in der Regel qualitativ hochwertige und große Datenmengen. Solche Daten liegen in der Industrie aber nicht immer vor. Außerdem haben diese AutoML-Systeme in der Modellauswahl in der Regel keinen Zugriff auf spezifischere ML Methoden und Modelle – sie sind auf einen bestimmten, recht generischen ML-Methodenpool beschränkt. Oftmals erfordern aber genau industrielle Anwendungen, bei denen beispielweise spezielle Datentypen vorhanden sein können oder zu wenig Datenpunkte einer bestimmten Klasse vorliegen, spezielle ML-Methoden, um optimale Ergebnisse zu erzielen.

Gemeinsam mit der Siemens AG, unserem Kunden aus der industriellen Fertigung, untersuchten wir deshalb, ob sich AutoML-Systeme in der Industrie tatsächlich sinnvoll einsetzen lassen, ob Standardsysteme für die Industriebedarfe ausreichen, inwieweit spezifische Anpassungen existierender Systeme helfen können, und welche Anforderungen an ein speziell entwickeltes AutoML System gestellt werden müssen, damit sich der Einsatz lohnt.

 

© Fraunhofer IIS
Grobes Konzept des im Rahmen des Projektes erstellten AutoML Systems für industrielle Anwendungen – speziell Qualitätskontrolle. Verschiedene Abschnitte der Machine Learning Pipeline werden durch das AutoML System mit Hilfe modellbasierter Optimierung (hyperopt Algorithmus) konfiguriert: So können z.B. die kategorialen Variablen unterschiedlich kodiert (»Categorical Feature Encoding«) oder zusätzliche Datenpunkte generiert bzw. anschließend entfernt werden (»Up/Down-Sampling«). Außerdem werden verschiedene Machine Learning Modelle (z.B. Random Forest, xgboost) mit unterschiedlichen Konfigurationen der Hyperparameter untersucht (»Modelling«).

Vorgehen im Forschungsprojekt

Ziel des Projektes war die Frage zu beantworten, ob sich Auto ML Systeme für den Einsatz im industriellen Umfeld überhaupt eignen und wenn ja, ob es möglich ist, eine höhere Performance der Systeme zu erreichen, wenn sie auf spezielle Fragestellungen und Bereiche in den jeweiligen Industrie-Prozessen individuell angepasst werden.
 

1. Analyse Forschungsstand

Dafür galt es zunächst den aktuellen Forschungsstand im Bereich AutoML zu untersuchen: In der Forschung beschäftigen sich aktuelle Publikationen nur vereinzelt mit der Anwendbarkeit von AutoML im industriellen Kontext, weswegen eine ausführliche Analyse für das Projekt wichtig war.

 

2. Analyse der Grenzen und Voraussetzungen von Standardlösungen

Durch die Anwendung von bestehenden State-of-the-Art AutoML Systemen wie auto-sklearn und TPOT auf relevante Datensätze aus industriellem Kontext, konnte herausgefunden werden wo und warum diese Systeme an ihre Grenzen stoßen und welche technischen Voraussetzungen für den effizienten Einsatz im industriellen Umfeld gegeben sein müssen.

 

3. Entwicklung und Vergleich Standard- versus Individuallösungen

Im letzten Teil des Projektes ging es darum, einerseits die Limitierungen der existierenden AutoML Lösungen anzugehen und andererseits deren konkrete Potenziale zu definieren und auszunutzen. Dazu wurde ein prototypisches AutoML-System speziell für eine Problemstellung aus der Qualitätskontrolle entwickelt. Dieses wurde in einem zweiten Schritt mit aktuellen State of-the-Art Systemen für diesen Anwendungsfall verglichen. Durch den Vergleich beider Systeme sollte gezeigt werden, wo die Grenzen der Standardsysteme liegen und ob dagegen eigens entwickelte Systeme bessere Ergebnisse liefern können.

Review Paper zum Forschungsstand AutoML im industriellen Kontext

Die Basis der Forschungsarbeit, also die Analyse des aktuellen Forschungsstandes hinsichtlich AutoML, ist in einem Review Paper zusammengefasst, das dem Kunden zur Verfügung gestellt wurde. Darin wurden in direkter Abstimmung mit dem Kunden Schwerpunkte auf diejenigen Anwendungen gelegt, die im industriellen Kontext von besonderer Bedeutung sind, beispielsweise »Limitierungen von AutoML«, »Neural Architecture Search« oder »AutoML auf Sensordaten«.

 

Standard-AutoML-Lösungen im Praxistest

 

Darauf aufbauend konnten allein durch die Anwendung verschiedener State-of-the-Art AutoML-Lösungen sowohl quantitative als auch qualitative Erkenntnisse abgeleitet werden, wie beispielsweise die Definition von Schwachstellen, die Einflussgrößen für eine höhere Performance oder eine Bewertung hinsichtlich der Gesamtleistung der Standardsysteme.
Die Qualität der getesteten Standardsysteme war im Vergleich zu den gewählten manuellen Modellen zwar verbessert, aber weniger gut als erhofft. Außerdem offenbarte der Vergleich einige Probleme der standardmäßigen AutoML Frameworks beim Umgang mit großen Datenmengen, eigens definierten Qualitätsmaßen und unbalancierten Datensätzen.

 

Im Vergleich: zielgerichtete AutoML-Lösungen für die Industrie

 

Ein eigens für Qualitätskontrolle entwickeltes AutoML Framework konnte einige der Probleme der zuvor getesteten Standart-AutoML Lösungen beheben und zeigte vielversprechende Ergebnisse auf relevanten Datensätzen. Zudem erlaubt es die Integration von ausgewählten Machine Learning Methoden, wie z.B. Upsampling Methoden, die besonders in diesem Use Case (Qualitätskontrolle) interessant sein können.

 

Zukunftsthema: Auto ML für spezielle Anwendungsbereiche

 

In der Gesamtschau zeigte der Vergleich also, dass es Sinn machen kann, ein System für eine spezielle Anwendung (oder eine Gruppe von ähnlichen Anwendungen) zu entwickeln – gerade wenn spezielle ML-Methoden verbesserte Ergebnisse versprechen, von Anwendung zu Anwendung aber unklar ist, wie genau die ML Pipeline konfiguriert werden sollte. Aus diesem Grund ist zielgerichtetes AutoML für spezielle Anwendungsbereiche ein vielversprechendes Forschungsgebiet für die Zukunft.

 

Projektpartner

Unser Projektpartner, die Siemens AG, ist ein führendes Unternehmen im Bereich der industriellen Fertigung. Für das Projekt wurde eng mit dem Siemens Advanced Artificial Intelligence Team zusammengearbeitet.

Das könnte Sie auch interessieren

 

Kernkompetenz

Data Analytics Methoden

Um den Rohstoff »Daten« zu gewinnen, bieten wir als eine von drei ineinandergreifenden Kernkompetenzen an, neue Lösungen für Data Analytics und KI zu entwickeln. Lesen Sie hier mehr darüber, warum wir mit Hilfe von Analytics aus scheinbar unbeherrschbaren Datenmengen und -materialien handhabbare, qualitative Daten und Informationen generieren wollen und wie wir vorgehen.

 

ADA Lovelace Center für Analytics, Daten und Anwendungen

Neues Kompetenzzentrum für Data Analytics und KI in der Industrie

Das ADA Lovelace Center verbindet auf einzigartige Weise KI-Forschung mit KI-Anwendungen der Industrie. Hier können sich die Partner untereinander vernetzen, vom Know-how des anderen profitieren und an gemeinsamen Projekten arbeiten.

 

OBER

Die Steuerung von Lagerbeständen ist eine zentrale Herausforderung bei KMUs im Großhandel. Obwohl dort teilweise bereits Prognosemodelle eingesetzt werden, um Absätze vorherzusagen, sind diese häufig nicht state of the art. Die Fraunhofer-Arbeitsgruppe für Supply Chain Services des Fraunhofer IIS entwickelt und implementiert deshalb ein Verfahren, um mithilfe modernster KI-Methoden die Unsicherheit einer Prognose zu quantifizieren und darauf aufbauend automatisch optimale Lagerbestände zu bestimmen.