Automatisches Lernen

AutoML – Optimale Machine Learning Pipelines mit minimalem Aufwand

Automatisches Lernen
© Fraunhofer IIS

Machine Learning (ML) und künstliche Intelligenz erfreuen sich seit einigen Jahren großer Beliebtheit – sowohl in der Forschung als auch in kommerziellen Anwendungen. Die bahnbrechenden Erfolge in verschiedensten Bereichen wie beispielsweise Computer Vision, Spracherkennung, Autonomem Fahren und weiteren prägen unsere heutige Gesellschaft enorm.

Ein großes Hindernis für die praktische Anwendung von ML ist allerdings der extrem hohe Aufwand, die beste ML Pipeline, die die passenden Teilaufgaben für einen unabhängigen Workflow zur Lösung der gesamten ML-Aufgabe beinhaltet, zu identifizieren und schließlich optimal für die jeweilige Anwendung zu konfigurieren: In der Regel überprüfen ML-Experten auf Basis der vorliegenden Datengrundlage und der angedachten Aufgabe zuerst unterschiedlichste Methoden auf Passung, bevor sie daraus die beste für die aktuelle Fragestellung auswählen, den ML-Prozess entwerfen und aufsetzen. Oftmals müssen etliche verschiedene Methoden und Konfigurationen getestet werden, bevor anhand der Ergebnisse eine Entscheidung getroffen werden kann.

AutoML zielt darauf ab, genau diesen Prozess zu automatisieren – also ohne manuellen Aufwand die optimale ML-Pipeline zu finden. Aktuelle Bestrebungen der AutoML Forschung zielen auf die Automatisierung des gesamten ML-Prozesses ab, im Vordergrund aber stehen Feature Engineering, Modellselektion und Hyperparameteroptimierung, Bewertung und Reporting des ML-Modells sowie die kontinuierliche Anpassung des ML-Modells.

AutoML kann so sowohl in Forschung als auch Anwendung eingesetzt werden, um Ressourcen zu sparen und schafft durch die Automatisierung obiger Schritte eine Demokratisierung von Machine Learning, da Expertenwissen, das normalerweise für die Selektion eines passenden Modells unerlässlich ist, nicht mehr dringend benötigt wird.

Die Kompetenz ist fester Bestandteil der Projektgruppe »AutoML & XAI«

AutoML ist eine der Kernkompetenzen der im Rahmen des ADA Lovelace Centers ins Leben gerufenen Projektgruppe am Standort München, die bereits einige Industrieprojekte durchführen konnte, die sich speziell mit dem Thema AutoML beschäftigten. Oftmals geht es hierbei darum, die Brücke zwischen dem sehr abstrakten Forschungsfeld »AutoML« und einer Anwendung im industriellen Kontext, die am Ende Mehrwert generieren muss, zu schlagen. Es handelts ich hierbei um den klassischen Fall von »Realität passt nicht zur Forschung«, denn die existierenden AutoML Tools sind nicht dafür konzipiert mit multimodalen Daten und unbalancierten Datensätzen zu arbeiten. Für diese und weitere Herausforderungen wie z. B., unbekannte Kosten bei der Klassifizierung oder -AutoML für Sensordaten können neue Ansätze mit speziell auf die Anwendung zugeschnittenen AutoML Systemen helfen.

Der erste Schritt für erfolgreiches AutoML ist generell die Wahl eines geeigneten Suchraums, also die Entscheidung welche Methoden, Modelle etc. getestet werden können. Dieser Suchraum wird anschließend mit Hilfe einer passenden Optimierungsmethode nach einer optimalen ML-Pipeline durchsucht. Modellbasierte Optimierungsverfahren (MBO), allen voran Bayesian Optimization, sind oftmals eine gute Wahl und wurden in vergangenen Projekten, z. B. für das Design eines AutoML Systems für Qualitätssicherung in der industriellen Fertigung, erfolgreich eingesetzt. Eine beliebte Alternative, die mit hierarchischen und komplexen Suchräumen gut umgehen kann und in bestimmten Fällen besser skaliert als MBO, sind Evolutionäre Algorithmen.

AutoML harmoniert außerdem wunderbar mit den weiteren Kompetenzthemen der Projektgruppe: Erklärbares Lernen und Few-Labels Learning. So sind z. B. auch Methoden des Few-Labels Learning konfigurierbar und müssen je nach Anwendung unterschiedlich gewählt werden. Dies kann mit Unterstützung passender AutoML Methoden entsprechend automatisiert werden.
Erklärbarkeit ist indes oft eine Schwachstelle für AutoML Systeme, wenn das optimale Modell nur aufgrund der Performance gewählt wird. Das Resultat von AutoML sind dann oftmals Black-Box Modelle, die zwar sehr gute Ergebnisse liefern, aber nicht länger interpretierbar sind. Mehrdimensionale Optimierung im Rahmen von AutoML kann zwei verschiedene Metriken zur Beurteilung eines Modells – wie z. B. eben Performance und Interpretierbarkeit – in einem Ansatz kombinieren. Ein weiterer Ansatz ist Meta-Modeling, wobei ein Black-Box AutoML System durch ein Meta-Modell erklärbar gemacht wird.

AutoML im Bereich Predictive Maintenance: ALONE – Selbstlernende adaptive logistische Netzwerke

AutoML kann in Situationen verwendet werden, in denen sehr ähnliche Aufgaben mit leicht veränderten Gegebenheiten mehrfach auftreten. Ein Beispiel ist Predictive Maintenance bzw. Machine Health Monitoring. Machine Learning kann die Ausfallwahrscheinlichkeit einer (teuren) Maschine oder die verbleibende Zeit bis zum Ausfall vorhersagen und erlaubt so eine optimierte und planbare Wartung bei minimalen Kosten. Bestimmte ML-Modelle und Preprocessing Methoden sind vielversprechend für diese Art von ML-Aufgaben, jedoch ist es in der Praxis nicht zumutbar für jede Art von Maschine und Umgebung manuell ein optimales ML-Modell auszuwählen. AutoML kann in diesem Fall Abhilfe schaffen und aus allen relevanten Methoden und Modellen für jeden spezifischen Einsatz eine optimale ML-Pipeline generieren.

Mehr Informationen zur Applikation »Selbstlernende adaptive logistische Netzwerke«

AutoML und Meta-Learning: KI-Frameworks für autonome Systeme

Die Applikation »KI-Framework für autonome Systeme« beschäftigt sich stark mit Reinforcement Learning Methoden, deren Performance oft extrem abhängig von bestimmten Hyperparametern ist. Gleichzeitig sind Reinforcement Learning Algorithmen in vielen Fällen extrem teuer. Deswegen wurde in diesem Anwendungsfall effizientes Hyperparameter Tuning für Reinforcement Learning untersucht; außerdem wurde vermehrt an Meta-Learning für dieses Setting geforscht. Meta-Learning versucht, die bereits aus vorherigen Aufgaben gelernten Information sinnvoll für AutoML (bzw. in diesem Fall Hyperparameter Tuning) auf neuen Aufgaben einzusetzen. Je nach Anwendung kann Meta-Learning für die Suche nach einer optimalen Pipeline relevant sein (»Warmstarting«) oder sogar dabei helfen bestehende, fixe Architekturen für neue Aufgaben einzusetzen (»Transfer Learning«). Meta- Learning kann auch bei wiederkehrenden Aufgaben, die sich ähneln – wie z. B. in der Applikation »Selbstlernende adaptive logistische Netzwerke« – ein vielversprechender Ansatz sein.

AutoML als Bestandteil fast jeder Anwendung

Im Rahmen der Zusammenarbeit im ADA Lovelace Center wurden erstmals Fragestellungen aus den Applikationen »Intelligente Leistungselektronik« und »KI-gestützte Zustands- und Störungsdiagnose Funksysteme«, die ebenfalls dem Forschungsfeld Automatisches Lernen zuzuordnen sind, diskutiert. Infolgedessen wurde dort an automatischer Stabilitätsbestimmung von Gleichstromnetzen sowie von Funknetzen durch ML Methoden geforscht.

Hyperparameteroptimierung, Feature Engineering, Modellselektion etc. sind ein Bestandteil fast jeder Anwendung von Machine Learning. Die Kompetenzen der Säule finden daher auch über die das ADA Lovelace Center hinaus in vielen anderen Projekten Anwendung – beispielsweise beim Projekt »Demand Forecast as a Service (dFASSI)«.

Die KI-Kompetenzsäulen des ADA Lovelace Centers

Automatisches Lernen
© Fraunhofer IIS

Das automatische und adaptive Lernen (AutoML) beschäftigt sich mit der Automatisierung des KI Prozesses und von besonders arbeitsintensiven, manuellen Aufgaben, die im Regelfall von Experten durchgeführt werden. So wird das Maschinelle Lernen zugänglicher und effizienter. AutoML deckt einen großen Bereich ab, der bei der Automatisierung der Merkmalserkennung und -auswahl für gegebene Datensätze sowie der Modellsuche und -optimierung beginnt, über deren automatisierte Bewertung reicht und bis hin zur adaptiven Anpassung der Modelle durch Trainingsdaten und Systemfeedback geht.  

Sequenzbasiertes Lernen
© Fraunhofer IIS

Sequenzbasiertes Lernen beschäftigt sich mit zeitlichen und kausalen Zusammenhängen in Daten wie sie z. B. in der Sprachverarbeitung, Ereignisverarbeitung, Biosequenzanalyse oder auch in Multimediadaten auftreten. Dabei wird aus beobachteten Ereignissen der aktuelle Systemzustand erkannt und zukünftige Zustände vorhergesagt, was sowohl möglich ist, wenn nur die Reihenfolge ihres Auftretens bekannt ist, als auch dann, wenn sie genaue Zeitstempel tragen.

Erfahrungsbasiertes Lernen
© Fraunhofer IIS

Als erfahrungsbasiertes Lernen bezeichnet man Methoden, die es einem System erlauben, sich selbst zu optimieren, indem es mit der Umwelt interagiert und deren Feedback auswertet, oder sich an veränderliche Umweltbedingungen dynamisch anpasst. Hierzu zählen die automatisierte Erzeugung von Modellen zur Bewertung und Optimierung von Geschäftsprozessen, Transportabläufen oder auch Robotersteuerungen in der industriellen Fertigung. 

Few Labels Learning
© Fraunhofer IIS

Die bahnbrechenden Erfolge der KI bei Aufgaben wie Spracherkennung, Objekterkennung oder maschineller Übersetzung sind u.a. auf die Verfügbarkeit von enorm großen, annotierten Datensätzen zurückzuführen. Allerdings ist diese in vielen realen Szenarien, besonders im Industrieumfeld, begrenzt. Daher erforschen wir das Lernen mit wenigen annotierten Daten im Kontext von Techniken des unüberwachten, semi-überwachten- und des Transfer-Lernens.

 

Das digitale Datenvolumen (sog. »Big Data«) wächst seit einigen Jahren ungebremst. Bei der Wissensgenerierung müssen die erzielten Ergebnisse und Vorhersagen den Anwendern in geeigneter Weise plausibel und transparent gemacht werden. Dieser Aspekt wird im ADA Lovelace Center unter dem Stichwort erklärbares Lernen erforscht, und sorgt dafür, die Akzeptanz der künstlichen Intelligenz bei Anwendern in Wirtschaft, Wissenschaft und Gesellschaft zu erhöhen.

 

Prozessbewusstes Lernen stellt das Bindeglied zwischen der Modellierung und Analyse von Prozessen und dem Data Mining dar. Im Fokus steht dabei die Prozesserkennung, Konformitätsprüfung und Prozessverbesserung auf Daten in Form von Ereignisprotokollen. Sie dient dem Vergleich von Soll- und Ist-Zuständen, z.B. bei Geschäftsprozessen in Form von Workflow-Management-Systemen (WMS) oder Enterprise-Resource-Planning-Systemen (ERP).

Mathematische Optimierung Illustration
© Fraunhofer IIS

Die mathematische Optimierung ist unverzichtbarer Bestandteil der modellbasierten Entscheidungsunterstützung, indem sie Planungslösungen in so unterschiedlichen Bereichen wie der Logistik, Energiesystemen, Mobilität, im Finanzwesen und für Gebäudeinfrastrukturen liefert, um nur wenige Beispiele zu nennen. Die umfangreiche bestehende Expertise wird in mehrere aussichtsreiche Richtungen, namentlich der Echtzeitplanung und -steuerung weiterentwickelt.

Die Aufgabe der Semantik ist es, Daten und Datenstrukturen formal definiert, standardisiert, inhaltlich widerspruchsfrei und eindeutig zu beschreiben. So müssen bei Industrie 4.0 verschiedenste Entitäten (wie Sensoren, Produkte, Maschinen oder Transportsysteme) in der Lage sein, deren Eigenschaften, Fähigkeiten oder Zustände anderer Entitäten in der Wertschöpfungskette zu interpretieren.

Few Data Learning beschäftigt sich mit der Aufbereitung und Vervollständigung von Daten sowie der Erzeugung einer ausreichenden Menge an Datensätzen, z. B. KI-Anwendungen auf Materialstammdaten in der Industrie. Das umfasst die Aufbereitung fehlerhafter Datensätze und den Einsatz von Simulationstechniken um fehlende Daten zu erzeugen.

Das könnte Sie auch interessieren

 

Projekt

AutoML

Automatisiertes Maschinelles Lernen (AutoML) genießt derzeit viel Aufmerksamkeit, da es verspricht die Entwicklung und Konfiguration von KI Prozessen zu automatisieren. Gemeinsam mit unserem Kunden aus dem Bereich der industriellen Fertigung haben wir deshalb untersucht, welche spezifischen Anpassungen für den Einsatz von AutoML Systemen in der praktischen Anwendung im Unternehmen sinnvoll sind.

Weiterbildungen am ADA Lovelace Center

Das ADA Lovelace Center for Analytics, Data and Applications bietet – gemeinsam mit seinen Kooperationspartnern – Weiterbildungsprogramme rund um Konzepte, Methoden und konkrete Anwendungen im Themenbereich Data Analytics und KI.

Hierzu werden Seminare mit den folgenden Schwerpunkten angeboten:

Maschinelles Lernen

Reinforcement Learning

Weiterführende Informationen

Erfahren Sie mehr zum Thema Automatisiertes Maschinelles Lernen (AutoML) für Anwendungen in der Industrie.

 

Sichern Sie sich das AutoML Buch.

 

Nehmen Sie an der AutoML Online Schulung teil, um Kompetenzen hinsichtlich der Entwicklung von Machine Learning Applikationen zu erwerben.