Automatisches Lernen

AutoML – Optimale Machine Learning Pipelines mit minimalem Aufwand

Automatisches Lernen
© Fraunhofer IIS

Machine Learning (ML) und künstliche Intelligenz erfreuen sich seit einigen Jahren großer Beliebtheit – sowohl in der Forschung als auch in kommerziellen Anwendungen. Die bahnbrechenden Erfolge in verschiedensten Bereichen wie beispielsweise Computer Vision, Spracherkennung, Autonomem Fahren und weiteren prägen unsere heutige Gesellschaft enorm.

Ein großes Hindernis für die praktische Anwendung von ML ist allerdings der extrem hohe Aufwand, die beste ML Pipeline, die die passenden Teilaufgaben für einen unabhängigen Workflow zur Lösung der gesamten ML-Aufgabe beinhaltet, zu identifizieren und schließlich optimal für die jeweilige Anwendung zu konfigurieren: In der Regel überprüfen ML-Experten auf Basis der vorliegenden Datengrundlage und der angedachten Aufgabe zuerst unterschiedlichste Methoden auf Passung, bevor sie daraus die beste für die aktuelle Fragestellung auswählen, den ML-Prozess entwerfen und aufsetzen. Oftmals müssen etliche verschiedene Methoden und Konfigurationen getestet werden, bevor anhand der Ergebnisse eine Entscheidung getroffen werden kann.

AutoML zielt darauf ab, genau diesen Prozess zu automatisieren – also ohne manuellen Aufwand die optimale ML-Pipeline zu finden. Aktuelle Bestrebungen der AutoML Forschung zielen auf die Automatisierung des gesamten ML-Prozesses ab, im Vordergrund aber stehen Feature Engineering, Modellselektion und Hyperparameteroptimierung sowie die kontinuierliche Anpassung des ML-Modells.

AutoML kann eingesetzt werden, um Ressourcen zu sparen und schafft durch die Automatisierung obiger Schritte eine Demokratisierung von Machine Learning, da Expertenwissen, das normalerweise für die Selektion eines passenden Modells unerlässlich ist, nicht mehr dringend benötigt wird.

Die Kompetenz ist fester Bestandteil der Projektgruppe »DEAL: Data Efficient Automated Learning«

AutoML ist eine der Kernkompetenzen der im Rahmen des ADA Lovelace Centers ins Leben gerufenen Projektgruppe am Standort München, die bereits einige Industrieprojekte durchführen konnte, die sich speziell mit dem Thema AutoML beschäftigten. Oftmals geht es hierbei darum, die Brücke zwischen dem sehr abstrakten Forschungsfeld »AutoML« und einer Anwendung im industriellen Kontext, die am Ende Mehrwert generieren muss, zu schlagen. Es handelts ich hierbei um den klassischen Fall von »Realität passt nicht zur Forschung«. «. Für Herausforderungen wie unbekannte Kosten bei Klassifizierung, multimodale Daten, imbalancierte Datensätze oder AutoML für Sensordaten können neue Ansätze mit speziell auf die Anwendung zugeschnittenen AutoML Systemen helfen.

Der erste Schritt für erfolgreiches AutoML ist generell die Wahl eines geeigneten Suchraums, also die Entscheidung welche Methoden, Modelle etc. getestet werden können. Dieser Suchraum wird anschließend mit Hilfe einer passenden Optimierungsmethode nach einer optimalen ML-Pipeline durchsucht. Modellbasierte Optimierungsverfahren (MBO), allen voran Bayesian Optimization, sind oftmals eine gute Wahl und wurden in vergangenen Projekten, z. B. für das Design eines AutoML Systems für Qualitätssicherung in der industriellen Fertigung, erfolgreich eingesetzt. Eine beliebte Alternative, die mit hierarchischen und komplexen Suchräumen gut umgehen kann und in bestimmten Fällen besser skaliert als MBO, sind Evolutionäre Algorithmen.

AutoML harmoniert außerdem wunderbar mit den weiteren Kompetenzthemen der Projektgruppe: Erklärbares Lernen und Few-Labels Learning. So sind z. B. auch Methoden des Few-Labels Learning konfigurierbar und müssen je nach Anwendung unterschiedlich gewählt werden. Dies kann mit Unterstützung passender AutoML Methoden entsprechend automatisiert werden.
Erklärbarkeit ist indes oft eine Schwachstelle für AutoML Systeme, wenn das optimale Modell nur aufgrund der Performance gewählt wird. Das Resultat von AutoML sind dann oftmals Black-Box Modelle, die zwar sehr gute Ergebnisse liefern, aber nicht länger interpretierbar sind. Mehrdimensionale Optimierung im Rahmen von AutoML kann zwei verschiedene Metriken zur Beurteilung eines Modells – wie z. B. eben Performance und Interpretierbarkeit – in einem Ansatz kombinieren. Ein weiterer Ansatz ist Meta-Modeling, wobei ein Black-Box AutoML System durch ein Meta-Modell erklärbar gemacht wird.

AutoML im Bereich Predictive Maintenance: ALONE – Selbstlernende adaptive logistische Netzwerke

AutoML kann in Situationen verwendet werden, in denen sehr ähnliche Aufgaben mit leicht veränderten Gegebenheiten mehrfach auftreten. Ein Beispiel ist Predictive Maintenance bzw. Machine Health Monitoring. Machine Learning kann die Ausfallwahrscheinlichkeit einer (teuren) Maschine oder die verbleibende Zeit bis zum Ausfall vorhersagen und erlaubt so eine optimierte und planbare Wartung bei minimalen Kosten. Bestimmte ML-Modelle und Preprocessing Methoden sind vielversprechend für diese Art von ML-Aufgaben, jedoch ist es in der Praxis nicht zumutbar für jede Art von Maschine und Umgebung manuell ein optimales ML-Modell auszuwählen. AutoML kann in diesem Fall Abhilfe schaffen und aus allen relevanten Methoden und Modellen für jeden spezifischen Einsatz eine optimale ML-Pipeline generieren.

Mehr Informationen zur Applikation »Selbstlernende adaptive logistische Netzwerke«

AutoML und Meta-Learning: KI-Frameworks für autonome Systeme

Die Applikation »KI-Framework für autonome Systeme« beschäftigt sich stark mit Reinforcement Learning Methoden, deren Performance oft extrem abhängig von bestimmten Hyperparametern ist. Gleichzeitig sind Reinforcement Learning Algorithmen in vielen Fällen extrem teuer. Deswegen wurde in diesem Anwendungsfall effizientes Hyperparameter Tuning für Reinforcement Learning untersucht; außerdem wurde vermehrt an Meta-Learning für dieses Setting geforscht. Meta-Learning versucht, die bereits aus vorherigen Aufgaben gelernten Information sinnvoll für AutoML (bzw. in diesem Fall Hyperparameter Tuning) auf neuen Aufgaben einzusetzen. Je nach Anwendung kann Meta-Learning für die Suche nach einer optimalen Pipeline relevant sein (»Warmstarting«) oder sogar dabei helfen bestehende, fixe Architekturen für neue Aufgaben einzusetzen (»Transfer Learning«). Meta- Learning kann auch bei wiederkehrenden Aufgaben, die sich ähneln – wie z. B. in der Applikation »Selbstlernende adaptive logistische Netzwerke« – ein vielversprechender Ansatz sein.

AutoML als Bestandteil fast jeder Anwendung

Im Rahmen der Zusammenarbeit im ADA Lovelace Center wurden erstmals Fragestellungen aus den Applikationen »Intelligente Leistungselektronik« und »KI-gestützte Zustands- und Störungsdiagnose Funksysteme«, die ebenfalls dem Forschungsfeld Automatisches Lernen zuzuordnen sind, diskutiert. Infolgedessen wurde dort an automatischer Stabilitätsbestimmung von Gleichstromnetzen sowie von Funknetzen durch ML Methoden geforscht.

Hyperparameteroptimierung, Feature Engineering, Modellselektion etc. sind ein Bestandteil fast jeder Anwendung von Machine Learning. Die Kompetenzen der Säule finden daher auch über die das ADA Lovelace Center hinaus in vielen anderen Projekten Anwendung – beispielsweise beim Projekt »Demand Forecast as a Service (dFASSI)«.

AutoML zur Generierung von KI Modellen mit minimalem Energiebedarf (AutoML ASIC)

Die Integration von Energiebedarfs-Prädiktion in multikriterielle AutoML-Verfahren erlaubt uns die automatische Erstellung von KI-Verarbeitungsketten für eingebettete Hardware mit minimalem Energiebedarf. Wie in vielen industriellen ML-Anwendungen, sind für die Anwenderinnen und  Anwender zwei widersprüchliche Zielgrößen relevant: Modelle mit kleinem Energiebedarf sind im Vergleich oft weniger komplex und zeigen deswegen eine schwächere Performanz. Entwicklerinnen und Entwickler bekommen in einer multikriteriellen AutoML Lösung deswegen mehrere (pareto-optimale) Lösungskombinationen angeboten, so dass ein optimaler und auf die eigene Hardwarekonfiguration angepasster Trade-Off zwischen Prädiktionsgenauigkeit (Performanz) und späterem Energiebedarf gewählt werden kann. Zum Einsatz kommen hier neben evolutionären Algorithmen und Bayesian Optimization auch Methoden aus dem Bereich Reinforcement Learning (z. B. Augmented Random Search).

Weitere Infos unter https://www.iis.fraunhofer.de/tinyml

 

»ADA wills wissen« Podcast

In unserer neuen Podcast-Reihe »ADA wills wissen« befinden sich die Kompetenzsäulen-Verantwortlichen mit ADA im Gespräch und geben Einblick in ihre Forschungsschwerpunkte, Herausforderungen und Methoden. In dieser Folge hören Sie ADA mit Florian Karl, dem Experten für Automatischs Lernen.

»ADA wills wissen« Podcast für Automatisches Lernen mit Florian Karl

Die KI-Kompetenzsäulen des ADA Lovelace Centers

Sequenzbasiertes Lernen
© Fraunhofer IIS

Sequenzbasiertes Lernen beschäftigt sich mit zeitlichen und kausalen Zusammenhängen in Daten wie sie z. B. in der Sprachverarbeitung, Ereignisverarbeitung, Biosequenzanalyse oder auch in Multimediadaten auftreten. Dabei wird aus beobachteten Ereignissen der aktuelle Systemzustand erkannt und zukünftige Zustände vorhergesagt, was sowohl möglich ist, wenn nur die Reihenfolge ihres Auftretens bekannt ist, als auch dann, wenn sie genaue Zeitstempel tragen.

Erfahrungsbasiertes Lernen
© Fraunhofer IIS

Als erfahrungsbasiertes Lernen bezeichnet man Methoden, die es einem System erlauben, sich selbst zu optimieren, indem es mit der Umwelt interagiert und deren Feedback auswertet, oder sich an veränderliche Umweltbedingungen dynamisch anpasst. Hierzu zählen die automatisierte Erzeugung von Modellen zur Bewertung und Optimierung von Geschäftsprozessen, Transportabläufen oder auch Robotersteuerungen in der industriellen Fertigung. 

© Fraunhofer IIS

Data-centric AI (DCAI) bietet eine neuartige, ergänzende Perspektive auf die KI-Modellbildung. Der Schwerpunkt wird dabei von der Modellbildung auf die Kuratierung hochwertiger, einheitlich annotierter Trainingsdatensätze verlagert. Die zugrundeliegende Erkenntnis ist, dass bei vielen KI-Projekten die Hebelwirkung zur Verbesserung der Modellleistung in der Kuratierung der verwendeten Trainingsdaten liegt.

Um künstliche Intelligenz sicher und zweckmäßig in der Praxis einsetzen zu können, muss maschinelles Lernen (ML) für den Nutzer nachvollziehbar sein. In vielen Bereichen, wie z.B. der medizinischen Entscheidungsfindung oder der Qualitätskontrolle in der Produktion, ist es wichtig, die Grundlagen zu verstehen, auf der das Modell Entscheidungen und Vorhersagen trifft, um Transparenz und Vertrauen zu schaffen. Methoden für verständliche und vertrauenswürdige KI werden am ADA Lovelace Center in der Kompetenzsäule »Nachvollziehbare und vertrauenswürdige KI« erforscht, die zu einer menschenzentrierten KI für Anwender in Wirtschaft, Wissenschaft und Gesellschaft beiträgt.

© Fraunhofer IIS

Prozessbewusstes Lernen stellt das Bindeglied zwischen Process Mining, der datenbasierten Analyse und Modellierung von Prozessen, und Machine Learning dar. Im Fokus steht dabei die Vorhersage von Prozessabläufen, Prozesskennzahlen und Prozessauffälligkeiten. Dies wird durch eine Extrahierung von Prozesswissen aus Event Logs und deren Überführung in erklärbare Prognosemodelle ermöglicht. Hierdurch können Einflussfaktoren identifiziert und vorausschauend Handlungsoptionen zur Prozessverbesserung abgeleitet werden.

Mathematische Optimierung Illustration
© Fraunhofer IIS

Die mathematische Optimierung ist unverzichtbarer Bestandteil der modellbasierten Entscheidungsunterstützung, indem sie Planungslösungen in so unterschiedlichen Bereichen wie der Logistik, Energiesystemen, Mobilität, im Finanzwesen und für Gebäudeinfrastrukturen liefert, um nur wenige Beispiele zu nennen. Die umfangreiche bestehende Expertise wird in mehrere aussichtsreiche Richtungen, namentlich der Echtzeitplanung und -steuerung weiterentwickelt.

Semantik
© Fraunhofer IIS

Die Aufgabe der Semantik ist es, Daten und Datenstrukturen formal definiert, standardisiert, inhaltlich widerspruchsfrei und eindeutig zu beschreiben. So müssen bei Industrie 4.0 verschiedenste Entitäten (wie Sensoren, Produkte, Maschinen oder Transportsysteme) in der Lage sein, deren Eigenschaften, Fähigkeiten oder Zustände anderer Entitäten in der Wertschöpfungskette zu interpretieren.

Das könnte Sie auch interessieren

 

Projekt

AutoML

Automatisiertes Maschinelles Lernen (AutoML) genießt derzeit viel Aufmerksamkeit, da es verspricht die Entwicklung und Konfiguration von KI Prozessen zu automatisieren. Gemeinsam mit unserem Kunden aus dem Bereich der industriellen Fertigung haben wir deshalb untersucht, welche spezifischen Anpassungen für den Einsatz von AutoML Systemen in der praktischen Anwendung im Unternehmen sinnvoll sind.

Weiterbildungen am ADA Lovelace Center

Das ADA Lovelace Center for Analytics, Data and Applications bietet – gemeinsam mit seinen Kooperationspartnern – Weiterbildungsprogramme rund um Konzepte, Methoden und konkrete Anwendungen im Themenbereich Data Analytics und KI.

Hierzu werden Seminare mit den folgenden Schwerpunkten angeboten:

Maschinelles Lernen

Reinforcement Learning

Weiterführende Informationen

Erfahren Sie mehr zum Thema Automatisiertes Maschinelles Lernen (AutoML) für Anwendungen in der Industrie.

 

Sichern Sie sich das AutoML Buch.

 

Nehmen Sie an der AutoML Online Schulung teil, um Kompetenzen hinsichtlich der Entwicklung von Machine Learning Applikationen zu erwerben.