Arbeitsgruppe für Supply Chain Services des Fraunhofer IIS
Arbeitsgruppe für Supply Chain Services des Fraunhofer IIS

Reinforcement Learning

Ein Teilmodul des »Machine Learning Forums«

Das Seminar »Reinforcement Learning«

3d rendering humanoid robot reading a book
© Fraunhofer IIS

»Reinforcement Learning (RL)« ist ein Bereich des Maschinellen Lernens. Ziel dabei ist es, einem autonomen Agenten zu ermöglicht, eine Aufgabe durch Anwendung der Trial-and-Error zu bewältigen, ohne dabei konkret annotierte Trainingsdaten zu nutzen. Der Agent erhält keine Beispiele für korrekte Aktionen (z.B. wie beim Supervised Learning), sondern muss mit der Umgebung interagieren, um eine Strategie zu entdecken, die den erwarteten kumulativen Erfolg für die jeweilige Aufgabe maximiert.

Durch eine Kombination aus Theorie und konkreten Fallstudien aus der Industrie wird Ihnen dieses zweitägige Seminar ermöglichen, den Wert und die Auswirkungen dieser Technologie auf Ihr Unternehmen zu verstehen. Sie werden lernen, wie Sie mehrere Problemtypen nach dem RL-Paradigma formulieren und effiziente Algorithmen zur Lösung entwerfen (oder bzw. diese aus einer großen Basis auszuwählen). Darüber hinaus erhalten Sie durch die praktischen Beispiele ein fundiertes Verständnis darüber, wie Sie RL-Algorithmen in der Praxis unter Verwendung modernster Software-Frameworks anwenden können.

 

Durch die Teilnahme am Seminar werden Sie:

  • die Grundlagen des Reinforcement Learning verstehen
  • lernen, wie Sie ein gegebenes Problem im Rahmen des Reinforcement Learning-Paradigmas formulieren
  • die verschiedenen Arten von Reinforcement Learning-Algorithmen kennenlernen
  • Reinforcement Learning Algorithmen für reale Probleme mit modernster Software implementieren
  • erfahren, wie Sie Reinforcement Learning in realen autonomen Systemen anwenden können
  • in der Lage sein sich selbständig weiterzubilden
Alle ausklappen Alle einklappen

Auf einem Blick

Termin: Auf Anfrage

Zielgruppe:

  • Algorithmus-Ingenieure und Entwickler aus dem F&E-Bereich, die sich mit autonomen Systemen sowie Steuerung und Regelung beschäftigen
  • Entwickler und Ingenieure in Industrieunternehmen
  • Industrieberater
  • Wissbegierige aller Art

Voraussetzung: Basiswissen in maschinellem Lernen wird vorausgesetzt (das Machine Learning Modul ist hierfür empfehlenswert). Programmierkenntnisse in Python sind von Vorteil, jedoch nicht erforderlich.

Empfehlung: keine

Dauer: 2-tägige Schulung

Schulungssprache: Englisch

Anzahl der Teilnehmenden: Basiswissen in maschinellem Lernen wird vorausgesetzt (das Machine Learning Modul ist hierfür empfehlenswert). Programmierkenntnisse in Python sind von Vorteil, jedoch nicht erforderlich.

Kursmaterialien: Jupyter-Notebooks können auf Wunsch bereitgestellt werden.

Veranstaltungsort: ADA Lovelace Center des Fraunhofer IIS (Nordostpark 84, 90411 Nürnberg) oder als Inhouse-Schulung bei Ihnen vor Ort (Inhouse-Schulungen benötigen eine kurze Absprache zur IT-Installation)

Teilnahmegebühr und was diese beinhaltet: In der Teilnahmegebühr sind Getränke und Mittagessen enthalten.

Inhalte des Seminars »Reinforcement Learning«

Tag 1: Theoretische Grundlagen

  • Grundlegende Einführung in das Thema »Künstliche Intelligenz« und Autonome Systeme
  • Markov Decision Processes und dynamische Programmierung
  • Q-Learning- und SARSA-Algorithmus
  • Value Function Approximation
  • Hands-On Beispiele für alle Algorithmen

Tag 2: Deep Reinforcement Learning in der Praxis

  • Deep Q-Learning Algorithmus sowie Erweiterung
  • verschiedene Policies und Policy-Such-Algorithmen
  • Actor-Critic-Methoden
Fortgeschrittene Themen:
  • Imitation Learning und Inverses Reinforcement Learning
  • Modellbasiertes Reinforcement Learning
  • Simulation-zu-Realität-Transfer
  • Interpretierbares Reinforcement Learning
  • Ende-zu-Ende Reinforcement Learning
Best Practices:
  • Reward Shaping und Curriculum-Learning
  • Hyperparamenter-Tuning
  • Debugging von Reinforcement Learning Algorithmen
  • Auswahl geeigneter Algorithmen für verschiedene Problemstellungen
  • Hands-on Beispiele für ausgewählte Algorithmen
  • Reinforcement Learning Beispiele in echten Industrie-Applicationen

Anmeldung und weitere Informationen

Anmeldefrist: 2 Wochen vor Termin

Besondere Stornogebühren: Abmeldungen mit Erstattung der vollen Kursgebühr können nur bis 4 Wochen vor Termin erfolgen.

Weiterführende Informationen zum Fachbereich

Hier können Sie sich anmelden.

Ihr Referent:

Georgios Kontes (PhD) ist Senior Scientist am Fraunhofer IIS in der Gruppe Selbtslernende Systeme. Seine Forschungsinteressen liegen in den Bereichen Machine Learning und Reinforcement Learning, mit einem Schwerpunkt auf selbstlernenden Ansätzen zur Steuerung autonomer Systeme, wo er über 10 Jahre Erfahrung in relevanten nationalen und internationalen Forschungsprojekten verfügt. Seine aktuelle Arbeit konzentriert sich auf sichere, robuste und interpretierbare Reinforcement Learning Techniken, die auf autonome Fahrzeuge angewendet werden.

 

Literaturempfehlungen:

  • RS. Sutton, AG. Barto (2018): Reinforcement learning: An introduction (2nd edition), Cambridge: MIT press.
  • Maxim Lapan (2018): Deep Reinforcement Learning Hands-On, Packt Publishing.
  • C. Szepesvári (2009): Algorithms for reinforcement learning, Morgan and Claypool.
  • DP. Bertsekas (2017): Dynamic programming and optimal control (Vol I and II), Belmont, MA: Athena scientific.
  • V. Mnih, et. al. (2015): Human-level Control through Deep Reinforcement Learning, Nature.
  • I. Goodfellow, Y. Bengio, A. Courville (2016): Deep learning, Cambridge: MIT press.