Maschinelles Lernen B

LV-Nr: 708.061 VO, 708.062 UE
LV-Homepage: www.igi.tugraz.at/lehre/MLB
TUGonline Link: Maschinelles Lernen B

 

 Wichtiger Hinweis: Da im WS 2007/08 Maschinelles Lernen A nicht angeboten wird, können Sie in diesem Satz alternativ Maschinelles Lernen B besuchen und als Kernfach anrechnen lassen.

 

Design of Autonomously Learning and Evolving Systems

Es werden Methoden des Maschinellen Lernens vorgestellt, die es künstlichen Systemen ermöglichen, erfolgreiche Handlungsstrategien zu lernen. Der künstliche Agent kann ein Roboter, ein Agent in einem Computerspiel oder ein Internet Browser sein. In der Regel steht dem künstlichen Agenten kein Lehrer zur Seite, der ihm bei jedem einzelnen Schritt sagen kann, welches der optimale nächste Schritt wäre. Typischer ist die Situation, dass der künstliche Agent nur gelegentlich ein "Erfolgserlebnis" oder eine "Enttäuschung" hat. Er muss selbständig herausbekommen, welcher Teilschritt wieviel zu diesem Erfolg beigetragen hat und daraus selbständig erfolgreiche Strategien für die Zukunft entwickeln. Als Anwendungsbeispiele werden inbesondere Lernverfahren für humanoide Roboter (an denen das Institut gegenwärtig gemeinsam mit der EPFL in Lausanne arbeitet) sowie Lernverfahren für quasi-kommerzielle Computerspiele behandelt.

Besonders erfolgreich haben sich bei dieser Art von Problemen die Algorithmen des Reinforcement Learnings erwiesen. Daher stellen wir diesen Ansatz in den Mittelpunkt dieser Lehrveranstaltung und behandeln sowohl den theoretischen Hintergrund (dynamisches Programmieren, Markov Entscheidungsprozesse) als auch konkrete Anwendungen.
Folgende Themen werden ausführlich behandelt:
  • Markov Entscheidungsprozesse
  • (Approximate) Dynamic Programming
  • Monte Carlo Methoden und Batch Learning
  • Temporal Difference Learning
  • Function Approximation
  • Policy Gradient Learning
  • Biologischer Hintergrund des Reinforcement Learning
  • Anwendungen in der Robotik, Spielen, Regelungstechnik, ...

Genetische Algorithmen

Als ein weiterer interessanter Ansatz zum maschinellen Lernen von erfolgreichen Verhaltensweisen werden genetische Algorithmen (oft auch als evolutionary algorithms bezeichnet) besprochen. Hier werden im Computer in einer Art simulierter Evolution verschiedene erfolgversprechende Strategien zufällig mutiert und gekreuzt. Dann werden die "fittesten" der so entstandenen neuen Verhaltensweisen ermittelt, und für weitere Evolution zugelassen.
Folgende Themen werden ausführlich behandelt:
  • Optimierung von Strategien durch Genetische Algorithmen
  • Theoretische Analyse von Genetischen Algorithmen
  • Neuro-Evolution of Augmenting Topologies
  • Evolutionary Robotics