Fondamenti del reinforcement learning.

Modulo 1: Reinforcement Learning Cos’è il reinforcement learning: definizione e differenze con altre aree dell'apprendimento automatico (supervisionato, non supervisionato) Componenti di un sistema RL: agente, ambiente, azioni, ricompensa, stati Applicazioni pratiche del RL in vari settori (robotica, giochi, finanza, ottimizzazione) Modulo 2: Fondamenti di Teoria degli Agenti e dell'Ambiente Definizione di agente e ambiente nel contesto del RL Rappresentazione degli stati e delle azioni La funzione di ricompensa e il suo ruolo nell'apprendimento dell'agente Modulo 3: Markov Decision Process (MDP) concetto di MDP: componenti (stati, azioni, funzione di transizione, funzione di ricompensa) La funzione di valore degli stati: concetto di valore e politica Equazioni di Bellman: formula fondamentale nel RL Modulo 4: Politiche e Funzione di Valore Cos'è una politica (policy) e come influenza il comportamento dell'agente Funzione di valore degli stati (V) e delle azioni (Q) Politiche deterministiche e stocastiche Modulo 5: Ricompensa e Ricompensa Cumulativa Differenza tra ricompensa immediata e ricompensa cumulativa La ricerca del massimo guadagno a lungo termine: la funzione di valore cumulativa Definizione di ritorno e il concetto di sconto (discount factor, γ) Modulo 6: Esplorazione vs Sfruttamento Il trade-off esplorazione-sfruttamento: come bilanciare l'esplorazione di nuove azioni con lo sfruttamento di quelle che portano ricompense più alte Strategie per bilanciare esplorazione e sfruttamento: epsilon-greedy, softmax Tecniche di esplorazione avanzata Modulo 7: Algoritmi di Valutazione delle Politiche Approccio di valutazione delle politiche: stima del valore di una politica data Algoritmo di Iterazione per la valutazione delle politiche Applicazione dell’algoritmo di valutazione per risolvere MDP Modulo 8: Algoritmi di Pianificazione (Planning) Pianificazione vs apprendimento tramite interazione con l'ambiente Algoritmi di pianificazione come la pianificazione a valore iterativo (Value Iteration) e la pianificazione a politica iterativa (Policy Iteration) Come utilizzare i modelli dell’ambiente per pianificare l’azione dell'agente Modulo 9: Algoritmi di Apprendimento per il Reinforcement Learning Apprendimento basato su modelli vs apprendimento basato su dati (model-free) Algoritmo di apprendimento Q-learning: cos'è e come funziona Introduzione agli algoritmi SARSA e agli aggiornamenti di valore Q Modulo 10: Deep Reinforcement Learning Cos'è il Deep Reinforcement Learning e la sua connessione con le reti neurali profonde L’architettura delle reti neurali nel contesto del RL L’algoritmo DQN (Deep Q-Network) per l’ottimizzazione delle politiche di RL Modulo 11: Algoritmi di Policy Gradient Cosa sono gli algoritmi di policy gradient e come si differenziano dal Q-learning metodo REINFORCE per l'apprendimento basato sulla politica Vantaggi e svantaggi degli approcci basati sui gradienti Modulo 12: Metodi Actor-Critic Cos'è un metodo actor-critic e come unisce vantaggi degli approcci basati sul valore e sulla politica Funzionamento dell’architettura actor-critic Introduzione agli algoritmi A3C (Asynchronous Advantage Actor-Critic) e DDPG (Deep Deterministic Policy Gradient) Modulo 13: Apprendimento con Riempimento e Bonus Metodi avanzati di apprendimento con riempimento delle transizioni L'uso dei bonus di esplorazione per migliorare le prestazioni del RL Come le reti neurali possono essere utilizzate per modellare l’ambiente e ottimizzare le ricompense Modulo 14: Valutazione e Ottimizzazione dei Modelli di RL Come valutare e misurare le prestazioni di un modello di RL Metriche comuni di valutazione: ricompensa totale, numero di passi, convergence rate Ottimizzazione del modello: come migliorare la stabilità e l'efficienza degli algoritmi RL Modulo 15: Applicazioni Avanzate del Reinforcement Learning Applicazioni del RL in scenari complessi: robotica, veicoli autonomi, giochi (AlphaGo, OpenAI Five) Uso del RL per il controllo ottimale, la pianificazione e l'automazione Sfide future e tendenze nel campo del reinforcement learning