Tecniche di ensemble learning (Random Forests, Boosting).

Modulo 1: l'Ensemble Learning Cos'è l'Ensemble Learning e perché è utile? Differenze tra apprendimento singolo e apprendimento di ensemble. Vantaggi e svantaggi delle tecniche di ensemble. Panoramica sui principali algoritmi di ensemble: Bagging, Boosting, Stacking. Modulo 2: Fondamenti della Machine Learning Definizione di Machine Learning. Tipologie di apprendimento: supervisionato e non supervisionato. Panoramica su modelli base: Regressione Lineare, Alberi Decisionali. La sfida del overfitting e underfitting. Modulo 3: Introduzione a Random Forest Cos'è un Random Forest? Costruzione di un albero decisionale. Vantaggi dell'uso di alberi decisionali multipli. Funzionamento di Random Forest e come migliora la performance dei modelli. Modulo 4: La Creazione di un Random Forest Costruzione di alberi decisionali con bootstrap sampling. La selezione casuale di attributi per ogni albero. Come aggregare i risultati degli alberi (voto di maggioranza per la classificazione, media per la regressione). Modulo 5: Parametri di Random Forest Parametri principali: n_estimators, max_depth, min_samples_split, ecc. Impatto della scelta dei parametri sulla performance. Overfitting e come evitarlo in Random Forest. Modulo 6: Boosting Cos'è il Boosting e come differisce dal Bagging. Principi base di Boosting: migliorare la performance dei modelli deboli. L’importanza dell’errore di previsione e della correzione iterativa. Modulo 7: Gradient Boosting Cos'è il Gradient Boosting e come funziona. Algoritmo del Gradient Boosting: costruzione iterativa dei modelli. La riduzione dell’errore in maniera progressiva e il concetto di gradient descent. Modulo 8: AdaBoost (Adaptive Boosting) Cos'è AdaBoost e come si applica. Meccanismo di ponderazione degli esempi difficili. Ottimizzazione e vantaggi di AdaBoost rispetto ad altri algoritmi di boosting. Modulo 9: XGBoost Cos'è XGBoost e come si differenzia dagli altri algoritmi di Boosting. Caratteristiche principali di XGBoost: regolarizzazione, gestione dei missing values. Vantaggi di XGBoost in competizioni di Machine Learning. Modulo 10: Parametri di Boosting I principali parametri per il tuning dei modelli di Boosting. Impatto dei parametri: learning_rate, n_estimators, max_depth, subsample. Tecniche di ottimizzazione dei parametri: grid search e random search. Modulo 11: Overfitting e Regolarizzazione nei Modelli di Ensemble Cos'è l'overfitting e come influisce sulla performance del modello. Come evitare l'overfitting con Random Forest e Boosting. Tecniche di regolarizzazione: early stopping, pruning, shrinkage. Modulo 12: Valutazione delle Performance dei Modelli di Ensemble Le principali metriche di valutazione: accuracy, precision, recall, F1-score, AUC-ROC. Cross-validation: vantaggi e implementazione. Come scegliere la metrica di valutazione migliore a seconda del problema. Modulo 13: Stacking: L'Ensemble Learning Avanzato Cos'è il Stacking e come funziona. Differenze tra Stacking, Bagging e Boosting. Come combinare più modelli di base con un modello meta. Modulo 14: Applicazioni pratiche delle Tecniche di Ensemble Settori in cui l'Ensemble Learning è ampiamente utilizzato: finance, sanità, marketing, etc. Utilizzo nelle competizioni di Data Science (Kaggle). Come scegliere l'algoritmo di ensemble giusto per un determinato problema. Modulo 15: Considerazioni Finali e Prospettive Future Tendenze future nell'Ensemble Learning: metodi ibridi, deep learning e ensemble. Best practices per implementare un modello di ensemble nella vita reale. Considerazioni etiche nell'uso dei modelli di ensemble.