Corso di Data Wrangling e Preparazione dei Dati

Modulo 1: Data Wrangling Cos’è il Data Wrangling e perché è cruciale per l'analisi dei dati Il ciclo di vita dei dati: dalla raccolta alla preparazione Sfide comuni nel data wrangling Modulo 2: Tipi di Dati e Strutture Tipi di dati: numerici, categorici, date e stringhe Strutture dei dati: tabelle, serie temporali, grafi Differenza tra dati strutturati, semi-strutturati e non strutturati Modulo 3: Raccolta e Importazione dei Dati Fonti di dati: database, API, file CSV, Excel, JSON, ecc. Tecniche di importazione dei dati in diversi formati Preparazione dei dati per l'importazione (pulizia preliminare) Modulo 4: Pulizia dei Dati - Gestione dei Valori Mancanti Rilevamento di valori mancanti nei dataset Tecniche di gestione dei dati mancanti: imputazione, rimozione, sostituzione Analisi dell’impatto dei valori mancanti sull’analisi dei dati Modulo 5: Rimozione e Gestione dei Duplicati Come rilevare i duplicati nei dati Tecniche per rimuovere o aggregare i duplicati Implicazioni dei duplicati nell’analisi Modulo 6: Correzione degli Errori nei Dati Identificazione di errori comuni nei dati (formati errati, incongruenze) Strategie di correzione automatica e manuale degli errori Validazione dei dati per garantire qualità e coerenza Modulo 7: Trasformazione dei Dati Normalizzazione e standardizzazione dei dati Conversione tra unità di misura e formati Creazione di nuove variabili (es. variabili derivate, aggregazioni) Modulo 8: Codifica e Trasformazione delle Variabili Categoriche Tecniche di codifica delle variabili categoriche: one-hot encoding, label encoding Problemi legati alle variabili categoriche nelle analisi statistiche Gestione delle variabili ordinali e nominali Modulo 9: Gestione delle Variabili Temporali Trattamento dei dati temporali (date e orari) Parsing e formattazione delle date Estrazione di caratteristiche temporali (giorno, mese, anno, week number, festività) Modulo 10: Filtraggio e Selezione dei Dati Filtrare i dati in base a condizioni specifiche Selezionare sottogruppi significativi di dati per analisi mirate L’uso di ragionamento logico nella selezione dei dati Modulo 11: Aggregazione e Raggruppamento dei Dati Tecniche di aggregazione: somma, media, conteggio, mediana Raggruppamento dei dati per categorie o periodi temporali Creazione di report aggregati e di riepilogo Modulo 12: Unione e Fusione dei Dati Tecniche di unione di dataset: join, merge, concat Differenza tra inner join, left join, right join e outer join Gestione delle chiavi primarie e delle chiavi esterne nei dati Modulo 13: Riduzione della Dimensione dei Dati Tecniche di riduzione della dimensione: PCA (Principal Component Analysis), selezione delle caratteristiche Quando e perché ridurre la dimensione dei dati Implicazioni della riduzione dei dati per le analisi e i modelli Modulo 14: Visualizzazione dei Dati per la Pulizia Tecniche di visualizzazione per rilevare anomalie nei dati (grafici a dispersione, box plot) Usare la visualizzazione per facilitare il processo di pulizia Strumenti e librerie per la visualizzazione dei dati (teoria, senza riferimenti a software specifici) Modulo 15: Introduzione agli Strumenti di Data Wrangling Panoramica degli strumenti e delle librerie comuni per il data wrangling (es. Pandas, R, SQL) Considerazioni sull’automazione del data wrangling Best practices e approcci per mantenere i dati puliti e gestibili nel tempo