Corso di Analytics per Big Data (Hadoop, Spark)

Modulo 1: Introduzione ai Big Data Cos'è un Big Data: definizione e caratteristiche Le 5 V dei Big Data (Volume, Velocità, Varietà, Veridicità, Valore) Il ruolo dell'Analytics nei Big Data Sfide e opportunità dei Big Data nelle aziende Panoramica sulle tecnologie principali per l'analisi dei Big Data Modulo 2: Fondamenti di Hadoop Introduzione a Hadoop: cos'è e come funziona L'architettura di Hadoop: HDFS (Hadoop Distributed File System) e MapReduce Come Hadoop gestisce i Big Data Vantaggi e limiti di Hadoop Installazione e configurazione di Hadoop Modulo 3: Hadoop Distributed File System (HDFS) Cos'è HDFS e come si differenzia dai file system tradizionali Struttura di HDFS: blocchi di dati, nodi, master e slave Come Hadoop gestisce la distribuzione dei dati e la tolleranza ai guasti Operazioni di lettura e scrittura in HDFS Comandi principali di HDFS per la gestione dei dati Modulo 4: Introduzione a MapReduce Cos'è MapReduce: il cuore dell'elaborazione dei Big Data su Hadoop La divisione in fasi: Map, Shuffle e Reduce Esempio di programma MapReduce Ottimizzazione di MapReduce per prestazioni migliori Limitazioni di MapReduce e la sua evoluzione Modulo 5: Strumenti di Ecosistema Hadoop Panoramica sugli strumenti che compongono l'ecosistema Hadoop (Hive, Pig, HBase, etc.) Come Hive semplifica l'interazione con i Big Data tramite SQL-like queries Pig: linguaggio di programmazione per la trasformazione dei dati HBase: gestione di dati non relazionali distribuiti Utilizzo di Sqoop e Flume per l'ingestione dei dati Modulo 6: Introduzione a Apache Spark Cos'è Apache Spark e come si differenzia da Hadoop MapReduce L'architettura di Spark: RDD (Resilient Distributed Datasets) e DataFrames Vantaggi principali di Spark rispetto a Hadoop Spark in-memory computing Installazione e configurazione di Apache Spark Modulo 7: RDD e DataFrame in Spark Cos'è un RDD e come viene creato Operazioni principali sugli RDD: trasformazioni e azioni Cos'è un DataFrame e differenze con gli RDD Operazioni sui DataFrame: filtri, aggregazioni, joins L'ottimizzazione delle operazioni con Catalyst Optimizer Modulo 8: Spark SQL e Gestione dei Dati Cos'è Spark SQL e come interagire con i dati Esecuzione di query SQL su Spark Utilizzo di Hive con Spark SQL Connessione di Spark a fonti di dati esterne (relazionali, NoSQL, file) Gestione dei metadati con Data Catalog Modulo 9: Analisi dei Dati con Spark MLlib Introduzione a Spark MLlib: la libreria di machine learning di Spark I concetti di base del machine learning: modelli, training e predizione Tecniche di classificazione, regressione e clustering in MLlib Utilizzo di Spark MLlib per il pre-processing dei dati Applicazione di modelli di machine learning su Big Data Modulo 10: Analisi e Visualizzazione dei Dati la visualizzazione dei Big Data Strumenti di visualizzazione compatibili con Hadoop e Spark: Tableau, Power BI, D3.js Creazione di grafici e cruscotti per esplorare e comunicare i risultati Come Spark interagisce con strumenti di visualizzazione Tecniche di esplorazione interattiva dei dati Modulo 11: Streaming in Apache Spark Cos'è Spark Streaming e come differisce da Spark batch processing Utilizzo di Spark Streaming per elaborare flussi di dati in tempo reale L'architettura di Spark Streaming: DStream, windowing, stateful processing Esempi di applicazioni di Spark Streaming: monitoraggio dei social media, analisi in tempo reale Integrazione di Spark Streaming con altre tecnologie (Kafka, Flume) Modulo 12: Machine Learning con Spark (MLlib e ML) Cos'è MLlib e la sua evoluzione in ML Costruire e allenare modelli di machine learning su Spark Tecniche di classificazione, clustering, regressione e raccomandazione Creazione di pipeline di machine learning su Big Data Ottimizzazione e valutazione dei modelli di machine learning Modulo 13: Big Data e Analytics su Cloud L'utilizzo di Hadoop e Spark su piattaforme cloud (Amazon EMR, Google Dataproc, Microsoft Azure HDInsight) Vantaggi dell'analisi dei Big Data nel cloud Architettura cloud-native per Big Data analytics Deployment di cluster Hadoop e Spark nel cloud Integrare Hadoop e Spark con altre soluzioni cloud per Big Data Modulo 14: Sicurezza e Governance dei Dati La sicurezza in Hadoop: gestione dell'accesso ai dati e dei permessi Sicurezza in Apache Spark: configurazioni di accesso e autenticazione Tecniche di crittografia dei dati nei sistemi distribuiti Governance dei dati: tracciamento, audit e conformità alle normative Come garantire la privacy dei dati in ambienti Big Data Modulo 15: Best Practices e Ottimizzazione per Big Data Analytics Best practices nella gestione dei Big Data con Hadoop e Spark Ottimizzazione delle prestazioni in Hadoop: configurazione dei nodi e parallelizzazione Ottimizzazione delle operazioni di Spark: cache, partizionamento, e gestione della memoria Come affrontare la gestione dei dati e la scalabilità in progetti reali Il futuro dei Big Data: nuove tendenze e tecnologie emergenti