Strumenti di gestione dei dati distribuiti (Hadoop, Spark).

Modulo 1: la gestione dei dati distribuiti Cos'è la gestione dei dati distribuiti? Differenze tra sistemi centralizzati e distribuiti. Vantaggi e sfide della gestione dei dati distribuiti. Modulo 2: Architettura di Hadoop Panoramica di Hadoop e del suo ecosistema. Componenti principali di Hadoop: HDFS, YARN, MapReduce. Come Hadoop gestisce i dati distribuiti. Modulo 3: HDFS: Il sistema di file distribuito di Hadoop Funzionamento di HDFS (Hadoop Distributed File System). Blocchi di dati e replica. Lettura e scrittura dei dati su HDFS. Modulo 4: YARN e il job scheduling in Hadoop Cos'è YARN (Yet Another Resource Negotiator). Funzionamento del job scheduler in Hadoop. Gestione delle risorse in un cluster Hadoop. Modulo 5: MapReduce: Introduzione e concetti Cos'è MapReduce e come funziona. Il ciclo di vita di un job MapReduce. Esempio di un programma MapReduce. Modulo 6: Esecuzione di lavori MapReduce su Hadoop Scrittura di programmi MapReduce in Java. Esecuzione di un programma MapReduce su Hadoop. Debugging e ottimizzazione di lavori MapReduce. Modulo 7: Introduzione a Apache Spark Cos'è Apache Spark e come si differenzia da Hadoop. Vantaggi di Spark rispetto a MapReduce. Componenti principali di Spark: RDD, DataFrame, SparkSQL. Modulo 8: Architettura di Apache Spark Come funziona Apache Spark: Driver, Executor, Cluster Manager. Spark Context e gestione delle risorse. Spark in modalità standalone, YARN, Mesos. Modulo 9: RDD (Resilient Distributed Dataset) e operazioni di Spark Cos'è un RDD e come gestisce i dati distribuiti. Operazioni su RDD: map, filter, reduce. Persistenza e caching degli RDD. Modulo 10: SparkSQL e DataFrames Introduzione a SparkSQL e come integrare SQL con Spark. Creazione e manipolazione di DataFrames. Esecuzione di query SQL su Spark. Modulo 11: Machine Learning con Apache Spark (MLlib) Introduzione a MLlib per l'apprendimento automatico su Spark. Creazione di modelli di machine learning con Spark. Esempi di regressione, classificazione e clustering. Modulo 12: Streaming con Apache Spark (Spark Streaming) Cos'è Spark Streaming e come funziona. Elaborazione dei dati in tempo reale con DStreams. Esempi di applicazioni di Spark Streaming. Modulo 13: Integrazione tra Hadoop e Spark Come utilizzare Spark con HDFS. Lettura e scrittura di dati tra Hadoop e Spark. Vantaggi dell'uso combinato di Hadoop e Spark. Modulo 14: Ottimizzazione delle performance in Hadoop e Spark Ottimizzazione di MapReduce su Hadoop. Ottimizzazione dei job Spark: caching, partizionamento. Best practices per migliorare la velocità e l'efficienza. Modulo 15: Monitoraggio, gestione e sicurezza in ambienti distribuiti Monitoraggio delle risorse e dei job in Hadoop e Spark. Gestione della sicurezza: autenticazione, autorizzazione e crittografia. Strumenti di monitoraggio (Ganglia, Ambari) e log di sistema.