Corso di Big Data Analytics e Strumenti (Hadoop, Spark)

Modulo 1: Introduzione ai Big Data Cos’è un Big Data? Caratteristiche principali dei Big Data (Volume, Velocità, Varietà, Veridicità, e Valore). Storia e evoluzione dei Big Data. Applicazioni dei Big Data nel mondo reale. Impatti dei Big Data sulle industrie moderne. Modulo 2: Architettura dei Big Data Architettura tradizionale vs architettura dei Big Data. Sistemi distribuiti: definizione e principi. Concetti di scalabilità e tolleranza ai guasti. Panoramica di Hadoop e Spark come tecnologie fondamentali. Modulo 3: Introduzione a Hadoop Cos'è Hadoop e a cosa serve. Componenti principali di Hadoop: HDFS (Hadoop Distributed File System) e YARN (Yet Another Resource Negotiator). Installazione e configurazione di un cluster Hadoop di base. Differenze tra Hadoop 1.x e Hadoop 2.x. Modulo 4: Hadoop Distributed File System (HDFS) Principi di HDFS: architettura, file system distribuito. Funzionamento dei blocchi e della replica dei dati. Comandi di base per interagire con HDFS. Gestione dei file su HDFS. Modulo 5: YARN - Yet Another Resource Negotiator Cos'è YARN e quale ruolo ha in Hadoop. Come YARN gestisce le risorse e l’esecuzione dei job. Panoramica sul job scheduler di YARN. Gestione delle applicazioni e risorse in YARN. Modulo 6: Introduzione a Apache Spark Cos’è Apache Spark: un motore di elaborazione veloce e generale. Confronto tra Hadoop MapReduce e Apache Spark. Vantaggi di Spark rispetto a Hadoop in termini di performance. Come Spark interagisce con HDFS e altri sistemi di archiviazione. Modulo 7: Spark Core Panoramica di Spark Core: RDD (Resilient Distributed Datasets) e loro utilizzo. Comandi di base di Spark: trasformazioni e azioni su RDD. Gestione della memoria in Spark. Parallellismo e distribuzione delle risorse in Spark. Modulo 8: Spark SQL e DataFrames Introduzione a Spark SQL. Creazione di DataFrames e loro manipolazione. Esecuzione di query SQL su DataFrames. Integrare Spark SQL con altre sorgenti di dati (es. Hive, Parquet, JSON). Modulo 9: Spark Streaming Cos’è Spark Streaming e come funziona. Elaborazione di flussi di dati in tempo reale. Concetti di micro-batching. Architettura di Spark Streaming e integrazione con Kafka e altre fonti di streaming. Modulo 10: Machine Learning con Spark MLlib Cos’è Spark MLlib e il suo ruolo nell’elaborazione dei dati. Algoritmi di machine learning in Spark: classificazione, regressione, clustering. L’importanza di lavorare con dati distribuiti nel machine learning. Creazione di pipeline di machine learning in Spark. Modulo 11: Data Science e Big Data la Data Science nel contesto dei Big Data. Come applicare tecniche di analisi statistica su grandi volumi di dati. Visualizzazione dei dati e strumenti di analisi. Le sfide nell’elaborazione dei Big Data per Data Science. Modulo 12: Ecosistema Hadoop - Hive, HBase, Pig Introduzione a Hive: architettura e utilizzo per l’analisi dei dati. HBase: quando e perché usarlo, differenze con i tradizionali database relazionali. Pig: linguaggio di programmazione per l’elaborazione dei dati in Hadoop. Modulo 13: Sicurezza nei Big Data Le problematiche legate alla sicurezza dei Big Data. Tecniche di protezione dei dati in Hadoop e Spark. Gestione dei permessi e controlli di accesso. Criptografia e anonimizzazione dei dati nei sistemi distribuiti. Modulo 14: Architetture avanzate dei Big Data Architetture multi-cluster e multi-cloud per Big Data. Big Data on Cloud: Amazon Web Services, Google Cloud, Microsoft Azure. Migliori pratiche per la gestione e la protezione dei dati distribuiti. La futura evoluzione delle architetture Big Data. Modulo 15: Trend futuri e nuove frontiere dei Big Data Intelligenza Artificiale e Big Data: l'interazione tra i due campi. Blockchain e Big Data: potenziale e sfide. IoT (Internet of Things) e Big Data: l’esplosione dei dati provenienti dai dispositivi connessi. Prospettive future nel trattamento e nell’analisi dei Big Data.