Corso di Aggiornamento su Data Engineering

Modulo 1: Data Engineering Cos'è il Data Engineering e la sua importanza nell'ecosistema della data science. Differenza tra Data Engineering e Data Science. Le principali aree di competenza del Data Engineer: raccolta, trasformazione e distribuzione dei dati. Overview dei principali strumenti e tecnologie usate nel Data Engineering. Modulo 2: Fondamenti di Infrastruttura Dati Architetture moderne di gestione dei dati: database relazionali, NoSQL, data lakes, data warehouses. Il concetto di Big Data e la gestione dei volumi elevati di dati. Storage distribuito e sistemi di file paralleli: Hadoop, HDFS, Amazon S3. Differenze tra sistemi OLTP e OLAP. Modulo 3: Data Warehousing e Data Lakes Cos'è un Data Warehouse: progettazione, struttura e funzionalità. Cos'è un Data Lake: vantaggi e svantaggi rispetto a un Data Warehouse. Architettura moderna di un Data Warehouse (es. Snowflake schema, Star schema). Come progettare un Data Lake scalabile ed efficiente. Modulo 4: ETL (Extract, Transform, Load) Cos'è il processo ETL e la sua importanza nel Data Engineering. Panoramica degli strumenti ETL tradizionali e moderni. Tecniche di estrazione, trasformazione e caricamento dei dati. Introduzione ai concetti di ELT (Extract, Load, Transform) e differenze con ETL. Modulo 5: Automazione dei Flussi di Dati (Data Pipelines) Cos’è una data pipeline e come costruirla. Strumenti di automazione per il Data Engineering: Apache Airflow, Luigi. Come progettare e ottimizzare pipeline di dati robuste e scalabili. Tecniche di monitoraggio e logging per pipeline di dati. Modulo 6: Gestione e Orchestrazione di Dati in Tempo Reale Flussi di dati in tempo reale e differenze con batch processing. Architetture basate su eventi: Apache Kafka, Apache Pulsar. Il concetto di Stream Processing e i principali strumenti: Apache Flink, Apache Storm. Come integrare i sistemi di elaborazione in tempo reale con i tradizionali sistemi batch. Modulo 7: Database Relazionali e NoSQL Introduzione ai database relazionali: concetti fondamentali e progettazione di schema. Cos'è un database NoSQL e quando usarlo: MongoDB, Cassandra, Redis. Vantaggi e svantaggi dei database relazionali vs NoSQL. Casi d’uso per database relazionali e NoSQL nel Data Engineering. Modulo 8: Data Governance e Sicurezza dei Dati Cos’è la Data Governance e la sua importanza nel Data Engineering. Strategie per garantire la qualità dei dati. Controllo degli accessi, auditing e compliance nei flussi di dati. Tecniche di sicurezza dei dati: crittografia, anonimizzazione, e protezione da accessi non autorizzati. Modulo 9: Big Data e Framework di Elaborazione Distribuita Cos'è il Big Data e perché è fondamentale nel Data Engineering. Panoramica su Hadoop e il suo ecosistema (HDFS, MapReduce, YARN). Apache Spark: come funziona e differenze con Hadoop. Applicazioni di Spark in Data Engineering: elaborazione distribuita e analisi dei dati. Modulo 10: Data Modeling e Progettazione di Dati Cos’è il Data Modeling e perché è cruciale nel Data Engineering. Modelli concettuali, logici e fisici dei dati. La progettazione di database relazionali e non relazionali. Best practices nella normalizzazione e denormalizzazione dei dati. Modulo 11: Integrazione di Dati e API Cos'è l'integrazione dei dati e come gestirla. Come raccogliere e aggregare i dati da diverse fonti (API, database esterni, web scraping). Utilizzo delle API per l'integrazione di dati in tempo reale. Strumenti e tecniche per l’integrazione di dati tra sistemi aziendali e piattaforme esterne. Modulo 12: Cloud Computing e Data Engineering Panoramica sul Cloud Computing: AWS, Google Cloud, Microsoft Azure. Utilizzo del cloud per storage, computazione e distribuzione dei dati. Servizi cloud per il Data Engineering: Amazon Redshift, Google BigQuery, Azure Data Lake. Progettazione e scalabilità di architetture di data engineering nel cloud. Modulo 13: Machine Learning e Data Engineering Come il Data Engineering supporta il Machine Learning. Preparazione dei dati per il machine learning: feature engineering, pulizia e normalizzazione. Strumenti di pipeline di machine learning: TensorFlow Extended (TFX), MLflow. Integrazione del Data Engineering con modelli di machine learning in produzione. Modulo 14: Performance e Ottimizzazione dei Dati Tecniche di ottimizzazione per sistemi di gestione dei dati. Ottimizzazione delle query SQL e miglioramento delle performance nei database. Strumenti di caching per migliorare la velocità di accesso ai dati. Scelta e ottimizzazione dei formati di dati: Parquet, ORC, Avro. Modulo 15: Tendenze Future nel Data Engineering L’evoluzione del Data Engineering: nuove tecnologie, framework e approcci. Il ruolo crescente dell'intelligenza artificiale e dell'automazione nel Data Engineering. Le sfide della gestione dei dati: privacy, scalabilità e velocità. Come prepararsi per il futuro del Data Engineering: tecnologie emergenti e best practices.