Data engineering avanzato (pipelines, orchestration, streaming)

Modulo 1: Il Data Engineering Definizione e importanza del Data Engineering. Differenza tra Data Engineering e Data Science. Panoramica sulle tecnologie e strumenti principali Modulo 2: Architettura dei Sistemi di Data Engineering Modelli architetturali (Batch vs Streaming). Integrazione e flusso dei dati in un'architettura di Data Engineering. Principi di progettazione per sistemi scalabili. Modulo 3: Pipelines di Dati: Concetti e Design Cos’è una pipeline di dati. Tipologie di pipeline: batch e in tempo reale. Progettazione di pipeline robuste e scalabili. Modulo 4: Data Warehousing e Data Lakes Differenze tra Data Warehouse e Data Lake. Tecniche di integrazione dei dati per Data Warehouses e Data Lakes. Storage e gestione dei dati strutturati e non strutturati. Modulo 5: Orchestrazione delle Pipeline di Dati Introduzione all'orchestrazione dei flussi di dati. Strumenti di orchestrazione (Apache Airflow, Prefect, Luigi). Best practices per la gestione dei workflow. Modulo 6: ETL e ELT: Principi e Strumenti Differenze tra ETL ed ELT. Progettazione di flussi ETL e ELT. Strumenti per l'automazione (Talend, Apache NiFi, dbt). Modulo 7: Gestione dei Dati in Tempo Reale Concetti di dati in tempo reale e latenza. Streaming vs batch processing. Tecnologie per il processing dei dati in tempo reale (Apache Kafka, Apache Flink, Apache Storm). Modulo 8: Data Integration e Data Quality Concetti di integrazione dei dati. Data Quality: definizione, metriche e strategie di miglioramento. Tecniche di data cleaning e data profiling. Modulo 9: Scalable Data Processing con Apache Spark Introduzione a Apache Spark. Concetti di base di Spark (RDD, DataFrame, DAG). Spark per il batch processing e il real-time processing. Modulo 10: Streaming di Dati con Apache Kafka Concetti base di Apache Kafka (topic, broker, producer, consumer). Architettura e design di sistemi di streaming con Kafka. Integrazione di Kafka con altri strumenti di processing. Modulo 11: Gestione e Orchestrazione dei Dati con Kubernetes Introduzione a Kubernetes e concetti fondamentali. Utilizzo di Kubernetes per il data engineering. Orchestrazione di job di Data Engineering con Kubernetes. Modulo 12: Gestione dei Flussi di Lavoro con Apache Airflow ntroduzione a Apache Airflow. Definizione di DAG (Directed Acyclic Graph). Monitoraggio e gestione dei flussi di lavoro con Airflow. Modulo 13: Monitoraggio e Logging nelle Pipeline di Dati Importanza del monitoraggio nei sistemi di Data Engineering. Tecniche di logging e monitoraggio dei flussi di dati. Strumenti di monitoraggio (Prometheus, Grafana, ELK Stack). Modulo 14: Data Governance e Sicurezza nei Sistemi di Dati Principi di Data Governance. Sicurezza dei dati e privacy (GDPR, crittografia). Best practices di sicurezza in pipeline e sistemi di dati. Modulo 15: Tendenze Future nel Data Engineering Intelligenza Artificiale e Machine Learning nel Data Engineering. Evoluzione delle tecnologie di orchestrazione e streaming. Il futuro delle architetture di dati nel cloud.