Corso Hadoop & Spark Big Data Engineer
-
Ho realizzato il corso SAP FI-CO e sono molto contento. Il professore Lucio è preparato e sempre disponibile. Utile e ben organizzato. Il materiale fornito è magnifico.
← | →
-
Nel 2020 ho frequentato il corso SAP base moduli FI-CO e mi è piaciuto molto. Ho apprezzato molto la loro disponibilità e professionalità. Lo consiglio senza nessun dubbio.
← | →
Corso
A Distanza
Hai bisogno di un coach per la formazione?
Ti aiuterà a confrontare vari corsi e trovare l'offerta formativa più conveniente.
Descrizione
-
Tipologia
Corso
-
Livello
Livello base
-
Metodologia
A distanza
-
Ore di lezione
40h
-
Durata
5 Giorni
-
Inizio
Scegli data
-
Campus online
Sì
-
Invio di materiale didattico
Sì
-
Lezioni virtuali
Sì
Il Big Data Engineer è una figura prettamente informatica (sviluppatore) che lavora su tecnologie quali Hadoop (Apache) & Spark. Gestisce i cluster e l'infrastruttura tecnologica dei Big Data.
Tutte le aziende a partire dalle medio grandi (banche, assicurazioni, enti pubblici, ospedali ecc.) hanno strettamente bisogno di profili skillati su questi ambiti poichè ormai la mole di dati è diventata esponenziale grazie o a causa del web e di internet.
Innovaformazione eroga corsi di formazione per sviluppatori Hadoop & Spark, formando le figure chiamate Big Data Engineer
Sedi e date
Luogo
Inizio del corso
Inizio del corso
Profilo del corso
fornire le competenze base per programmare su progetti con Hadoop/Spark.
sviluppatori Java
conoscenza di Java
big data engineer Hadoop & Spark
docenti professionali con pluriennale esperienza sulle tecnologie in oggetto
rilasciare un recapito telefonico per essere ricontattati oppure visitare www.innovaformazione.net
Opinioni
-
Ho realizzato il corso SAP FI-CO e sono molto contento. Il professore Lucio è preparato e sempre disponibile. Utile e ben organizzato. Il materiale fornito è magnifico.
← | →
-
Nel 2020 ho frequentato il corso SAP base moduli FI-CO e mi è piaciuto molto. Ho apprezzato molto la loro disponibilità e professionalità. Lo consiglio senza nessun dubbio.
← | →
Valutazione del corso
Lo consiglia
Valutazione del Centro
Maurizio Tromba
Gaetano Giuffrida
Successi del Centro
Tutti i corsi devono essere aggiornati
La media delle valutazioni dev'essere superiore a 3,7
Più di 50 opinioni degli ultimi 12 mesi
10 anni del centro in Emagister.
Materie
- Apache
- Programmazione
- Hadoop
- Spark
- Big data engineer
- Big Data
- Hadoop developer
- Corso hadoop & spark
- Corso big data
- Innovaformazione
Professori
Consulente Programmatore Senior
Docente
Docente programmatore Java e Mobile APP con pluriennale esperienza nel settore. Formatore specializzato nei corsi Android, iOS e Phonegap per lo sviluppo APP. Docente programmatore Java e Mobile APP con pluriennale esperienza nel settore. Formatore specializzato nei corsi Android, iOS e Phonegap per lo sviluppo APP.
Programma
Obiettivi del Corso: formare lo studente con conoscenze basi e tecniche per lo sviluppo di progetti di importazione dati (Big Data) nel cluster Apache Hadoop e come processarli nell’ecosistema con gli appositi strumenti (Spark, Impala, Hide, Flume e Sqoop)
Requisiti per i discenti: Programmatori, laureati o diplomati in informatica con nozioni base di programmazione in Java.
PROGRAMMA (40 ore):
1. Introduzione ed Ecosistema
Introduzione ad Apache Hadoop
Panoramica Ecosistema Hadoop
Problematiche nei sistemi di grandi dati
Perchè Hadoop e i suoi vantaggi
2. Architettura Hadoop e HDFS
Introduzione ad Hadoop Distribuited File Sistem
Distrubuzione dei processi in un cluster
Storage:conservazione dati nell’architettura HDFS
Utilizzo e applicazioni con HDFS
Resource Management: Architettura YARN e utilizzi
3. Importazioni Dati Relazionali in Apache Sqoop
Panoramica Sqoop
Importazioni ed Esportazioni di base
Limitazioni dei risultati
Come migliorare le Performance di Sqoop
Sqoop 2
4. Impala e Hive
Introduzione
Vantaggi e motivi del loro utilizzo
Comparazione Hive con database tradizionali
Casi di utilizzo
5. Modellazione e Gestione dati con Impala e Hive
Panoramica Data Storage
Creazione database e tabelle
Caricamento dati nelle tabelle
Hcatalog
Catching Impala Metadati
6. Data Format
Selezione File Format
Hadoop Tool Support File Format
Avro Schemas
Utilizzo Avro con Hive e Sqoop
Avro Schema Evoluzione e Compressione
7. Partizionamento
Panoramica Partizionamento Dati
Partizionamento in Impala e Hive
8. Apache Flume: acquisizione dati
Introduzione
Architettura Basic Flume
Sorgenti, Sinks, Canali
Configurazione Flume
9. Apache Spark
Introduzione
Utilizzo Spark Shell
RDDs (Resilient Distributed Datasets)
Programmazione funzionale in Spark
10. RDDs in Spark
Applicazioni RDDs con Spark
Key-Value Pair RDDs
MapReduce
Operazioni RDD
11. Scrivere e Deployare Applicazioni in Spark
Differenza tra Spark Application e Spark Shell
Creazione Spark Context
Introduzione alla Programmazione in Scala e cenni di Python
Buildare un’ Applicazione Spark (Scala e Java)
Esecuzione dell’Applicazione Spark
WEB UI nell’Applicazione Spark
Configurazione Proprietà in Spark e registrazione
12. Programmazione Parallela con Spark
Panoramica: Spark in un cluster
Partizioni RDD
Partizionamento RDD File-Based
HDFS e Data Locality
Esecuzioni Operazioni Parallele
Fasi e Attività
13. Spark Catching e Persistenza
Lineage RDD
Panoramica Catching
Persistenza Distribuita
14. Modelli comuni nell’Elaborazione Dati in Spark
Casi d’uso comune in Spark
Algoritmi iterativi in Spark
Elaborazione Grafici e Analisi
Machine Learning
Esempio: K-Means
15. SQL Spark
Panoramica Spark SQL e SQL Context
Creazione DataFrames
Trasformazione e Interrogazione DataFrames
Salvataggio DataFrames
Confronto SQL Spark con Impala
Esercitazioni durante tutto il corso
Docente Big Data Engineer con pluriennale esperienza nel settore.
Corso erogato per le aziende, modalità online virtual classroom oppure per i privati anche in tipologia individuale.
Hai bisogno di un coach per la formazione?
Ti aiuterà a confrontare vari corsi e trovare l'offerta formativa più conveniente.
Corso Hadoop & Spark Big Data Engineer