Corso Big Data con Hadoop e Spark
-
Ho seguito il Corso Big Data Engineer con Hadoop & Spark e l'ho trovato fantastico! Gli insegnati sono veramente molto preparati e entusiasti della materia, personalizzazione delle lezioni in base al livello di preparazione, approfondimento di diversi argomenti. Lo consiglio molto! Spero di poter seguire un altro corso a breve. Innovaformazione grazie per l'ottima organizzazione!
← | →
Corso
A Distanza
Hai bisogno di un coach per la formazione?
Ti aiuterà a confrontare vari corsi e trovare l'offerta formativa più conveniente.
-
Slash School
Corso OnlinePrezzo da consultare -
Euroinnova Formazione
Master Online1.495 € +IVA -
Musa Formazione
Corso OnlinePrezzo da consultare -
EDUCA BUSINESS SCHOOL.
Master Online1.200 € -
EIFORM - Ente Italiano di Formazione
Corso Online1.400 € -
E.A.Enterprise
Corso Online244 € -
Università Telematica Internazionale Uninettuno
Laurea Triennale Online2.000 €
Descrizione
-
Tipologia
Laboratorio intensivo
-
Metodologia
A distanza
-
Ore di lezione
40h
-
Durata
5 Giorni
-
Inizio
Scegli data
-
Campus online
Sì
-
Invio di materiale didattico
Sì
-
Lezioni virtuali
Sì
Il mondo odierno è dominato da una miriade di dati. Produciamo dati ed informazioni in ogni giorno, in ogni momento, in qualsiasi situazione e posizione. L’avvento dei social media, delle infrastrutture dei dispositivi connessi (IoT) e dell’utilizzo degli smartphone hanno finito per creare la necessità di immagazzinare, gestire e riutilizzare questa grande mole di informazioni.
Questa moltitudine di dati è chiamata “BIG DATA” . Con essi è possibile studiare eventi di ogni tipo, creare reti sociali intelligenti ed in particolare creare nuove applicazioni di Business Intelligence.
L’immagazzinamento dei dati è destinato al continuo aumento tanto che tra pochi anni arriveremo a gestire 45 zettabytes di dati.
La vera rivoluzione sta sostanzialmente nella cattura dei dati e nella creazione di algoritmi capaci di collegare le informazioni e interpretarli per approcci fin’ora inimmaginabili e con tempi ridottissimi.
Ogni settore di business può essere interessato al riutilizzo dei BIG DATA e ognuno può avere scopi differenti.
Nell’e-commerce si riutilizzano i dati degli acquirenti per applicare i cosi detti “metodi di raccomandazione”, ovvero inviare proposte di acquisto in base ai gusti e alle precedenti transazioni. Le banche possono riutilizzare i dati dei clienti per proporre diversi tipi di investimenti, le assicurazioni possono analizzare i dati del profilo cliente per interpretare la propensione al risparmio o la capacità di rimborso del debito o del mutuo.
Alcuni esperti indicano le tecnologie di gestione dei Big Data come la “Business Intelligence” del futuro con un mercato in grandissima espansione.
I principali strumenti per lo sviluppo applicazioni con i Big Data sono Hadoop e Spark, framework opensource.
Sedi e date
Luogo
Inizio del corso
Inizio del corso
Profilo del corso
formare lo studente con conoscenze basi e tecniche per lo sviluppo di progetti di importazione dati (Big Data) nel cluster Apache Hadoop e come processarli nell’ecosistema con gli appositi strumenti (Spark, Impala, Hide, Flume e Sqoop)
Programmatori, laureati o diplomati in informatica con nozioni base di programmazione in Python
Corso Big Data con Hadoop e Spark
Opinioni
-
Ho seguito il Corso Big Data Engineer con Hadoop & Spark e l'ho trovato fantastico! Gli insegnati sono veramente molto preparati e entusiasti della materia, personalizzazione delle lezioni in base al livello di preparazione, approfondimento di diversi argomenti. Lo consiglio molto! Spero di poter seguire un altro corso a breve. Innovaformazione grazie per l'ottima organizzazione!
← | →
Valutazione del corso
Lo consiglia
Valutazione del Centro
Ramona T.
Successi del Centro
Tutti i corsi devono essere aggiornati
La media delle valutazioni dev'essere superiore a 3,7
Più di 50 opinioni degli ultimi 12 mesi
10 anni del centro in Emagister.
Materie
- SQL
- Programmazione
- Apache
- Architettura web
- Architettura dell'informazione
- Big Data
- Big data engineer
- Database
- Database tuning
- SQL Server
Professori
Consulente Programmatore Senior
Docente
Docente programmatore Java e Mobile APP con pluriennale esperienza nel settore. Formatore specializzato nei corsi Android, iOS e Phonegap per lo sviluppo APP. Docente programmatore Java e Mobile APP con pluriennale esperienza nel settore. Formatore specializzato nei corsi Android, iOS e Phonegap per lo sviluppo APP.
Programma
PROGRAMMA (40 ore):
1. Introduzione ed Ecosistema
Introduzione ad Apache Hadoop
Panoramica Ecosistema Hadoop
Problematiche nei sistemi di grandi dati
Perchè Hadoop e i suoi vantaggi
2. Architettura Hadoop e HDFS
Introduzione ad Hadoop Distribuited File Sistem
Distrubuzione dei processi in un cluster
Storage:conservazione dati nell’architettura HDFS
Utilizzo e applicazioni con HDFS
Resource Management: Architettura YARN e utilizzi
3. Importazioni Dati Relazionali in Apache Sqoop
Panoramica Sqoop
Importazioni ed Esportazioni di base
Limitazioni dei risultati
Come migliorare le Performance di Sqoop
Sqoop 2
4. Impala e Hive
Introduzione
Vantaggi e motivi del loro utilizzo
Comparazione Hive con database tradizionali
Casi di utilizzo
5. Modellazione e Gestione dati con Impala e Hive
Panoramica Data Storage
Creazione database e tabelle
Caricamento dati nelle tabelle
Hcatalog
Catching Impala Metadati
6. Data Format
Selezione File Format
Hadoop Tool Support File Format
Avro Schemas
Utilizzo Avro con Hive e Sqoop
Avro Schema Evoluzione e Compressione
7. Partizionamento
Panoramica Partizionamento Dati
Partizionamento in Impala e Hive
8. Apache Flume: acquisizione dati
Introduzione
Architettura Basic Flume
Sorgenti, Sinks, Canali
Configurazione Flume
9. Apache Spark
Introduzione
Utilizzo Spark Shell
RDDs (Resilient Distributed Datasets)
Programmazione funzionale in Spark
10. RDDs in Spark
Applicazioni RDDs con Spark
Key-Value Pair RDDs
MapReduce
Operazioni RDD
11. Scrivere e Deployare Applicazioni in Spark
Differenza tra Spark Application e Spark Shell
Creazione Spark Context
Introduzione alla Programmazione in Scala e cenni di Python
Buildare un’ Applicazione Spark (Scala e Java)
Esecuzione dell’Applicazione Spark
WEB UI nell’Applicazione Spark
Configurazione Proprietà in Spark e registrazione
12. Programmazione Parallela con Spark
Panoramica: Spark in un cluster
Partizioni RDD
Partizionamento RDD File-Based
HDFS e Data Locality
Esecuzioni Operazioni Parallele
Fasi e Attività
13. Spark Catching e Persistenza
Lineage RDD
Panoramica Catching
Persistenza Distribuita
14. Modelli comuni nell’Elaborazione Dati in Spark
Casi d’uso comune in Spark
Algoritmi iterativi in Spark
Elaborazione Grafici e Analisi
Machine Learning
Esempio: K-Means
15. SQL Spark
Panoramica Spark SQL e SQL Context
Creazione DataFrames
Trasformazione e Interrogazione DataFrames
Salvataggio DataFrames
Confronto SQL Spark con Impala
Esercitazioni durante tutto il corso
Hai bisogno di un coach per la formazione?
Ti aiuterà a confrontare vari corsi e trovare l'offerta formativa più conveniente.
Corso Big Data con Hadoop e Spark
-
Slash School
Corso OnlinePrezzo da consultare -
Euroinnova Formazione
Master Online1.495 € +IVA -
Musa Formazione
Corso OnlinePrezzo da consultare -
EDUCA BUSINESS SCHOOL.
Master Online1.200 € -
EIFORM - Ente Italiano di Formazione
Corso Online1.400 € -
E.A.Enterprise
Corso Online244 € -
Università Telematica Internazionale Uninettuno
Laurea Triennale Online2.000 €