Corso Online: Big Data Analytics con Python e Spark
Corso
Online
Hai bisogno di un coach per la formazione?
Ti aiuterà a confrontare vari corsi e trovare l'offerta formativa più conveniente.
Descrizione
-
Tipologia
Corso
-
Livello
Livello base
-
Metodologia
Online
-
Ore di lezione
12h
-
Durata
Flessible
Se l’analisi di grossi quantitativi di dati sta diventando sempre di più una necessità, non solo nel campo del marketing, ma anche di settori come la medicina e la diagnostica, da alcuni anni ci si sta ponendo il problema di quali siano le metodologie migliori per trarre quanta più informazione utile possibile dai grandi dataset che possono essere reperiti in vari modi su Internet (ad esempio, nel caso di analisi di social media) o fanno parte del patrimonio di un’azienda.
Di conseguenza, anche dal lato dell’organizzazione dei dati sono nati dei framework particolari per la gestione di queste grosse quantità di dati, il più recente dei quali è Spark, che può essere utilizzato con molti linguaggi di programmazione, dei quali R è il più recente. Per questa ragione molte possibili analisi dati possono venire implementate tramite i due pacchetti per la gestione di Spark in linguaggio R, che sono SparkR e sparklyr.
Informazioni importanti
Prezzo per gli utenti Emagister: Prezzo con promozione 29,90 euro
Profilo del corso
In questo corso impareremo a lavorare con i Big Data utilizzando Spark, il framework per il calcolo distribuito più popolare al mondo, usato in produzione da giganti come Amazon, Microsoft, Oracle, Verizon e Cisco.
Il corso è rivolto a tutti coloro i quali hanno curiosità sul tema o vogliono approfondire meglio questo argomento con spunti e strategie pratiche.
A termine del corso sarà possibile scaricare un certificato di frequenza personalizzato.
Da oltre 10 anni IGEA è attiva con ottimi risultati nella formazione. I corsi di formazione di IGEA si caratterizzano per l'alta qualità dei contenuti e della formazione, risultato di una attento processo di selezione dei docenti e di cura nella realizzazione dei contenuti. I corsi online di IGEA sono disponibili per sempre e l'allievo può seguire le lezioni per innumerevoli volte, anche a distanza di tempo. La formazione di IGEA, anche online, è mirata al SAPER FARE, con l'obiettivo finale di accrescere le competenze degli allievi, spendibili subito professionalmente.
Subito dopo aver ricevuto la tua richiesta la segreteria di IGEA ti contatterà per rispondere a tutte le tue domande e guidarti nella procedura di iscrizione e di pagamento.
Opinioni
Successi del Centro
Tutti i corsi devono essere aggiornati
La media delle valutazioni dev'essere superiore a 3,7
Più di 50 opinioni degli ultimi 12 mesi
14 anni del centro in Emagister.
Materie
- Analisi dati
- Gestione contenuti
- Programmazione
- Python
- Spark
Professori
IGEA Centro Promozione Salute
Formazione
Programma
Cap.01 Introduzione
- Lezione 1.1 Cosa sono i Big Data | 04:54 minuti
- Lezione 1.2 I vantaggi dei Big Data | 06:55 minuti
- Lezione 1.3 Le tecnologie per i Big Data- Hadoop MapReduce | 08:13 minuti
- Lezione 1.4 Le tecnologie per i Big Data- Spark | 06:28 minuti
Cap.02 Installazione di Spark in locale con VirtualBox
- Lezione 2.1 Usare VirtualBox per Creare una Macchina Virtuale | 06:24 minuti
- Lezione 2.2 Installare Ubuntu sulla Macchina Virtuale | 03:59 minuti
- Lezione 2.3 Installare Pip e Jupyter Notebook | 04:43 minuti
- Lezione 2.4 Installare Java e Scala | 02:01 minuti
- Lezione 2.5 Installare Spark sulla Machina Virtuale | 07:12 minuti
Cap.03 Creare una macchina virtuale AWS EC2
- Lezione 3.1 Creare una Macchina Virtuale con AWS EC2 | 06:03 minuti
- Lezione 3.2 Installare Spark sulla Machina Remota | 10:12 minuti
Cap.04 Creare un Cluster con AWS EMR
- Lezione 4.1 Creazione di un Cluster con AWS EMR (Elastic Map Reduce) | 10:06 minuti
Cap.05 Utilizzare Spark con DataBricks
- Lezione 5.1 Utilizzare Spark con DataBricks | 10:21 minuti
- Lezione 5.2 Importare i Notebook su DataBricks | 01:53 minuti
Cap.06 Il Resilient Distributed Dataset (RDD)
- Lezione 6.1 Introduzione al RDD | 05:03 minuti
- Lezione 6.2 Azioni del RDD | 08:55 minuti
- Lezione 6.3 MapReduce sul RDD | 07:57 minuti
- Lezione 6.4 Trasformazioni sul RDD | 06:41 minuti
- Lezione 6.5 RDD con chiave e valore | 12:52 minuti
Cap.07 Analisi di 225 Milioni di Recensioni su Amazon [Laboratorio]
- Lezione 7.1 Procuriamoci il Dataset | 03:22 minuti
- Lezione 7.2 Contiamo il numero di valutazioni | 05:40 minuti
- Lezione 7.3 Contiamo il numero di libri | 02:30 minuti
- Lezione 7.4 Contiamo il numero di valutazioni per libro | 02:55 minuti
- Lezione 7.5 Troviamo i 10 libri più valutati | 05:58 minuti
- Lezione 7.6 Calcoliamo la valutazione media per ogni libro | 11:49 minuti
- Lezione 7.7 Troviamo i 10 libri con la valutazione più alta | 06:55 minuti
- Lezione 7.8 Troviamo i 10 recensori più critici | 06:21 minuti
Cap.08 Il DataFrame
- Lezione 8.1 Introduzione al DataFrame | 03:43 minuti
- Lezione 8.2 Creazione di un DataFrame | 06:22 minuti
- Lezione 8.3 Modificare lo Schema di un DataFrame | 03:36 minuti
- Lezione 8.4 Operare su Righe e Colonne | 08:45 minuti
- Lezione 8.5 Filtri, Aggregazione e Ordinamento | 11:57 minuti
- Lezione 8.6 Query SQL su un DataFrame | 04:35 minuti
- Lezione 8.7 (Opzionale) Query SQL di Selezione | 13:14 minuti
Cap.09 Analisi di 28 milioni di Recensioni di Film [Laboratorio]
- Lezione 9.1 Procuriamoci il Dataset MovieLens | 03:00 minuti
- Lezione 9.2 Creiamo il DataFrame | 06:18 minuti
- Lezione 9.3 Correggiamo lo Schema | 07:24 minuti
- Lezione 9.4 Contiamo il numero di Recensioni Totali e la Media per Utente | 04:51 minuti
- Lezione 9.5 Troviamo l'Utente che ha Scritto piu? Recensioni | 02:21 minuti
- Lezione 9.6 Troviamo i 10 Film che hanno ricevuto più Recensioni | 02:38 minuti
- Lezione 9.7 Troviamo i 10 Film con le Recensioni più Positive e più Negative | 09:48 minuti
- Lezione 9.8 Troviamo le 10 Recensioni più Recenti | 01:16 minuti
- Lezione 9.9 Troviamo i Film più Visti ogni Anno | 13:53 minuti
- Lezione 9.10 Aggiungiamo Titolo e Genere alla lista dei Film più Visti | 06:46 minuti
Cap.10 Time Series - Analisi delle Azioni di Apple [Laboratorio]
- Lezione 10.1 Procuriamoci il Valore Giornaliero delle Azioni di Apple | 02:19 minuti
- Lezione 10.2 Creiamo il DataFrame e Correggiamo lo Schema | 08:39 minuti
- Lezione 10.3 Troviamo i Valori Massimi e Minimi | 02:39 minuti
- Lezione 10.4 Troviamo i giorni in cui il Valore è stato inferiore ai 100 $ | 03:13 minuti
- Lezione 10.5 Troviamo il Valore Massimo per ogni Anno | 02:38 minuti
- Lezione 10.6 Troviamo l'Anno con i Volumi Maggiori | 01:58 minuti
- Lezione 10.7 Calcoliamo la Variazione delle Azioni dopo il rilascio dell'iPhone | 07:26 minuti
Cap.11 Machine Learning con Spark MLlib
- Lezione 11.1 Cosa è il Machine Learning | 05:56 minuti
- Lezione 11.2 I problemi del Machine Learning | 04:21 minuti
- Lezione 11.3 La Regressione Lineare e Logistica | 14:37 minuti
- Lezione 11.4 (Opzionale) L'algoritmo Gradient Descent | 07:58 minuti
- Lezione 11.5 Introduzione a Spark MLlib | 05:08 minuti
Cap.12 Kaggle e le sue API
- Lezione 12.1 Introduzione a Kaggle | 03:48 minuti
- Lezione 12.2 Creazione di un Account | 02:37 minuti
- Lezione 12.3 Utilizzare le API di Kaggle | 02:32 minuti
- Lezione 12.4 Scaricare un Dataset con le API | 01:56 minuti
- Lezione 12.5 Scaricare il Dataset di una Competizione con le API | 04:12 minuti
Cap.13 Machine Learning Supervisionato - Regressione
- Lezione 13.1 Procuriamoci il Dataset | 05:24 minuti
- Lezione 13.2 Vettorizzazione delle Features | 04:07 minuti
- Lezione 13.3 Applichiamo la Normalizzazione | 03:30 minuti
- Lezione 13.4 Creare un modello di Regressione Lineare | 03:53 minuti
- Lezione 13.5 Valutazione del Modello | 01:08 minuti
- Lezione 13.6 Metriche - Mean Squared Error | 01:15 minuti
- Lezione 13.7 Metriche - Root Mean Squared Error e Mean Absolute Error | 02:11 minuti
- Lezione 13.8 Metriche - R2 - Coefficiente di Determinazione | 01:53 minuti
- Lezione 13.9 Eseguire Predizioni con il Modello | 06:06 minuti
Cap.14 Machine Learning Supervisionato - Classificazione
- Lezione 14.1 Procuriamoci il Dataset di Tumori al Seno | 02:12 minuti
- Lezione 14.2 Creiamo il DataFrame | 03:25 minuti
- Lezione 14.3 Vettorizzazione delle Features | 04:11 minuti
- Lezione 14.4 Applichiamo la Standardizzazione | 02:27 minuti
- Lezione 14.5 Codifichiamo il Target | 03:03 minuti
- Lezione 14.6 Creare un Modello di Regressione Logistica | 01:47 minuti
- Lezione 14.7 Metriche - L'Accuracy | 01:49 minuti
- Lezione 14.8 Metriche - Precision e Recall | 02:46 minuti
- Lezione 14.9 Testiamo il modello sulle nuove Agobiopsie | 05:13 minuti
Cap.15 Sentiment Analysis sulle Recensioni di Yelp [Laboratorio]
- Lezione 15.1 Sentiment Analysis | 10:34 minuti
- Lezione 15.2 Procuriamoci il Dataset | 04:00 minuti
- Lezione 15.3 Creiamo il DataFrame | 08:01 minuti
- Lezione 15.4 Rimuoviamo la Punteggiatura | 04:43 minuti
- Lezione 15.5 Eseguiamo la Tokenizzazione | 01:56 minuti
- Lezione 15.6 Rimuoviamo le Stop Words | 01:55 minuti
- Lezione 15.7 Creiamo un modello Bag of Words | 07:46 minuti
- Lezione 15.8 Codifichiamo il Target | 03:06 minuti
- Lezione 15.9 Il Problema dell'Overfitting | 03:15 minuti
- Lezione 15.10 Applichiamo la Regolarizzazione | 02:24 minuti
- Lezione 15.11 Il Problema delle Classi Sbilanciate | 02:21 minuti
- Lezione 15.12 Bilanciamo il DataFrame e Creiamo il Modello | 05:28 minuti
- Lezione 15.13 Carichiamo il Dataset su un Bucket S3 | 05:00 minuti
- Lezione 15.14 Creiamo il Cluster con EMR | 09:45 minuti
- Lezione 15.15 Il Modello TF IDF | 03:44 minuti
- Lezione 15.16 Cerchiamo delle Recensioni su TripAdvisor | 07:39 minuti
- Lezione 15.17 Preprocessiamo le nuove Recensioni | 03:08 minuti
- Lezione 15.18 Testiamo il modello sulle nuove Recensioni | 02:30 minuti
Cap.16 Spark Streaming
- Lezione 16.1 Introduzione a Spark Streaming e al DStream | 04:26 minuti
- Lezione 16.2 Esempio di Echo Streaming | 05:57 minuti
- Lezione 16.3 Processare il DStream | 02:51 minuti
- Lezione 16.4 Esempio di Monitor di Keywords | 04:27 minuti
- Lezione 16.5 Creare uno Stato per il DStream | 05:18 minuti
- Lezione 16.6 Salvare il DStream in una Tabella SQL Temporanea | 03:56 minuti
Cap.17 Analisi in Tempo Reale dei Tweets pubblicati su Twitter [Laboratorio]
- Lezione 17.1 Creiamo un Account Sviluppatore su Twitter | 06:45 minuti
- Lezione 17.2 Creiamo la nostra Twitter App | 03:23 minuti
- Lezione 17.3 Creiamo lo Stream dei Tweets | 08:26 minuti
- Lezione 17.4 Creiamo una Data Source Custom con un Socket | 06:55 minuti
- Lezione 17.5 Eseguiamo lo Stream dei Tweets con Spark | 04:05 minuti
- Lezione 17.6 Estraiamo gli Hashtags dai Tweets | 02:39 minuti
- Lezione 17.7 Creiamo un DataFrame con gli Hashtags piu? popolari | 12:05 minuti
- Lezione 17.8 Salviamo i Tweets in una Tabella SQL Temporanea | 04:46 minuti
- Lezione 17.9 Mostriamo gli Hashtags in un Grafico Dinamico | 09:00 minuti
- Lezione 17.10 (Bonus) Mostriamo gli Hashtags in un Grafico Dinamico | 04:10 minuti
Hai bisogno di un coach per la formazione?
Ti aiuterà a confrontare vari corsi e trovare l'offerta formativa più conveniente.
Corso Online: Big Data Analytics con Python e Spark