Big Data Analytics con Python e Spark 2.4: il Corso Pratico

Contenido del curso
Cosa sono i Big Data ?
I vantaggi dei Big Data
Le tecnologie per i Big Data: Hadoop MapReduce
Le tecnologie per i Big Data: Spark
Leggi questo prima di iniziare !
Usare VirtualBox per Creare una Macchina Virtuale
Installare Ubuntu sulla Macchina Virtuale
Installare Pip e Jupyter Notebook
Installare Java e Scala
Installare Spark sulla Machina Virtuale
Creare una Macchina Virtuale con AWS EC2
Installare Spark sulla Machina Remota
Non dimenticare questo !
Creazione di un Cluster con AWS EMR (Elastic Map Reduce)
Utilizzare Spark con DataBricks
Importare i Notebook su DataBricks
Introduzione al RDD
Azioni del RDD
MapReduce sul RDD
Trasformazioni sul RDD
RDD con chiave e valore
Procuriamoci il Dataset
Contiamo il numero di valutazioni
Contiamo il numero di libri
Contiamo il numero di valutazioni per libro
Troviamo i 10 libri più valutati
Calcoliamo la valutazione media per ogni libro
Troviamo i 10 libri con la valutazione più alta
Troviamo i 10 recensori più critici
Introduzione al DataFrame
Creazione di un DataFrame
Modificare lo Schema di un DataFrame
Operare su Righe e Colonne
Filtri, Aggregazione e Ordinamento
Query SQL su un DataFrame
(Opzionale) Query SQL di Selezione
Procuriamoci il Dataset MovieLens
Creiamo il DataFrame
Correggiamo lo Schema
Contiamo il numero di Recensioni Totali e la Media per Utente
Troviamo l'Utente che ha Scritto più Recensioni
Troviamo i 10 Film che hanno ricevuto più Recensioni
Troviamo i 10 Film con le Recensioni più Positive e più Negative
Troviamo le 10 Recensioni più Recenti
Troviamo i Film più Visti ogni Anno
Aggiungiamo Titolo e Genere alla lista dei Film più Visti
Procuriamoci il Valore Giornaliero delle Azioni di Apple dal 1980 a Oggi
Creiamo il DataFrame e Correggiamo lo Schema
Troviamo i Valori Massimi e Minimi
Troviamo i giorni in cui il Valore è stato inferiore ai 100 $
Troviamo il Valore Massimo per ogni Anno
Troviamo l'Anno con i Volumi Maggiori