Modelli di linguaggio come word embeddings (Word2Vec, GloVe).

Modulo 1: Introduzione ai modelli di linguaggio Definizione e importanza dei modelli di linguaggio nel trattamento del testo. Differenza tra modelli di linguaggio classici e moderni. Applicazioni dei modelli di linguaggio nel processamento del linguaggio naturale (NLP). Modulo 2: Cos'è un word embedding? Definizione di word embedding e la sua evoluzione. Confronto tra rappresentazioni sparse e dense dei termini. Vantaggi degli word embeddings rispetto alle rappresentazioni tradizionali come il one-hot encoding. Modulo 3: Il concetto di similarità semantica Cos'è la similarità semantica e come viene misurata. Utilizzo dei word embeddings per rappresentare la similarità tra parole. Applicazioni della similarità semantica nei modelli NLP. Modulo 4: Word2Vec: Fondamenti Introduzione a Word2Vec e come funziona. Approccio basato sul contesto: Word2Vec con le architetture Skip-Gram e CBOW (Continuous Bag of Words). Come Word2Vec apprende le rappresentazioni dei word embeddings. Modulo 5: L'algoritmo Skip-Gram di Word2Vec Dettagli sull'architettura Skip-Gram di Word2Vec. Come viene allenato il modello Skip-Gram. Analisi delle operazioni matematiche dietro Skip-Gram. Modulo 6: L'algoritmo CBOW di Word2Vec l'architettura CBOW (Continuous Bag of Words). Confronto tra CBOW e Skip-Gram. Vantaggi e svantaggi di CBOW per la generazione di word embeddings. Modulo 7: Ottimizzazione e tecniche di addestramento in Word2Vec Come ottimizzare l'allenamento dei modelli Word2Vec. Tecniche di riduzione della dimensionalità (ad esempio, Negative Sampling e Hierarchical Softmax). Impatti delle scelte di ottimizzazione sulla qualità degli embeddings. Modulo 8: GloVe: Fondamenti modello GloVe (Global Vectors for Word Representation). Come GloVe si differenzia da Word2Vec nel trattamento del contesto globale. La matematica dietro GloVe: la matrice di co-occorrenza e la decomposizione della matrice. Modulo 9: GloVe: Matrice di co-occorrenza e decomposizione Dettagli sulla creazione e l'analisi della matrice di co-occorrenza. Come GloVe sfrutta la statistica globale per produrre embeddings di parole. Vantaggi nell'uso di GloVe rispetto a Word2Vec in scenari specifici. Modulo 10: Confronto tra Word2Vec e GloVe Differenze principali tra Word2Vec e GloVe in termini di metodologia e risultati. Quale modello scegliere in base al tipo di dati e applicazione. Caso d’uso in base alla quantità di dati e alla dimensione del vocabolario. Modulo 11: Integrazione di Word2Vec e GloVe in progetti NLP Come utilizzare Word2Vec e GloVe in progetti NLP reali. Strumenti e librerie per lavorare con gli embeddings, come Gensim e spaCy. Strategie di pre-processing per ottimizzare gli embeddings nei progetti di NLP. Modulo 12: Evaluazione degli embeddings di parole Come misurare la qualità di un word embedding. Metriche comuni: similarità tra parole, analogie semantiche e sintattiche. Utilizzo dei task di benchmark per testare gli embeddings. Modulo 13: Word embeddings per la gestione della polisemia Come i word embeddings affrontano la polisemia (più significati di una stessa parola). Approcci per migliorare la disambiguazione del significato attraverso il contesto. Tecniche avanzate: word embeddings contestuali. Modulo 14: Word embeddings e modelli di linguaggio pre-addestrati Introduzione ai modelli di linguaggio pre-addestrati come BERT, GPT e FastText. Vantaggi di utilizzare modelli pre-addestrati rispetto a modelli tradizionali. Come i modelli pre-addestrati incorporano gli embeddings nelle architetture più moderne. Modulo 15: Sfide e future direzioni nell'uso dei word embeddings Le limitazioni degli word embeddings tradizionali. Le sfide nell'affrontare le ambiguità semantiche e il bias nei modelli di linguaggio. Prospettive future nell’evoluzione degli embeddings, come l'integrazione con modelli neurali più complessi (es. transformers).