Dalla statistica ai Big Data: un percorso lungo secoli

Accomunare statistica e Big Data può sembrare accostare due mondi diversi appartenenti ad epoche differenti: da una parte pensiamo ad i sondaggisti ed ai libri universitari pieni di formule e teoremi, dall’altra a tutto ciò che di più “digitale” possa esistere.
In realtà è la loro unione che fa da traino ed apripista alla rivoluzione tecnologica che stiamo vivendo in questi anni. Come diceva Silvia Morosi del Corriere della Sera (27 giugno 2016): “I dati da soli non parlano del futuro: i modelli sono la sfera di cristallo”.

Ma come hanno fatto questi due mondi a congiungersi e perché la statistica continua ad essere importante, anzi, fondamentale? Già nella Bibbia si parla di statistica, quando Davide, Re d’Israele dovette contare risorse umane a disposizione del suo regno per poter trarre decisioni di governo.

Gli utilizzatori odierni di dati non hanno tale filo diretto con l’Altissimo e pertanto la statistica continua ad essere utilizzata per gli stessi intuibili motivi che potevano avere gli antichi re: prendere decisioni.

Da notare che nell’antichità lo strumento principale era il censimento ed il problema maggiore era riassumere una quantità di dati, per l’epoca notevolissima, mediante pochi numeri facili da ricordare e maneggiare: questo è il problema della statistica descrittiva, strettamente imparentato con le problematiche con cui si confrontano i decisori contemporanei, chiamati a riferire agli alti funzionari l’andamento dell’attività (qualunque essa sia) riassunta in pochi fruibili indicatori.

Sebbene nelle università medievali si parlasse talvolta di “ars coniectandi”, in quei tempi, né in Europa, né in Oriente, vi furono sviluppi degni di nota nelle scienze statistiche. Nel Seicento e poi nel Settecento ci furono invece notevoli passi avanti nel campo delle probabilità (Calcolo delle Probabilità quantitativo e Teoria matematica delle Probabilità sistematica) dimostrando teoremi ancor oggi fondamentali. Sempre nel Seicento si iniziarono a studiare i metodi di campionamento, rendendosi per la prima volta conto che, talvolta, per certi casi si poteva far a meno di censimenti (bastava analizzarne una piccola parte, il campione). Nel XIX° secolo ci furono importanti progressi, quali la definizione di funzioni statistiche ormai classiche, come la gaussiana, e vennero provati dei teoremi asintotici (ovvero quando il numero di osservazioni è altissimo, come nei Big Data!) poi applicati moltissimo nella pratica.

Nacque così l’analisi delle serie storiche, oggi chiamata “classica”, primo passo nel Predictive Analytics. Nel secolo XX° si svilupparono le tecniche di stima e test e di regressione, ignoti nell’Ottocento. Fu assiomatizzata la Teoria delle Probabilità e furono inventati metodi di analisi moderna delle serie storiche. D’altronde la statistica descrittiva e la teoria delle probabilità sono strettamente connesse: la Teoria delle Probabilità insegna a valutare coerentemente le probabilità di eventi futuri e, quindi, a fare le migliori previsioni possibili, mentre la statistica insegna come meglio valutare le probabilità sfruttando adeguatamente le informazioni ottenibili.

Bisogna notare che oggigiorno la raccolta dati avviene spesso automaticamente ed al di fuori di un’indagine pianificata dall’inizio: tal è il caso dei cosiddetti “Big Data” e là stanno le nuove sfide che si pongono agli studi statistici. Non si deve credere, tuttavia, che i Big Data siano solamente un problema, anzi per la statistica sono una vera opportunità. Semmai, essi pongono più problemi per il trattamento informatico, che dev’essere sufficientemente veloce per affrontare delle così corpose quantità di dati.

Dal punto di vista statistico sono, infatti, piuttosto una benedizione: i teoremi asintotici che in passato si potevano applicare soltanto in prima approssimazione possono venire applicati con assoluta fiducia, creando modelli di previsione o di supporto al processo decisionale davvero robusti.

L’offerta formativa di Cassiodorus Formazione mira a coniugare questi due mondi, apparentemente lontani, offrendo corsi di formazione in Statistica e Data Analysis a tutti i livelli, con un linguaggio accessibile e con un forte orientamento alla pratica ed alle applicazioni.