Mezzi polli e bufale intere: la statistica logora chi non la sa 27


Fin dai tempi della famosa poesia di Trilussa sulla “media del pollo”, sulla statistica aleggia lo scetticismo di chi pensa che affidandosi al buon senso e all’intuito si possano valutare correttamente realtà complesse. Le prudenti procedure scientifiche, di cui la statistica è un costituente fondamentale, sono faticose e poco attraenti, e spesso indigeste anche per chi, per professione, dovrebbe informarsi ed informare. In questi ultimi mesi ci sono stati diversi casi (cito ad esempio quello, discusso anche su queste pagine, del “metodo Stamina”) in cui i giornalisti (e non solo, ahimè) hanno fatto moltissimo battage, ma pochissima analisi seria dell’argomento. Io credo che i giornali in questi casi debbano innanzitutto spiegare cosa è scientifico e cosa no, e perché solo certe procedure studiate e controllate in modo scientifico possano dare indicazioni attendibili. Invece si legge di “imparzialità” e di “opinioni” a favore o contro, come se l’imparzialità fosse sinonimo di competenza e le questioni scientifiche fossero risolvibili con le opinioni. Intendiamoci, in quel caso la decisione da prendere è a monte dell’analisi statistica, ossia è su se valga la pena effettuare appunto uno studio sul “metodo”, ma la contrapposizione tra “opinioni” e tra “evidenze” è sintomatica.

Frequenti, sui media, sono i sondaggi su “cosa ne pensano i lettori”, come se una linea di ricerca medica si potesse decidere ai voti. Invece, io vorrei sottolineare che su certi temi senza essere preparati non si ha neanche diritto ad avere un’opinione, e che chi per mestiere informa il pubblico deve innanzitutto indicare chi parla sulla base di conoscenze e approcci scientifici e chi invece parla solo perché la Natura lo ha fornito di una lingua. Poi, dovrebbe spiegare al pubblico quali strumenti sono necessari per formarsi una propria opinione degna di questo nome (e magari difendersi dalle argomentazioni ingannevoli).

Ebbene, se ci chiediamo quali siano questi strumenti, scopriremo che ce n’è uno che è fondamentale per moltissimi argomenti, e la cui ignoranza può condurre a errori di valutazione disastrosi, cioè appunto la statistica. Anche riferendomi agli interessantissimi post di bezzicante sulla valutazione delle politiche pubbliche e la democrazia, il mio parere è che se si vogliono fare considerazioni e analisi quantitative è impossibile giungere a conclusioni valide, anche fuori dell’ambito strettamente scientifico, senza adeguati strumenti statistici. Per esemplificare il mio pensiero, farò riferimento a un tema meno “sensibile” della salute e della politica: l’astrologia. Molti leggono oroscopi e profili astrologici, eppure credo di non sorprendere nessuno se dico di credere che l’astrologia sia un’evidente bufala. Tuttavia, potrei sbagliare: questa affermazione così drastica potrebbe essere contraddetta dai fatti, se ci fossero evidenze serie che l’astrologia funziona. In genere, ovviamente, gli astrologi rifuggono da simili verifiche, mentre per altri l’astrologia è così poco plausibile che preferiscono spendere il tempo a occuparsi di cose più “sensate”. C’è tuttavia chi ha tentato di analizzare gli influssi astrologici appunto con metodi statistici, e, senza voler fare una rassegna di questi studi (anche perché non ne sarei in grado), voglio citarne uno che dimostra come un approccio “naif” alla statistica possa condurre a conclusioni completamente errate (o almeno ingiustificate: non ho la pretesa di dimostrare qui che l’astrologia è fallace). Un noto personaggio del jet-set, Gunther Sachs, un giorno decise di realizzare uno studio statisticamente serio dell’astrologia. Utilizzò un ampio volume di dati relativi a crimini, matrimoni, professioni, cause di morte e così via, prelevandoli dagli archivi pubblici svizzeri, e vi applicò delle tecniche di analisi statistica (o magari ingaggiò qualcuno per fare i calcoli, non so) evidenziando quelle che a suo giudizio erano correlazioni incontestabilmente significative e non casuali. Peccato che la metodologia adottata da Sachs facesse acqua, come evidenzia un articolo (di ricercatori “professionisti”) che ne mette in luce gli errori. Per farla breve, un errore piuttosto tipico in questi casi è prendere in esame (ad esempio) tutte le combinazioni possibili tra segni zodiacali e crimini commessi, e poi “scoprire” che qualcuna di esse è molto più frequente della media. Il punto è che non si dice mai prima quali dovrebbero essere, secondo l’astrologia, le combinazioni più frequenti: lo si osserva a posteriori. In questo modo, ovviamente, è abbastanza naturale che venga fuori qualche apparente anomalia, che in realtà, se si applicano correttamente i metodi statistici, si vede che anomalia non è. Di questo effetto potenzialmente ingannevole devono tener conto anche gli scienziati nei loro esperimenti, e alcuni lo chiamano effetto Look Elsewhere. Errori di questo tipo (ne trovate una scherzosa presa in giro a fumetti su  http://xkcd.com/882/) sono presenti in altri “studi” che ho visto sulle correlazioni tra segni zodiacali ed eventi della vita delle persone, oltre che in innumerevoli altri “studi” su moltissimi argomenti diversi. Insomma: la statistica dice la verità, ma solo se la si usa correttamente, altrimenti si rischia di prendere fischi per fiaschi; e l’astrologia è solo un esempio relativamente innocuo, si leggono assurdità anche in campi ben più vitali.

Conclusioni? Quelli che volevo sottolineare sono alcuni fatti forse ovvi, ma non sempre tenuti nella debita considerazione:

  1. Se si sta studiando qualcosa che riguarda un gran numero di persone o di cose, io onestamente credo che un’analisi obiettiva basata su dati empirici e su variabili misurabili consenta di rilevare la situazione e le sue trasformazioni in modo più “lavorabile” di un approccio qualitativo (per quanto riguarda la società italiana, una fotografia anche “qualitativa” la fornisce il Censis, che quest’anno parla di una società “sciapa e infelice in cerca di connettività“, rispetto alle rappresentazioni più “asettiche” offerte ad esempio dall’Istat). Tuttavia, se si sceglie la strada dei fatti misurabili, qualsiasi affermazione deve essere sostenuta da uno studio statistico metodologicamente serio (non evidenze aneddotiche, ma neanche semplicemente il valore medio di qualche parametro). Se non lo è, non vale assolutamente nulla, e questo purtroppo è spesso vero.
  2. La statistica è una disciplina insidiosa. È facile lasciarsi fuorviare da una sua applicazione imprecisa, e l’ “intuito” in questo campo non serve, anzi è spesso dannoso, e il risultato peggiore che se non si usassero affatto gli strumenti statistici.
  3. Citare episodi ed esempi singoli come se dimostrassero qualcosa è inutile e fuorviante, perché per qualunque tesi, per quanto sballata, si troveranno esempi che la avvalorino. Solo uno studio condotto con professionalità su un campione rappresentativo può dare dei risultati che meritino di essere presi in considerazione.
  4. L’evidenza statistica non è un fatto di opinioni, ma di dati e di tecniche di calcolo. Le opinioni hanno spazio per le interpretazioni “dopo” che la statistica abbia portato alla luce dati significativi.
  5. Chi vuole dimostrare qualcosa di statisticamente significativo, dovrebbe prima dire cosa si aspetta di trovare, e poi effettuare un’analisi statistica su un appropriato campione. A volte si può dover procedere in ordine inverso, ma allora bisogna fare estrema attenzione a evitare errori come quelli di Sachs che citavo.
  6. La statistica non è un optional. Se non si capisce di statistica, è meglio non cercare neanche di valutare i risultati quantitativi di processi e fenomeni complessi, e lasciar campo agli specialisti… a patto di fidarsene.

Quando leggiamo o ascoltiamo dibattiti su mille argomenti diversi, raccomanderei a tutti di chiedersi se chi parla abbia seguito queste semplici regole. Se no, forse non val la pena di ascoltarlo.

[Ringrazio bezzicante (@bezzicante) per i suoi preziosi consigli, e http://xkcd.com per le vignette]


27 commenti su “Mezzi polli e bufale intere: la statistica logora chi non la sa

I commenti sono chiusi.