Feeds:
Articoli
Commenti

Archive for ottobre 2011

Dovendo aver a che fare con l’analisi di dati sperimentali, i possibili approcci sono tre:

  1. APPROCCIO BOVINO. “Ci sono delle regole nei manuali, non capisco cosa significhino, ma le applico bovinamente (anche se i bovini probabilmente non leggono manuali di statistica). Non posso perdere tempo dietro alla Statistica, già altri ci hanno pensato, devo concentrare su altro le mie energie.” Purtroppo questo metodo può portare ad valutazioni sbagliate. Inoltre ci si ritroverà frastornati, per non dire umiliati, quando in laboratorio ti si avvicina il cosiddetto “esperto di Statistica”, o presunto tale.  Se è vero o presunto non ha alcuna importanza, prima o poi è inevitabile che questo personaggio ti si avvicini e commenti i tuoi risultati con oscure frasi che tu non puoi capire e di cui non oserai mai chiedere nulla.
  2. APPROCCIO RAGIONATO.  Cerco di capire da dove derivano i metodi statistici, per capire il significato dei miei risultati. Questo può risolversi con un po’ di mal di testa, ma ne vale assolutamente pena per capire esattamente cosa stiamo veramente facendo quando affermiamo qualcosa a partire dalle nostre misure.
  3. USO IL CALCOLO DELLE PROBABILITA’. Questo è il così detto metodo bayesiano, perché usa la formula di Bayes sulla probabilità condizionata e si appoggia sulla nozione di probabilità come grado di fiducia su un modello.

Sul metodo bayesiano magari parlerò in un altro articolo. Vediamo ora in cosa consiste il “test dell’ipotesi nulla”. Premetto che non mi considero un esperto di Statistica, ma come ricercatore devo fare i conti tutti i giorni con l’analisi dei dati sperimentali. E sui dati ci si trova ad applicare metodi statistici. Generalmente abbiamo una serie di misure, per esempio la temperatura di un materiale acquisita in diversi momenti e dobbiamo estrarre delle informazioni da questa sequenza. Tutto qui. Queste informazioni possono essere un indicatore statistico, per esempio la media aritmetica, oppure il risultato di un test di una ipotesi. E qui viene il punto: con il “test dell’ipotesi nulla” possiamo solo “negare”  che una data ipotesi sia vera, nel nostro caso l’affermazione che non c’è stata alcuna variazione di temperatura. Ho scritto “negare” tra virgolette perché in realtà non potremo mai negare l’ipotesi nulla in senso assoluto, ma soltanto affermare che se questa ipotesi è vera i nostri dati sono poco probabili e quindi ragionevolmente scartarla.

Tutto questo può sembrare orrendamente astratto. Ma supponiamo di non sapere proprio nulla sul “test dell’ipotesi nulla” e di dover rispondere al seguente quesito: voglio capire se somministrando una dose di droga il tempo di reazione dei topi cambia, sapendo  che il tempo di reazione medio di un topo non drogato è di 1.2 secondi. In laboratorio ho 100 topi e somministrando ad ognuno una dose di droga ottengo un tempo di risposta medio di 1.05 secondi con una deviazione standard di 0.5 secondi. Siccome ho fatto 100 misure la deviazione standard della media è:

\sigma = 0.5 / \sqrt{100} = 0.05

Concludo che la droga diminuisce il tempo di risposta dei topi. Perché? Se assumo che il tempo di reazione (1.2 secondi) non sia modificato dall’uso di droghe, la probabilità di misurare un valore medio di 1.05 secondi è molto bassa, essendo distante ben 3 deviazioni standard dal valore 1.2 Siccome l’ipotesi che la droga non ha avuto alcun effetto in un certo senso non mi permette di spiegare i miei dati (nel senso che risultano poco probabili) la scarto. Ecco che senza pensarci troppo su ho applicato il test dell’ipotesi nulla, la quale nel nostro esempio asserisce che “i topi drogati hanno lo stesso tempo di reazione dei topi sani”.

Due commenti sono dovuti:

  1. Se scarto l’ipotesi nulla, ho una certa probabilità (bassa) di sbagliarmi rigettando una affermazione vera. Questa probabilità (in inglese si chiama “p-value”, in italiano “valore-p”) la devo poter calcolare se non voglio limitarmi ad una analisi qualitativa dei dati.
  2. Il fatto di non riuscire a scartare l’ipotesi nulla non significa che questa ipotesi sia vera. Verosimilmente questa ipotesi potrebbe essere falsa, ma semplicemente non ho a mia disposizione abbastanza dati per poterla scartare e questo può accadere abbastanza spesso quando ho pochi dati. A volte c’è poco da esultare quando un modello “fitta” i propri dati…aggiungendone altri le cose potrebbero non funzionare più.

In pratica, posso riuscire a scartare l’ipotesi nulla oppure fallire in questa impresa. Tutto ciò illustra molto bene come funziona l’analisi dei dati sperimentali e qual’è il significato che dobbiamo attribuire ai risultati. Purtroppo però spesso la percezione comune  è diversa, e il concetto di certezza è imperante. Dove non c’è certezza c’è qualcosa di sbagliato, altrimenti non si parlerebbe di scienze esatte. Il concetto di probabilità trova cittadinanza nella percezione comune solo nei giochi d’azzardo. Giusto? Assolutamente no, senza il concetto di probabilità le scienze esatte semplicemente non esisterebbero e dovremmo rinunciare alla nostra conoscenza del mondo fisico.

Finalmente possiamo descrivere in modo formale in cosa consiste il “test dell’ipotesi nulla”. La procedura di questo test è la seguente:

  1. Sulla base del proprio esperimento, formulare una prima ipotesi, chiamata ipotesi nulla (es: i topi drogati hanno la stessa risposta dei topi sani)
  2. Formulare l’ipotesi alternativa (es: i topi drogati rispondono più lentamente agli stimoli).
  3. Definire un livello di probabilità sufficientemente basso (di solito questo livello è quale al 5 %)
  4. Definire una certa grandezza statistica, che chiamerò z: per esempio la differenza tra valore misurato e valore aspettato divisa per la deviazione standard. Calcolare li valore di probabilità (p-value) che se l’ipotesi nulla è vera otteniamo il valore che misuriamo per z. Scartare l’ipotesi nulla se questa probabilità è inferiore alla soglia stabilita (di solito uguale al 5 %).

Ecco un video didattico in cui il test è applicato proprio all’esempio dei topi drogati:

In un articolo di questo blog vi avevo parlato di R, un potente software open source per l’analisi statistica dei dati. In questo esempio vediamo come il risultato di un test dipenda dalla dimensione del campione:

> a <- rnorm(10, 0, 2) # 10 numeri con valore medio 0 e deviazione standard 2
> b <- rnorm(10, 1, 2) # 10 numeri con valore medio 1 e deviazione standard 2
>  t.test(a,b,var.equal=F) # test

Welch Two Sample t-test

data:  a and b
t = -1.5759, df = 12.699, p-value = 0.1396
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
-2.9649894  0.4673373
sample estimates:
mean of x  mean of y
-0.1647662  1.0840598

Il valore di p (p-value) è 0.1396 è maggiore di 0.05 e quindi non scartiamo l’ipotesi nulla. Significa che l’ipotesi nulla è vera? Assolutamente no, abbiamo generato i numeri con due valori medi diversi. Se infatti facciamo la stesso test con un campione più grande otteniamo:

> a <- rnorm(100, 0, 2) # 100 numeri con valore medio 0 e deviazione standard 2
> b <- rnorm(100, 1, 2) # 100 numeri con valore medio 1 e deviazione standard 2
>  t.test(a,b,var.equal=F) # test

Welch Two Sample t-test

data:  a and b
t = -5.2509, df = 195.253, p-value = 3.935e-07
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
-1.9829719 -0.9001112
sample estimates:
mean of x   mean of y
-0.07935547  1.36218604

Con un p-value = 3.935e-07 possiamo scartare l’ipotesi nulla senza alcun rimorso.

Read Full Post »