Il teorema di Bayes

Il teorema di Bayes mi permette di calcolare la probabilità di un determinato evento A considerando le informazioni disponibili sull'evento B. $$ p(A|B) = \frac{ p(A) \cdot p(B|A) }{ p(B) } $$

• p(A|B) e p(B|A) sono probabilità condizionate (a posteriori)
• p(A) e p(B) sono probabilità semplici (a priori)

In altre parole, il teorema di Bayes consente di calcolare la probabilità p(A|B) che un determinato evento (B) sia la premessa o la causa del verificarsi di un altro evento (A).

Come funziona la probabilità condizionata? La probabilità condizionata p(A|B) è la probabilità che l'evento A si verifichi, dopo che si è verificato l'evento B.

Un esempio pratico

Una popolazione è composta dal 40% di maschi e dal 60% di femmine.

I maschi indossano solo pantaloni mentre le femmine indossano al 50% pantaloni e al 50% gonne.

Un osservatore nota da lontano una persona con i pantaloni.

Qual è la probabilità che sia femmina?

La probabilità semplice (a priori) che sia femmina ( evento A ) è del 60%

$$ p(A) = 0.6 $$

Nota. Il motivo è semplice. La popolazione è composta per il 60% da femmine. E' una stima veritiera ma troppo approssimativa per rispondere correttamente alla domanda.

La probabilità semplice (a priori) che una persona porti i pantaloni ( evento B ) è del 70%

$$ p(B) = 0.7 $$

Nota. Tutti gli uomini portano i pantaloni (40% della popolazione) a cui si aggiunge la metà delle donne (30%). Quindi, il 70% di persone portano i pantaloni.

Secondo i dati del problema la probabilità condizionata (o a posteriori) che porti i pantaloni (evento B) una donna (evento A) è del 50%

$$ p(B|A) = 0.5 $$

Nota. La metà della popolazione femminile dell'esempio porta i pantaloni. Quindi, il 50% è riferito alla popolazione femminile. Non alla popolazione complessiva.

A questo punto applico il teorema di Bayes per calcolare la probabilità che a portare i pantaloni (evento B) sia una donna (evento A)

$$ p(A|B) = \frac{ p(A) \cdot p(B|A) }{ p(B) } $$

Sostituisco i dati delle probabilità che già conosco e trovo la soluzione del problema.

$$ p(A|B) = \frac{ 0.6 \cdot 0.5 }{ 0.7 } $$

$$ p(A|B) = 0.43 $$

Quindi, c'è una probabilità del 43% che la persona vista da lontano sia una donna.

E' la probabilità condizionata dell'evento A ( donna ) considerando l'informazione disponibile sull'evento B ( pantaloni ).

Nota. Inizialmente la probabilità semplice p(A) che fosse una donna era del 60%. La probabilità condizionata, invece, è scesa al 43% ed è più affidabile perché considera anche l'informazione B.

Si tratta di un semplice esempio di applicazione pratica del teorema di Bayes.

Dimostrazione

Per spiegare la formula del teorema di Bayes, considero la probabilità condizionata.

$$ p(E_i \mid E)=\frac{p(E_i \cap E)}{p(E)} $$

In questa forma, le quantità \( p(E_i \cap E) \) e \( p(E) \) non sono note direttamente. Quindi devo riscriverli usando le informazioni disponibili.

Dalla definizione della probabilità condizionata ricavo la probabilità dell’intersezione \( E_i \cap E \) degli eventi.

$$ p(E\cap E_i)=p(E_i) p(E\mid E_i) $$

Questo è il primo elemento necessario.

Sostituisco \( p(E_i \cap E) \) nella formula iniziale

$$ p(E_i \mid E)=\frac{p(E_i \cap E)}{p(E)} = \frac{p(E_i) p(E\mid E_i)}{p(E)} $$

Fin qui sono soltanto dei passaggi algebrici a partire dalla formula della probabilità condizionata.

Ho già ottenuto l’identità formale del teorema di Bayes, ma la formula non è ancora operativa, perché la probabilità \( p(E) \) non è nota. Quindi, non posso usarla.

Per rendere la formula utilizzabile nei calcoli, è necessario esprimere \( p(E) \) in funzione di eventi noti.

Adesso, applico il teorema della scomposizione di un evento su una partizione e riscrivo l'evento \( E \) come l'unione di eventi composti a due a due incompatibili.

Poiché \( E_1, E_2, \dots,E_n \) è una partizione dello spazio campionario, vale:

$$ E=(E\cap E_1)\cup(E\cap E_2)\cup\dots\cup(E\cap E_n) $$

Gli eventi sono incompatibili, quindi le probabilità si sommano:

$$ p(E)=p(E\cap E_1)+p(E\cap E_2)+\dots+p(E\cap E_n) $$

Ora sostituisco ogni intersezione come prima:

$$ p(E)=p(E_1)p(E\mid E_1)+p(E_2)p(E\mid E_2)+\dots+p(E_n)p(E\mid E_n) $$

Questa è la formula della probabilità totale.

A questo punto torno alla formula della probabilità condizionata \( p(E_i \mid E)  \) e sostituisco ( p(E) ) con la probabilità totale:

$$ p(E_i \mid E)=\frac{p(E_i) p(E\mid E_i)}{p(E)} $$

$$ p(E_i \mid E)=\frac{p(E_i) p(E\mid E_i)} {p(E_1)p(E\mid E_1)+\dots+p(E_n)p(E\mid E_n)} $$

Questa è la formula del teorema di Bayes nella sua forma operativa.

È detta operativa perché tutte le probabilità che compaiono al numeratore e al denominatore sono note o assegnate, ad eccezione della probabilità \( p(E_i∣E) \)che voglio determinare.

In questo modo la formula fornisce una procedura diretta di calcolo della probabilità a posteriori.

Nota. Il teorema di Bayes non introduce un nuovo principio della teoria della probabilità. Deriva esclusivamente dalla definizione di probabilità condizionata, dalla nozione di partizione dello spazio campionario e dall’additività della probabilità su eventi incompatibili. Tuttavia, l’uso della scomposizione di un evento rispetto a una partizione è ciò che consente di esprimere esplicitamente la probabilità dell’evento osservato e rende il teorema effettivamente applicabile nei problemi concreti.

E così via.