Catene di Markov

Le catene di Markov sono processi stocastici markoviani con uno spazio di stato discreto $$ \{ x(T) \} $$ che soddisfano la proprietà di Markov.

Lo spazio degli stati X può essere finito o numerabile $$ X = \{ x_0, x_1, x_2... \} $$

Sono state ideate dal matematico russo Andrei Markov.

Cosa afferma la proprietà di Markov? Un automa con la proprietà di Markov basa le proprie scelte prendendo in considerazione soltanto lo stato attuale. Non considera le scelte passate. E' memoryless.

Tipi di catene di Markov

Esistono due categorie di catene di Markov

• Catene di Markov a tempo continuo
  Le transizioni si verificano in istanti di tempo continuo.
• Catene di Markov a tempo discreto
  Le transizioni si verificano in istanti di tempo discreti.

E così via