Model de Màrkov
En teoria de la probabilitat, un model de Màrkov és un model estocàstic utilitzat per modelar sistemes que canvien pseudoaleatòriament.[1] Se suposa que els estats futurs depenen només de l'estat actual, no dels esdeveniments que van passar abans (és a dir, assumeix la propietat de Màrkov). En general, aquesta hipòtesi permet raonar i calcular amb el model que d'altra manera seria intractable. Per aquest motiu, en els camps de la modelització predictiva i la predicció probabilística, és desitjable que un model determinat mostri la propietat de Màrkov.[2]
Introducció[modifica]
Hi ha quatre models de Màrkov comuns utilitzats en diferents situacions, depenent de si cada estat seqüencial és observable o no, i si el sistema s'ha d'ajustar en funció de les observacions realitzades: [3]
| L'estat del sistema és totalment observable | L'estat del sistema és parcialment observable | |
|---|---|---|
| El sistema és autònom | cadena de Màrkov | Model de Màrkov ocult |
| El sistema està controlat | Procés de decisió de Màrkov | Procés de decisió de Màrkov parcialment observable |
Cadena de Màrkov[modifica]
El model de Màrkov més simple és la cadena de Màrkov. Modela l'estat d'un sistema amb una variable aleatòria que canvia amb el temps.[4] En aquest context, la propietat de Màrkov suggereix que la distribució d'aquesta variable depèn només de la distribució d'un estat anterior. Un exemple d'ús d'una cadena de Màrkov és la cadena de Màrkov de Montecarlo, que utilitza la propietat de Màrkov per demostrar que un mètode particular per realitzar una caminada aleatòria mostrarà a partir de la distribució conjunta.
Model de Màrkov ocult[modifica]
Un model de Màrkov ocult és una cadena de Màrkov per a la qual l'estat només és observable parcialment o observable amb soroll. En altres paraules, les observacions estan relacionades amb l'estat del sistema, però normalment són insuficients per determinar-ne amb precisió. Existeixen diversos algorismes coneguts per als models de Màrkov ocults. Per exemple, donada una seqüència d'observacions, l'algoritme de Viterbi calcularà la seqüència d'estats corresponent més probable, l'algoritme directe calcularà la probabilitat de la seqüència d'observacions i l'algoritme de Baum-Welch estimarà les probabilitats inicials, la transició. funció, i la funció d'observació d'un model de Màrkov ocult.
Un ús comú és per al reconeixement de veu, on les dades observades són la forma d'ona d'àudio de la parla i l'estat ocult és el text parlat. En aquest exemple, l'algoritme de Viterbi troba la seqüència més probable de paraules parlades donat l'àudio de la parla.
Procés de decisió de Màrkov[modifica]
Un procés de decisió de Màrkov és una cadena de Màrkov en què les transicions d'estat depenen de l'estat actual i d'un vector d'acció que s'aplica al sistema. Normalment, s'utilitza un procés de decisió de Màrkov per calcular una política d'accions que maximitzarà una certa utilitat respecte a les recompenses esperades.
Referències[modifica]
- ↑ Gagniuc, Paul A. Markov Chains: From Theory to Implementation and Experimentation (en anglès). USA, NJ: John Wiley & Sons, 2017, p. 1–256. ISBN 978-1-119-38755-8.
- ↑ «What is a Markov Model?» (en anglès). https://www.techtarget.com.+[Consulta: 24 juny 2023].
- ↑ «Markov Model» (en anglès). https://deepai.org,+17-05-2019.+[Consulta: 24 juny 2023].
- ↑ Gagniuc, Paul A. Markov Chains: From Theory to Implementation and Experimentation (en anglès). USA, NJ: John Wiley & Sons, 2017, p. 1–256. ISBN 978-1-119-38755-8.