Inferència bayesiana

La inferència bayesiana és una inferència estadística en la qual les proves o observacions es fan servir per actualitzar o novament per inferir la probabilitat que una hipòtesi pugui ser certa. El terme «bayesiana» prové del freqüent ús que es fa del teorema de Bayes dins el procés d'inferència.

Fonamentalment, la inferència bayesiana utilitza coneixements previs, en forma de distribució prèvia per estimar probabilitats posteriors. La inferència bayesiana és una tècnica important en estadística, i especialment en estadística matemàtica. L'actualització bayesiana és especialment important en l'anàlisi dinàmica d'una seqüència de dades. La inferència bayesiana ha trobat aplicació en una àmplia gamma d'activitats, com ara la ciència, l'enginyeria, la filosofia, la medicina, l'esport i el dret. En la filosofia de la teoria de la decisió, la inferència bayesiana està estretament relacionada amb la probabilitat subjectiva, sovint anomenada probabilitat bayesiana.

Introducció a la regla de Bayes

Una visualització geomètrica del teorema de Bayes. A la taula, els valors 2, 3, 6 i 9 donen els pesos relatius de cada condició i cas corresponents. Les xifres denoten les cel·les de la taula implicades en cada mètrica, i la probabilitat és la fracció de cada xifra que està ombrejada. Això demostra que $P(A|B)P(B)=P(B|A)P(A)$ és a dir $P(A|B)={\frac {P(B|A)P(A)}{P(B)}}$. Es pot utilitzar un raonament similar per demostrar que $P(\neg A|B)={\frac {P(B|\neg A)P(\neg A)}{P(B)}}$ etc.

Explicació formal

Taula de contingència

Hipòtesis Evidència	Hipòtesi satisfactòria H	Hipòtesi infringida $\neg H$		Total
Hi ha evidència E	$P(H|E)\cdot P(E)$ $=P(E|H)\cdot P(H)$	$P(\neg H|E)\cdot P(E)$ $=P(E|\neg H)\cdot P(\neg H)$		$P(E)$
No hi ha evidència $\neg E$	$P(H|\neg E)\cdot P(\neg E)$ $=P(\neg E|H)\cdot P(H)$	$P(\neg H|\neg E)\cdot P(\neg E)$ $=P(\neg E|\neg H)\cdot P(\neg H)$		$P(\neg E)$= $1-P(E)$
Total	$P(H)$	$P(\neg H)=1-P(H)$	1

La inferència bayesiana deriva la probabilitat posterior com a conseqüència de dos antecedents: una probabilitat prèvia i una funció de probabilitat derivada d'un model estadístic per a les dades observades. La inferència bayesiana calcula la probabilitat posterior segons el teorema de Bayes:

$$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},$$

on

• $H$ representa qualsevol hipòtesi la probabilitat de la qual pot veure's afectada per les dades (anomenada evidència a continuació). Sovint hi ha hipòtesi que competeixen, i la tasca és determinar quina és la més probable.
• $P(H)$$H$, la probabilitat prèvia, és l'estimació de la probabilitat de la hipòtesi davant les dades$E$, s'observa l'evidència actual.
• $E$, l'evidència, correspon a noves dades que no van ser utilitzats en el càlcul de la probabilitat prèvia.
• $P(H\mid E)$, la probabilitat posterior, és la probabilitat de $H$donat $E$, és a dir, després d'observar$E$. Això és el que volem saber: la probabilitat d'una hipòtesi donada l'evidència observada.
• $P(E\mid H)$ és la probabilitat d'observar $E$ donada $H$ i és anomenada la probabilitat. En funció d'$E$amb $H$ fix, indica la compatibilitat de l'evidència amb la hipòtesi donada. La funció versemblança és funció de l'evidència $E$ mentre que la probabilitat posterior és funció de la hipòtesi$H$.
• $P(E)$a vegades es denomina probabilitat marginal o evidencia model. Aquest factor és el mateix per a totes les hipòtesis possibles que s'estan considerant (com és evident pel fet que la hipòtesi $H$ no apareix enlloc en el símbol, a diferència de tots els altres factors) i, per tant, no té en compte la determinació de les probabilitats relatives de diferents hipòtesis.
• $P(E)>0$, ja que en cas contrari el denominador en el teorema de Bayes és zero.

Per a diferents valors de $H$, només els factors $P(H)$ i $P(E\mid H)$, tots dos al numerador, afecten el valor de $P(H\mid E)$ – La probabilitat posterior d'una hipòtesi és proporcional a la seva probabilitat prèvia (la seva probabilitat inherent) i a la probabilitat recentment adquirida (la seva compatibilitat amb la nova evidència observada).

En els casos en què $\neg H$ (no $H$), la negació lògica de $H$, és una probabilitat vàlida, la regla de Bayes es pot reescriure de la següent manera:

$${\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}$$

perquè

$$P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)$$

A la dècada del 1980, hi va haver un creixement espectacular en la recerca i les aplicacions dels mètodes bayesians, atribuït principalment al descobriment dels mètodes de la Cadena de Màrkov Monte Carlo, que van eliminar molts dels problemes computacionals, i a un interès creixent en les aplicacions complexes no estàndard. Malgrat el creixement de la recerca bayesiana, la major part de l'ensenyament universitari encara es basa en estadístiques freqüentistes. No obstant això, els mètodes bayesians són àmpliament acceptats i utilitzats, com per exemple en el camp de l'aprenentatge automàtic.

$$P(H)+P(\neg H)=1.$$

Això centra l'atenció en el terme

$$\left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.$$

i

Una manera ràpida i fàcil de recordar l'equació seria utilitzar la regla de la multiplicació:

$$P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).$$

Alternatives a l'actualització bayesiana

L'actualització bayesiana s'utilitza àmpliament i és computacionalment convenient. Tanmateix, no és l'única norma d'actualització que es podria considerar racional.

Ian Hacking va assenyalar que els arguments tradicionals d'llibre holandès no especificaven l'actualització bayesiana: deixaven oberta la possibilitat que les regles d'actualització no bayesianes poguessin evitar els llibres holandesos. Hacking va escriure: «I ni l'argument del llibre holandès ni cap altre de l'arsenal personalista de proves dels axiomes de probabilitat implica la suposició dinàmica. Cap implica el bayesianisme. Per tant, el personalista requereix que la suposició dinàmica sigui bayesiana. És cert que, en coherència, un personalista podria abandonar el model bayesià d'aprenentatge de l'experiència. La sal podria perdre el seu sabor».

De fet, hi ha regles d'actualització no bayesianes que també eviten els llibres holandesos (com es discuteix a la literatura sobre cinemàtica de la probabilitat) després de la publicació de la regla de Richard C. Jeffrey, que aplica la regla de Bayes al cas en què a la mateixa evidència se li assigna una probabilitat. Les hipòtesis addicionals necessàries per requerir de manera única l'actualització bayesiana s'han considerat substancials, complicades i insatisfactòries.

Inferència sobre possibilitats exclusives i exhaustives

Si l'evidència s'utilitza simultàniament per actualitzar la creença sobre un conjunt de proposicions exclusives i exhaustives, es pot considerar que la inferència bayesiana actua sobre aquesta distribució de creences en conjunt.

Formulació general

Diagrama que il·lustra l'espai dels esdeveniments $\Omega$ en la formulació general de la inferència bayesiana. Tot i que aquest diagrama mostra models i esdeveniments discrets, el cas continu es pot visualitzar de manera similar utilitzant densitats de probabilitat.

Suposem que un procés genera esdeveniments independents i distribuïts de manera idèntica $E_{n},\ n=1,2,3,\ldots$, però la distribució de probabilitat és desconeguda. Deixa l'espai per a l'esdeveniment $\Omega$ representen l'estat actual de creences sobre aquest procés. Cada model està representat per un esdeveniment $M_{m}$. Les probabilitats condicionals $P(E_{n}\mid M_{m})$ s'especifiquen per definir els models. $P(M_{m})$ és el grau de creença en $M_{m}$. Abans del primer pas d'inferència, $\{P(M_{m})\}$ és un conjunt de probabilitats a priori inicials. Aquests han de sumar 1, però per altra banda són arbitraris.

Suposem que s'observa que el procés genera $E\in \{E_{n}\}$. Per a cada $M\in \{M_{m}\}$, l'anterior $P(M)$ s'actualitza a posteriori $P(M\mid E)$. Del teorema de Bayes:

$$P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).$$

Un cop observades més proves, es pot repetir aquest procediment.

Observacions múltiples

Per a una seqüència d'observacions independents i distribuïdes idènticament $\mathbf {E} =(e_{1},\dots ,e_{n})$, es pot demostrar per inducció que l'aplicació repetida de l'anterior és equivalent a $$P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),$$ on $$P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.$$

Formulació paramètrica: motivar la descripció formal

En parametritzar l'espai de models, la creença en tots els models es pot actualitzar en un sol pas. La distribució de creences sobre l'espai model es pot considerar llavors com una distribució de creences sobre l'espai de paràmetres. Les distribucions d'aquesta secció s'expressen com a contínues, representades per densitats de probabilitat, ja que aquesta és la situació habitual. Tanmateix, la tècnica és igualment aplicable a distribucions discretes.

$${\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}$$ on $$p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).$$

Descripció formal

Definicions

• $x$, una dada en general. Això pot ser un vector de valors.
• $\theta$, el paràmetre de la distribució del punt de dades, és a dir, $x\sim p(x\mid \theta )$. Aquest pot ser un vector de paràmetres.
• $\alpha$, l’hiperparàmetre de la distribució de paràmetres, és a dir, $\theta \sim p(\theta \mid \alpha )$. Aquest pot ser un vector d'hiperparàmetres.
• $\mathbf {X}$ és la mostra, un conjunt de $n$ punts de dades observats, és a dir, $x_{1},\ldots ,x_{n}$.
• ${\tilde {x}}$, un nou punt de dades la distribució del qual es vol predir.

Inferència bayesiana

• La distribució a priori és la distribució del(s) paràmetre(s) abans que s'observin les dades, és a dir, $p(\theta \mid \alpha )$. La distribució prèvia potser no es pot determinar fàcilment; en aquest cas, una possibilitat podria ser utilitzar els de Jeffreys abans d'obtenir una distribució prèvia abans d'actualitzar-la amb observacions més noves.
• La distribució de mostreig és la distribució de les dades observades condicionada als seus paràmetres, és a dir, $p(\mathbf {X} \mid \theta )$. Això també s'anomena probabilitat, especialment quan es veu com una funció del(s) paràmetre(s), de vegades escrita $\operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )$.
• La probabilitat marginal (de vegades també anomenada evidència) és la distribució de les dades observades marginades sobre el(s) paràmetre(s), és a dir, $$p(\mathbf {X} \mid \alpha )=\int p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )d\theta .$$ Quantifica la concordança entre les dades i l'opinió dels experts, en un sentit geomètric que es pot precisar. Si la probabilitat marginal és 0, aleshores no hi ha concordança entre les dades i l'opinió dels experts i no es pot aplicar la regla de Bayes.
• La distribució posterior és la distribució del(s) paràmetre(s) després de tenir en compte les dades observades. Això es determina per la regla de Bayes, que constitueix el cor de la inferència bayesiana:

$p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\theta ,\mathbf {X} ,\alpha )}{p(\mathbf {X} ,\alpha )}}={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta ,\alpha )}{p(\mathbf {X} \mid \alpha )p(\alpha )}}$

$={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha ).$

Això s'expressa en paraules com posterior és proporcional als temps de probabilitat anteriors, o de vegades com posterior = temps de probabilitat anteriors, sobre l'evidència.

• A la pràctica, per a gairebé tots els models bayesians complexos utilitzats en l'aprenentatge automàtic, la distribució posterior $p(\theta \mid \mathbf {X} ,\alpha )$ no s'obté en una distribució de forma tancada, principalment perquè l'espai de paràmetres per a $\theta$ pot ser molt alt, o el model bayesià conserva una certa estructura jeràrquica formulada a partir de les observacions $\mathbf {X}$ i paràmetre $\theta$. En aquestes situacions, hem de recórrer a tècniques d'aproximació.
• Cas general: Sigui $P_{Y}^{x}$ sigui la distribució condicional de $Y$ donat $X=x$ i deixar $P_{X}$ sigui la distribució de $X$. La distribució conjunta és llavors $P_{X,Y}(dx,dy)=P_{Y}^{x}(dy)P_{X}(dx)$. La distribució condicional $P_{X}^{y}$ de $X$ donat $Y=y$ es determina llavors per

$$P_{X}^{y}(A)=E(1_{A}(X)|Y=y)$$ L'existència i la unicitat de l’expectativa condicional necessària és una conseqüència del teorema de Radon–Nikodym. Això ho va formular Kolmogórov en el seu famós llibre de 1933. Kolmogorov subratlla la importància de la probabilitat condicional escrivint «Vull cridar l'atenció sobre... i especialment la teoria de les probabilitats condicionals i les expectatives condicionals...» al Prefaci. El teorema de Bayes determina la distribució posterior a partir de la distribució a priori. La unicitat requereix supòsits de continuïtat. El teorema de Bayes es pot generalitzar per incloure distribucions a priori impròpies com ara la distribució uniforme a la recta real. Els mètodes moderns de Cadena de Màrkov Monte Carlo han augmentat la importància del teorema de Bayes, inclosos els casos amb priors impròpies.

Predicció bayesiana

• La distribució predictiva posterior és la distribució d'un nou punt de dades, marginat sobre la distribució posterior: $$p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )d\theta$$
• La distribució predictiva a priori és la distribució d'un nou punt de dades, marginat sobre l'anterior: $$p({\tilde {x}}\mid \alpha )=\int p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )d\theta$$

La teoria bayesiana demana l'ús de la distribució predictiva posterior per fer inferència predictiva, és a dir, per predir la distribució d'un punt de dades nou i no observat. És a dir, en comptes d'un punt fix com a predicció, es retorna una distribució sobre els punts possibles. Només d'aquesta manera s'utilitza tota la distribució posterior del(s) paràmetre(s). En comparació, la predicció en inferència freqüentista sovint implica trobar una estimació puntual òptima del paràmetre o paràmetres —per exemple, per màxima versemblança o estimació de màxima probabilitat a posteriori (MAP)— i després introduir aquesta estimació a la fórmula per a la distribució d'un punt de dades. Això té el desavantatge que no té en compte cap incertesa en el valor del paràmetre i, per tant, subestimarà la variància de la distribució predictiva.

En alguns casos, l'estadística freqüentista pot solucionar aquest problema. Per exemple, els intervals de confiança i els intervals de predicció en estadística freqüentista quan es construeixen a partir d'una distribució normal amb mitjana i variància desconegudes es construeixen utilitzant una distribució t de Student. Això estima correctament la variància, a causa del fet que (1) La mitjana de les variables aleatòries amb distribució normal també té una distribució normal, i (2) la distribució predictiva d'un punt de dades amb distribució normal amb mitjana i variància desconegudes, utilitzant distribucions a priori conjugades o no informatives, té una distribució t de Student. En l'estadística bayesiana, però, la distribució predictiva posterior sempre es pot determinar amb exactitud, o si més no amb un nivell de precisió arbitrari quan s'utilitzen mètodes numèrics.

Ambdós tipus de distribucions predictives tenen la forma d'una distribució de probabilitat composta (igual que la probabilitat marginal). De fet, si la distribució a priori és una distribució a priori conjugada, de manera que les distribucions a priori i posterior provenen de la mateixa família, es pot veure que tant la distribució predictiva a priori com la posterior també provenen de la mateixa família de distribucions compostes. L'única diferència és que la distribució predictiva posterior utilitza els valors actualitzats dels hiperparàmetres (aplicant les regles d'actualització bayesianes que es donen a l'article distribució conjugada), mentre que la distribució predictiva anterior utilitza els valors dels hiperparàmetres que apareixen a la distribució anterior.

Propietats matemàtiques

Interpretació del factor

${\textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow P(E\mid M)>P(E)}$. És a dir, si el model fos cert, l'evidència seria més probable del que prediu l'estat actual de creences. El contrari s'aplica a una disminució de la creença. Si la creença no canvia, ${\textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow P(E\mid M)=P(E)}$. És a dir, l'evidència és independent del model. Si el model fos cert, l'evidència seria exactament tan probable com la predita per l'estat actual de creences.

El govern de Cromwell

Si $P(M)=0$ llavors $P(M\mid E)=0$. Si $P(M)=1$ i $P(E)>0$, aleshores $P(M|E)=1$. Això es pot interpretar com que les condemnes dures són insensibles a les proves contraposades. El primer es desprèn directament del teorema de Bayes. Aquesta última es pot derivar aplicant la primera regla a l'esdevenimentno $M$en lloc de $M$, donant lloc asi $1-P(M)=0$, aleshores $1-P(M\mid E)=0$, del qual es dedueix immediatament el resultat.

Comportament asimptòtic de la part posterior

Considereu el comportament d'una distribució de creences a mesura que s'actualitza un gran nombre de vegades amb proves independents i distribuïdes idènticament. Per a probabilitats a priori prou precises, el teorema de Bernstein-von Mises dóna que en el límit d'assajos infinits, la distribució posterior convergeix a una distribució normal independent de la distribució a priori inicial sota algunes condicions descrites per primera vegada i demostrades rigorosament per Joseph L. Doob el 1948, és a dir, si la variable aleatòria en consideració té un espai de probabilitat finit. Els resultats més generals van ser obtinguts posteriorment per l'estadístic David A. Freedman, que va publicar en dos articles de recerca seminals el 1963 i el 1965 quan i sota quines circumstàncies es garanteix el comportament asimptòtic de la posterior. El seu article de 1963 tracta, com Doob (1949), el cas finit i arriba a una conclusió satisfactòria. Tanmateix, si la variable aleatòria té un espai de probabilitat infinit però numerable (és a dir, que correspon a un dau amb infinites cares), l'article de 1965 demostra que per a un subconjunt dens de probabilitats a priori, el teorema de Bernstein-von Mises no és aplicable. En aquest cas, gairebé segur que no hi ha convergència asimptòtica. Més tard, a les dècades de 1980 i 1990, Freedman i Persi Diaconis van continuar treballant en el cas dels espais de probabilitat numerable infinits. En resum, pot ser que no hi hagi prou proves per suprimir els efectes de l'elecció inicial, i especialment per a sistemes grans (però finits) la convergència pot ser molt lenta.

Priors conjugats

En forma parametritzada, sovint se suposa que la distribució a priori prové d'una família de distribucions anomenades distribucions a priori conjugades. La utilitat d'una distribució a priori conjugada és que la distribució a posteriori corresponent serà de la mateixa família i el càlcul es pot expressar en forma tancada.

Estimacions de paràmetres i prediccions

Sovint es desitja utilitzar una distribució posterior per estimar un paràmetre o variable. Diversos mètodes d'estimació bayesiana seleccionen mesures de tendència central a partir de la distribució posterior.

Per a problemes unidimensionals, existeix una única mediana per a problemes continus pràctics. La mediana posterior és atractiva com a estimador robust.

Si existeix una mitjana finita per a la distribució posterior, aleshores la mitjana posterior és un mètode d'estimació. $${\tilde {\theta }}=\operatorname {E} [\theta ]=\int \theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta$$

Prendre un valor amb la probabilitat més gran defineix l’estimació a posteriori màxima (MAP): $$\{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).$$

Hi ha exemples en què no s'assoleix cap màxim, en aquest cas el conjunt d'estimacions de MAP és buit.

Hi ha altres mètodes d'estimació que minimitzen el risc posterior (pèrdua esperada posterior) respecte a una funció de pèrdua, i aquests són d'interès per a la teoria de decisions estadístiques utilitzant la distribució mostrejadora (estadística freqüentista).

La distribució predictiva posterior d'una nova observació ${\tilde {x}}$ (que és independent de les observacions prèvies) es determina per $p({\tilde {x}}|\mathbf {X} ,\alpha )=\int p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta$$=\int p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .$

Vegeu també

• Probabilitat bayesiana
• Teorema de Bayes

Bibliografia

• Elementals:
  • Colin Howson, Peter Urbach. Scientific Reasoning: the Bayesian Approach. 3rd. Open Court Publishing Company, 2005. ISBN 978-0812695786. 
  • Berry, Donald A.. Statistics: A Bayesian Perspective. Duxbury, 1996. 
  • Morris H. DeGroot i Mark J. Schervish. Probability and Statistics. third. Addison-Wesley, 2002. ISBN 9780201524888. 
  • Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley ISBN 0-471-27020-2
  • Winkler, Robert L, Introduction to Bayesian Inference and Decision, 2nd Edition (2003) ISBN 0-9647938-4-9
  • Lee, Peter M. Bayesian Statistics: An Introduction. Second Edition. (1997). ISBN 0-340-67785-6.
  • Carlin, Bradley P. and Louis, Thomas A.. Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC, 2008. ISBN 1-584-88697-8. 
  • Gelman, Andrew, Carlin, John B., Stern, Hal S. and Rubin, Donald B.. Bayesian Data Analysis, Second Edition. Boca Raton, FL: Chapman and Hall/CRC, 2003. ISBN 1-584-88388-X. 
  • Pole, Andy, West, Mike and Harrison, P. Jeff. Applied Bayesian Forecasting and Time Series Analysis, Chapman-Hall/Taylor Francis, 1994
• Intermèdies o avançades:
  • Berger, James O. Statistical Decision Theory and Bayesian Analysis. Second. Springer-Verlag, 1985 (Springer Series in Statistics). ISBN 0-387-96098-8. 
  • Bernardo, José M.; Smith, Adrian F. M.. Bayesian Theory. Wiley, 1994. 
  • Bretthorst, G. Larry, 1988, Bayesian Spectrum Analysis and Parameter Estimation in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York
  • DeGroot, Morris H., Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) ISBN 0-471-68029-X.
  • Jaynes, E.T. (1998) Probability Theory: The Logic of Science.
  • David MacKay. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.  (On-line)
  • O'Hagan, A. and Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9.
  • Pearl, J. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann.
  • Robert, Christian P. The Bayesian Choice. A Decision-Theoretic Motivation. second. Springer, 2001. 
  • Rowe, D.B. (2003) Multivariate Bayesian Statistics CRC Press ISBN 1584883189
  • West, Mike, and Harrison, P. Jeff, Bayesian Forecasting and Dynamic Models, Springer-Verlag, 1997 (2nd ed.)

Enllaços externs

• «Inferència bayesiana». Gran Enciclopèdia Catalana. Barcelona: Grup Enciclopèdia.
• Bayesian Statistics sumari de Scholarpedia.
• A nice on-line Tutorial introductiu de la Queen Mary University of London