Llei de Zipf-Mandelbrot

Llei de Zipf-Mandelbrot

Tipus	llei potencial
Epònim	George Kingsley Zipf, Benoît Mandelbrot i Vilfredo Pareto
Paràmetres	$N\in \{1,2,3\ldots \}$ (enter) $q\in [0;\infty )$ (real) $s>0\,$ (real)
Suport	$k\in \{1,2,\ldots ,N\}$
fpm	${\frac {1/(k+q)^{s}}{H_{N,q,s}}}$
FD	${\frac {H_{k,q,s}}{H_{N,q,s}}}$
Esperança matemàtica	${\frac {H_{N,q,s-1}}{H_{N,q,s}}}-q$
Moda	$1\,$
Entropia	${\frac {s}{H_{N,q,s}}}\sum _{k=1}^{N}{\frac {\ln(k+q)}{(k+q)^{s}}}+\ln(H_{N,q,s})$

En teoria de probabilitat i estadística, la llei de Zipf-Mandelbrot és una distribució de probabilitat discreta. També coneguda com la llei de Pareto-Zipf, és una distribució de llei potencial a les dades classificades, anomenada així pel lingüista George Kingsley Zipf qui va suggerir una distribució més senzilla anomenada llei de Zipf i el matemàtic Benoit Mandelbrot, que posteriorment la va generalitzar.

La funció de massa de probabilitat ve donada per:

$f(k;N,q,s)={\frac {1/(k+q)^{s}}{H_{N,q,s}}}$

on $H_{N,q,s}$ és donat per:

$H_{N,q,s}=\sum _{i=1}^{N}{\frac {1}{(i+q)^{s}}}$

que es pot considerar com una generalització d'un nombre harmònic. A la fórmula, $k$ és el rang de les dades $q$ i $s$ són paràmetres de la distribució. En el límit de $N$ quan s'acosta a l'infinit, es converteix en la funció zeta de Hurwitz $\zeta (s,q)$. Per a $N$ finit i $q=0$ la llei de Zipf-Mandelbrot es converteix en la llei de Zipf. Per a $N$ infinit i $q=0$ es converteix en la distribució Zeta.

Aplicacions

La distribució de paraules classificades per la seva freqüència en un corpus lingüístic aleatori s'aproxima per una distribució de llei potencial, coneguda com a llei de Zipf.

Si es dibuixa el rang de freqüència de les paraules contingudes en un corpus de dades de text de mida moderada vers el nombre d'ocurrències o freqüències reals, s'obté una distribució de llei potencial, amb exponent proper a 1 (però vegeu Powers, 1998 i Gelbukh i Sidorov, 2001). La llei de Zipf assumeix implícitament una mida de vocabulari fixa, però la sèrie harmònica amb s=1 no convergeix, mentre que la generalització de la llei Zipf-Mandelbrot amb s>1 ho fa. A més, hi ha proves que la classe tancada de paraules funcionals que defineixen un idioma obeeix a una distribució Zipf-Mandelbrot amb diferents paràmetres de les classes obertes de paraules amb contingut que varien per tema, camp i registre.

En estudis del camp ecològic, la distribució d'abundància relativa (és a dir, el gràfic del nombre d'espècies observades en funció de la seva abundància) es troba sovint conforme a la llei de Zipf-Mandelbrot.

Dins de la música, moltes mètriques de la música «agradable» s'ajusten a les distribucions Zipf-Mandelbrot.

Bibliografia

• Mandelbrot, Benoît. «Information Theory and Psycholinguistics». A: Language (en anglès). R.C. Oldfield and J.C. Marchall, 1968. 
• Powers, David M W «Applications and explanations of Zipf's law» (en anglès). Association for Computational Linguistics, 1998, pàg. 151–160.
• Zipf, George Kingsley. Selected Studies of the Principle of Relative Frequency in Language (en anglès). Cambridge, MA: Harvard University Press, 1932. 
• Van Droogenbroeck, F.J. «An essential rephrasing of the Zipf-Mandelbrot law to solve authorship attribution applications by Gaussian statistics» (en anglès). Academia, 2019.

Enllaços externs

• Z. K. Silagadze: Citations and the Zipf-Mandelbrot's law (anglès)
• NIST: Zipf's law (anglès)
• W. Li's References on Zipf's law (anglès)
• Gelbukh & Sidorov, 2001: Zipf and Heaps Laws' Coefficients Depend on Language (anglès)
• C++ Library for generating random Zipf-Mandelbrot deviates. (anglès)