Mètrica de Wasserstein

En matemàtiques, la distància de Wasserstein o mètrica de Kantorovich - Rubinstein és una funció de distància definida entre distribucions de probabilitat en un espai mètric donat $M$. Porta el nom de Leonid Vaseršteĭn.

Intuïtivament, si cada distribució es veu com una unitat de quantitat de terra (sòl) amuntegada $M$, la mètrica és el "cost" mínim de convertir una pila en una altra, que se suposa que és la quantitat de terra que s'ha de moure multiplicada per la distància mitjana que s'ha de moure. Aquest problema va ser formalitzat per primera vegada per Gaspard Monge el 1781. A causa d'aquesta analogia, la mètrica es coneix en informàtica com a distància del motor terrestre.

El nom "distància de Wasserstein" va ser encunyat per RL Dobrushin l'any 1970, després d'aprendre'n en el treball de Leonid Vaseršteĭn sobre processos de Markov que descriuen grans sistemes d'autòmats (rus, 1969). Tanmateix, la mètrica va ser definida per primera vegada per Leonid Kantorovich a The Mathematical Method of Production Planning and Organization (original rus de 1939) en el context de la planificació òptima del transport de mercaderies i materials. Per tant, alguns estudiosos fomenten l'ús dels termes "mètrica de Kantorovich" i "distància de Kantorovich". La majoria de les publicacions en anglès utilitzen l'ortografia alemanya "Wasserstein".

Definició

Deixar $(M,d)$ ser un espai mètric que és un espai de radó. Per $p\in [1,+\infty ]$, el Wasserstein $p$ -distància entre dues mesures de probabilitat $\mu$ i $\nu$ activat $M$ amb finit $p$-moments és

$$W_{p}(\mu ,\nu )=\left(\inf _{\gamma \in \Gamma (\mu ,\nu )}\mathbf {E} _{(x,y)\sim \gamma }d(x,y)^{p}\right)^{1/p},$$

Dues distribucions unidimensionals $\mu$ i $\nu$, representats en els eixos x i y, i una possible distribució conjunta que defineix un pla de transport entre ells. El pla conjunt de distribució/transport no és únic

on $\Gamma (\mu ,\nu )$ és el conjunt de tots els acoblaments de $\mu$ i $\nu$ ; $W_{\infty }(\mu ,\nu )$ es defineix per ser $\lim _{p\rightarrow +\infty }W_{p}(\mu ,\nu )$ i correspon a una norma suprema. Un acoblament $\gamma$ és una mesura de probabilitat conjunta sobre $M\times M$ els marginals del qual són $\mu$ i $\nu$ en el primer i segon factors, respectivament. Això és,

$$\int _{M}\gamma (x,y)\,\mathrm {d} y=\mu (x),$$

$$\int _{M}\gamma (x,y)\,\mathrm {d} x=\nu (y).$$

Intuïció i connexió amb un transport òptim

Una manera d'entendre la definició anterior és considerar el problema del transport òptim. És a dir, per a una distribució de massa $\mu (x)$ en un espai $X$, volem transportar la massa de manera que es transformi en la distribució $\nu (x)$ al mateix espai; transformant el "munt de terra" $\mu$ a la pila $\nu$ . Aquest problema només té sentit si la pila a crear té la mateixa massa que la pila a moure; per tant sense pèrdua de generalitat assumim que $\mu$ i $\nu$ són distribucions de probabilitat que contenen una massa total d'1. Suposem també que hi ha alguna funció de cost

$$c(x,y)\geq 0$$

que dóna el cost de transportar una unitat de massa des del punt $x$ fins al punt $y$ . Un pla de transport per moure's $\mu$ a $\nu$ es pot descriure mitjançant una funció $\gamma (x,y)$ que dóna la quantitat de massa per desplaçar-se $x$ a $y$ . Us podeu imaginar la tasca com la necessitat de moure un munt de terra de forma $\mu$ al forat del sòl de la forma $\nu$ de manera que, al final, tant la pila de terra com el forat a terra desapareixen completament.

Aplicacions

La mètrica de Wasserstein és una manera natural de comparar les distribucions de probabilitat de dues variables X i Y, on una variable es deriva de l'altra per petites pertorbacions no uniformes (aleatòries o deterministes).

En informàtica, per exemple, la mètrica W ₁ s'utilitza àmpliament per comparar distribucions discretes, per exemple, els histogrames de color de dues imatges digitals; vegeu la distància del moviment de terra per a més detalls.

En el seu article " Wasserstein GAN ", Arjovsky et al. utilitzen la mètrica Wasserstein-1 com una manera de millorar el marc original de les xarxes generatives d'adversari (GAN), per alleujar el gradient de desaparició i els problemes de col·lapse del mode. El cas especial de les distribucions normals s'utilitza en una distància d'inici de Frechet.

La mètrica de Wasserstein té un vincle formal amb l'anàlisi de Procrustes, amb aplicació a mesures de quiralitat, i a l'anàlisi de forma.

En biologia computacional, la mètrica de Wasserstein es pot utilitzar per comparar entre diagrames de persistència de conjunts de dades de citometria.

La mètrica de Wasserstein també s'ha utilitzat en problemes inversos en geofísica.

La mètrica de Wasserstein s'utilitza en la teoria integrada de la informació per calcular la diferència entre conceptes i estructures conceptuals.