Distància inicial de Fréchet

La distància inicial de Fréchet (FID) és una mètrica que s'utilitza per avaluar la qualitat de les imatges creades per un model generatiu, com una xarxa adversa generativa (GAN). A diferència de la puntuació inicial (IS), que només avalua la distribució de les imatges generades, el FID compara la distribució d'imatges generades amb la distribució d'un conjunt d'imatges reals ("veritat bàsica").

La mètrica FID es va introduir el 2017, i és la mètrica estàndard actual per avaluar la qualitat dels models generatius a partir del 2020. S'ha utilitzat per mesurar la qualitat de molts models recents, incloses les xarxes d'alta resolució StyleGAN1 i StyleGAN2.

Definició

Per a dues distribucions de probabilitat qualsevol $\mu ,\nu$ acabat $\mathbb {R} ^{n}$ tenint una mitjana i variàncies finites, la seva distància de Fréchet és $$d_{F}(\mu ,\nu ):=\left(\inf _{\gamma \in \Gamma (\mu ,\nu )}\int _{\mathbb {R} ^{n}\times \mathbb {R} ^{n}}\|x-y\|^{2}\,\mathrm {d} \gamma (x,y)\right)^{1/2},$$on $\Gamma (\mu ,\nu )$ és el conjunt de totes les mesures $\mathbb {R} ^{n}\times \mathbb {R} ^{n}$ amb marginals $\mu$ i $\nu$ en el primer i segon factors respectivament. (El conjunt $\Gamma (\mu ,\nu )$ també s'anomena el conjunt de tots els acoblaments de $\mu$ i $\nu$). En altres paraules, és la distància 2-Wasserstein activada $\mathbb {R} ^{n}$. Per a dues distribucions gaussianes multidimensionals ${\mathcal {N}}(\mu ,\Sigma )$ i ${\mathcal {N}}(\mu ',\Sigma ')$, es pot resoldre explícitament com $$d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}=\lVert \mu -\mu '\rVert _{2}^{2}+\operatorname {tr} \left(\Sigma +\Sigma '-2\left(\Sigma ^{\frac {1}{2}}\cdot \Sigma '\cdot \Sigma ^{\frac {1}{2}}\right)^{\frac {1}{2}}\right)$$Això ens permet definir el FID en forma de pseudocodi:

INPUT una funció $f:\Omega _{X}\to \mathbb {R} ^{n}$.

INPUT dos conjunts de dades $S,S'\subset \Omega _{X}$.

Calcular $f(S),f(S')\subset \mathbb {R} ^{n}$.

Ajustar dues distribucions gaussianes${\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma ')$ , respectivament per $f(S),f(S')$ .

RETORNAR $d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}$.

En la majoria dels usos pràctics del FID, $\Omega _{X}$ és l'espai de les imatges, i $f$ és un model Inception v3 entrenat a ImageNet, però sense la seva capa de classificació final. Tècnicament, és el vector d'activació de 2048 dimensions de la seva última capa d'agrupació. Dels dos conjunts de dades $S,S'$, un d'ells és un conjunt de dades de referència, que podria ser el mateix ImageNet, i l'altre és un conjunt d'imatges generades per un model generatiu, com ara GAN, o model de difusió.

Interpretació

En lloc de comparar directament les imatges píxel per píxel (per exemple, com ho fa la norma L2), el FID compara la mitjana i la desviació estàndard de la capa més profunda a Inception v3. Aquestes capes estan més a prop dels nodes de sortida que corresponen a objectes del món real, com ara una raça específica de gossos o un avió, i més lluny de les capes poc profundes properes a la imatge d'entrada.