Precisió i record

De Viquipèdia
Dreceres ràpides: navegació, cerca
En aquesta figura, els elements rellevants es mostren a l'esquerra de la línia recta, mentre que els elements recuperats es troben dins de l'oval. Les regions vermelles representen errors. A l'esquerra es veiem els articles rellevants no recuperats (falsos negatius), mentre que a la dreta hi trobem els elements recuperats que no són rellevants (falsos positius).

La precisió i el record són les mesures bàsiques emprades en les estratègies d'avaluacions de cerca, és a dir, que avaluen la qualitat d'un conjunt desordenat de documents recuperats.

En tasques de reconeixement de patrons i recuperació d'informació, la precisió (també anomenada valor predictiu positiu) és la fracció dels casos recuperats que són rellevants, d'altra banda, el record (també conegut com a sensibilitat) és la fracció de casos rellevants que es recuperen. Tant la precisió com el record es basen en la comprensió i la mesura de la rellevància.

Suposeu que un programa de reconeixement de gossos en escenes d'un vídeo, identifica 7 gossos en una escena que conté 9 gossos i alguns gats. Si 4 de les identificacions són correctes, però 3 són en realitat gats, la precisió del programa és de 4/7, mentre que el seu record és de 4/9. Quan un motor de cerca retorna 30 pàgines de les quals només 20 eren rellevants, la seva precisió és de 20/30 = 2/3, mentre que el seu record és de 20/60 = 1/3.

En estadística, si la hipòtesi nul·la és que només es recuperen els elements rellevants, l'absència d'errors tipus I i tipus II correspon respectivament a la màxima precisió (sense positius falsos) i al màxim record (sense negatius falsos). En l'exemple de reconeixement de patrons anterior, observàvem 7-4 = 3 errors de tipus I i 9-4 = 5 errors de tipus II. La precisió pot ser vista com una mesura de l'exactitud o la qualitat, mentre que el record és una mesura de la integritat o la quantitat. En termes simples, un valor alt de record vol dir que un algorisme retorna la major part dels resultats rellevants, mentre que l'alta precisió vol dir que un algorisme retorna resultats substancialment més rellevants que irrellevants.

Com a exemple, en un escenari de recuperació de la informació, els casos són documents i la tasca és retornar un conjunt de documents rellevants donat un terme de cerca, o equivalent, per assignar cada document en una de les dues categories, "rellevant " i "no rellevant ". En aquest cas, els documents "rellevants" són simplement aquells que pertanyen a la categoria de "rellevant". El record, es defineix com el nombre de documents rellevants trobats a una cerca, dividit pel nombre total de documents rellevants existents, mentre que la precisió es defineix com el nombre de documents rellevants trobats en una cerca, dividit pel nombre total de documents recuperats en aquesta cerca.

Davant d'una tasca de classificació, la precisió per a una classe, és el nombre de positius veritables (és a dir, el nombre d'elements correctament etiquetats com a pertanyents a la classe positiva) dividit pel nombre total d'elements etiquetats com a pertanyents a la classe positiva (és a dir, la suma dels positius veritables i els positius falsos, que són elements incorrectament etiquetats com a pertanyents a la classe). En aquest context, el record es defineix com el nombre de veritables positius dividit pel nombre total d'elements, que en realitat pertanyen a la classe positiva (és a dir, la suma dels positius veritables i els negatius falsos, que són elements que no van ser etiquetats com a pertanyents a la classe positiva, però haurien d'haver-hi estat).

En la recuperació d'informació, una precisió de 1.0, vol dir que tots els resultats en una recerca eren rellevants (però no diu res sobre si tots els documents rellevants van ser recuperats), mentre que un record de 1.0, vol dir que tots els documents rellevants van ser recuperats per la recerca (però no diu res sobre quants documents irrellevants hem trobat).

Davant d'una tasca de classificació, una precisió de 1.0 per a una classe C, significa que tots els elements etiquetats com a pertanyents a la classe C, efectivament pertanyen a la classe C (però no diu res sobre el nombre d'elements de la classe C que no estaven etiquetats correctament), mentre que un record de 1.0, vol dir que cada element de la classe C va ser etiquetat com a pertanyent a la classe C (però no diu res sobre quants elements van ser incorrectament etiquetats com a pertanyents a la classe C).

Sovint, hi ha una relació inversa entre precisió i record, on és possible incrementar un a costa de reduir l'altre. La cirurgia cerebral és un exemple evident de la compensació entre cada terme. Si pensem en la tasca d'un cirurgià del cervell encarregat d'eliminar un tumor cancerigen d'un pacient, cal que el cirurgià elimini totes les cèl·lules tumorals per evitar que les cèl·lules cancerígenes restants regenerin el tumor. Per altra banda, el cirurgià no ha d'eliminar les cèl·lules sanes del cervell, ja que podria deixar alguna funció del cervell perjudicada.

Es poden produir dues possibilitats:

  • El cirurgià pot ser més lliberal agafant més àrea del cervell per assegurar que ha extret totes les cèl·lules cancerígenes. Aquesta decisió fa augmentar el record però redueix la precisió.
  • El cirurgià pot ser més conservador de manera que s'asseguri d'extreure només les cèl·lules cancerígenes. Aquesta decisió fa augmentar la precisió però redueix el record. Per tant, un major record augmenta les possibilitats d'eliminació de les cèl·lules sanes (resultat negatiu) i augmenta les possibilitats d'eliminació de totes les cèl·lules cancerígenes (resultat positiu). Una major precisió disminueix les possibilitats d'eliminació de les cèl·lules sanes (resultat positiu), però també disminueixen les possibilitats d'eliminació de totes les cèl·lules cancerígenes (resultat negatiu). En general, les puntuacions de la precisió i el record no es tracten de manera independent. Així doncs, els valors per a cada una de les mesures es comparen amb un nivell fix en l'altre mesura (per exemple: precisió en un nivell de record de 0.75) o es combinen ambdós en una sola mesura.

Exemples sobre mesures on es combina la precisió i el record són:

  • F-measure: és la mitjana harmònica ponderada de la precisió i el record.
  • Coeficient de correlació Matthews: és una mitjana geomètrica de les variants amb oportunitat de correcció: DeltaP' i DeltaP.

La precisió és una mitjana aritmètica ponderada de la Precisió i la Precisió Inversa (ponderada per Bias), així com una mitjana aritmètica ponderada del record i el record invers (ponderat per la prevalença). La precisió inversa i el record són simplement la Precisió i el Record de la inversa del problema on s'intercanvien les etiquetes positives i negatives per ambdues classes reals i les etiquetes de predicció.

El Record i el Record Invers, o de forma equivalent, la taxa de positius certs i la taxa de positius falsos, se solen representar entre si en forma de corbes ROC que proporcionen un mecanisme per explorar el funcionament del punt de compensació. Fora de la recuperació d'informació, l'aplicació de: Record, Precisió i F-measure s'argumenten com a paràmetres defectuosos perquè ignoren la veritable cèl·lula negativa de la taula de possibilitats, i són fàcilment manipulats per inclinar les prediccions. El primer problema és "resolt" mitjançant la Predicció i el segon està "resolt" descomptant el component d'atzar i tornant a normalitzar a Cohen's Kappa, però no dóna l'oportunitat d'explorar la gràfica de compensació. Tot i això, Informedness i Markedness són renormalitzacions Kappa de Record i Precisió, i la seva mitjana del Coeficient de correlació Mathews actua com un valor-F.

Definició (Context de recuperació d'informació)[modifica | modifica el codi]

En el context de recuperació d'informació, precisió i record estan definits en termes d'un conjunt de documents recuperats (per exemple la llista de documents produïda per un motor de cerca en una cerca) i un conjunt de documents rellevants (per exemple la llista de tots els documents d'Internet que són rellevants per un tema de cerca concret).

Precisió[modifica | modifica el codi]

En el camp de recuperació d'informació, la precisió és la part de documents recuperats que són rellevants per la cerca:

 \text{precisió}=\frac{|\{\text{documents rellevants}\}\cap\{\text{documents recuperats}\}|}{|\{\text{documents recuperats}\}|}

La precisió agafa tots els documents recuperats a tenir en compte, però també es pot avaluar en un rang acotat determinat, considerant només els resultats més alts que ens ha retornat el sistema. Aquesta mesura s'anomena precisió a n o P@n.

Per exemple, per a la cerca de text en un conjunt de documents, la precisió és el nombre de resultats correcte dividit pel nombre de tots els resultats retornats.

La precisió també s'utilitza amb el record, el percentatge de tots els documents rellevants que han sigut retornats després de la cerca. Les dues mesures s'utilitzen de vegades juntes en el F1 Score (o mesura-f) per a donar només una mesura per sistema.

Veiem que el significat i ús de “precisió” en el camp de recuperació d'informació difereix amb la definició d'exactitut i precisió dins d'altres branques de ciència i tecnologia.

Record[modifica | modifica el codi]

El record en la recuperació d'informació és la part dels documents rellevants per a la cerca que han sigut recuperats correctament:

 \text{record}=\frac{|\{\text{documents rellevants}\}\cap\{\text{documents recuperats}\}|}{|\{\text{documents rellevants}\}|}

Per exemple, per a la cerca de text en un conjunt de documents, el record és el nombre de resultats correctes dividit entre el nombre de resultats que haurien d'haver estat retornats. En la classificació binària, el record s'anomena sensibilitat. Així que es pot veure com la probabilitat que un document rellevant sigui retornat per la cerca.

Definició (context de classificació)[modifica | modifica el codi]

En les tasques de classificació els termes positius verdaders, negatius verdaders, positius falsos i negatius falsos comparen els resultats del classificador mitjançant proves amb decisions externes fiables. Els termes positiu i negatiu es refereixen a la predicció del classificador (de vegades coneguda com a previsió), i els termes verdader i fals a si la predicció es correspon amb el veredicte extern (de vegades conegut com a observació).

Matriu de confusió: predicció vs. observació

La precisió i el record estan definits com:

 \text{precisió = }\frac{\left |\text{positius verdaders}\right |}{\left |\text{positius certs + positius falsos}\right |}

 \text{record = }\frac{\left |\text{positius verdaders}\right |}{\left |\text{positius verdaders + negatius falsos}\right |}


En aquest context, record també es refereix a la Taxa de Positius Verdaders o Sensibilitat, i precisió també es refereix al valor de Positius Predictiu (PPV); altres mesures relacionades utilitzades en la classificació són per exemple la Taxa de Negatius Verdaders (també anomenada Especificitat) i Precisió.

Interpretació probabilística[modifica | modifica el codi]

És possible interpretar la precisió i el record no com a índex, sinó com a probabilitats:

  • Precisió és la probabilitat que el document recuperat sigui rellevant (seleccionat aleatòriament).
  • Record és la probabilitat que un document rellevant sigui recuperat en una cerca (seleccionat aleatòriament).

Veiem que la selecció aleatòria es refereix a una distribució uniforme a través de tot el conjunt de documents, és a dir, quan parlem de document recuperat seleccionat aleatòriament, ens referim a seleccionar un document del conjunt de documents recuperats de forma aleatòria. La selecció aleatòria hauria de funcionar de manera que tots els documents del conjunt siguin seleccionats equiprobablement.

S'observa que, en un sistema classificador típic, la probabilitat que un document recuperat sigui rellevant depèn del document. La interpretació de més amunt s'estén també en aquesta situació hipotètica (necessita aclariment).

Una altra interpretació per la precisió i el record és la següent: precisió és la probabilitat mitjana de recuperació rellevant, record és la probabilitat mitjana de recuperació completa. Aquí es fa la mitjana sobre múltiples cerques de recuperació.

valor-F[modifica | modifica el codi]

El valor-F és una mesura estadística que combina la precisió i el record, és la mitjana harmònica de la precisió i el record, el valor-F o el valor-F balancejat: El valor-F1 és la mesura de precisió que té una prova. S'utilitza per a determinar un valor únic ponderat de la precisió i el record, on la millor valor-F val 1 i la pitjor 0 (s'acostuma a donar en tant per cent)

S'utilitza a la fase de proves dels algorismes de recerca i recuperació d'informació i classificació de documents.

F = 2 \cdot \frac{\text{precisió} \cdot \text{record}}{ \text{precisió} + \text{record}}

La fórmula general per a valors reals no negatius de β:

F_\beta = (1 + \beta^2) \cdot \frac{\text{precisió} \cdot \text{record} }{ \beta^2 \cdot \text{precisió} + \text{record}}

Si β = 1: se li està donant la mateixa importància a la precisió que al record.

Si β > 1: donem més importància al record.

Si β < 1: donem més importància a la precisió.

Dues variants del valor-F que s'utilitzen habitualment són: la valor-F2, que el pes del record és més elevat que el de la precisió, i valor-F0.5, on posa més èmfasi a la precisió que al record

El valor-F1 és un desenvolupament de la Fβ i aquesta està basada en la mesura d'eficàcia definida per C. J. Van Rijsbergen el 1979.

E = 1 - \frac{1}{\frac{\alpha}{P} + \frac{1-\alpha}{R}}

F_\beta = 1 - E

\alpha=\frac{1}{1 + \beta^2}

Vegeu també[modifica | modifica el codi]

Bibliografia[modifica | modifica el codi]