Vés al contingut

Al·lucinació (intel·ligència artificial)

De la Viquipèdia, l'enciclopèdia lliure
(S'ha redirigit des de: Al·lucinació artificial)

En intel·ligència artificial (IA), una al·lucinació o al·lucinació artificial (també «deliri» o «confabulació») és una resposta segura d'una IA que no sembla estar justificada per les seves dades d'entrenament.[1] És a dir, la intel·ligència artificial genera una resposta afirmativa i coherent, però que no es correspon amb les dades verificables.[2]

Per exemple, suposem aquest diàleg amb una IA:

Pegunta de l'usuari: «Quin any va ser Ramon Llull president de la Generalitat?»

Resposta de la IA: «Ramon Llull va ser president l'any 1290»

La resposta de la IA, tot i que afirmativa, sense mostrar dubtes i amb una estructura coherent, és falsa. Ho és perquè contradiu les dades verificables o conté elements inexistents. En aquest cas, Ramon Llull mai no va ser president de la Generalitat i, de fet, l'any 1290 tampoc no existia aquesta institució. Amb tot, l'error (al·lucinació) ha estat induït pel supòsit fals de la pregunta.

Aquests fenòmens reben el nom d’«al·lucinacions» per analogia amb la psicologia humana. En el cas de les persones, una al·lucinació és una percepció que no es pot relacionar amb cap estímul real procedent dels òrgans dels sentits. En canvi, en el context de la IA, una al·lucinació fa referència a una resposta formulada amb aparença de certesa, però que no es pot justificar ni fonamentar a partir de les dades amb què el model ha estat entrenat.[1]

Causes de les al·lucinacions

[modifica]
Exemple d'al·lucinació

Les al·lucinacions es produeixen perquè els models de llenguatge extens (LLM) d'intel·ligència artificial generativa no treballen amb coneixement verificat, sinó amb «prediccions estadístiques» basades en patrons del text amb què han estat entrenats.

Quan el model no disposa de prou informació, l'algoritme pot generar respostes plausibles en la forma, però incorrectes. Aquestes respostes apareixen com a certes i segures perquè el model no distingeix entre informació real i fabricada: simplement selecciona la continuació o resposta més probable estadísticament. Diversos estudis assenyalen que aquest comportament és inherent a l’arquitectura dels models generatius i que, per tant, no pot eliminar-se del tot en els sistemes actuals.[1] El següent quadre resumeix les causes principals de les al·lucinacions:[3]

Causa Explicació Exemple
Dades limitades Els models generatius prediuen la paraula següent més probable si no disposen d'informació factual. Si no tenen prou dades, generen respostes que semblen correctes però no tenen fonament real. El model dona una data històrica falsa amb tota seguretat perquè no disposa d’informació suficient.
Qualitat de les dades d'entrenament Els conjunts de dades contenen informació incompleta, contradictòria o amb biaixos. El model pot combinar fragments incompatibles o reproduir errors de les dades d’entrenament. El model barreja definicions científiques contradictòries apreses d’Internet.
Ambigüitat o errors en la instrucció Preguntes amb supòsits falsos, ambigüitats o manca de context poden portar el model a interpretar-les malament i inventar respostes plausibles però incorrectes. Preguntar «Quin any Ramon Llull va ser president de la Generalitat?» i obtenir una data inventada.
Priorització de la fluïdesa per sobre de la veracitat Els models optimitzen la coherència del text, encara que això impliqui adaptar o inventar informació per fer la resposta fluida. El model inventa una referència bibliogràfica per completar una explicació coherent.

Tipus d'al·lucinacions

[modifica]

La tipologia de les al·lucinacions pot establir-se en funció de diferents criteris. La taula següent recull els més rellevants agrupats en sis tipus:[2][4]

Tipus en anglès Descripció Exemple
Al·lucinacions factuals Factual hallucinations El model genera informació objectivament falsa o no suportada per dades verificables. Inventar una data històrica o atribuir una obra a un autor incorrecte.
Al·lucinacions de raonament Reasoning hallucinations Errors en la cadena lògica: inferències incorrectes, càlculs equivocats o contradiccions internes. Resoldre una equació amb passos aparentment coherents però matemàticament falsos.
Al·lucinacions derivades de la instrucció Instruction-induced hallucinations S’originen quan el model interpreta malament la instrucció, especialment si conté supòsits falsos o ambigüitats. Respondre sobre “el president de la Generalitat Ramon LLul”, donant per cert un supòsit fals.
Al·lucinacions intrínseques Intrinsic hallucinations La sortida és incoherent amb l’entrada o amb el mateix text que el model ha generat: contradiccions internes. El model es contradiu dins del mateix paràgraf sobre una mateixa informació.
Al·lucinacions extrínseques Extrinsic hallucinations La resposta és coherent internament però incorrecta respecte al món real. Inventar un esdeveniment històric plausible però fals.
Al·lucinacions induïdes per l’exposició Exposure-induced hallucinations Quan un error inicial es propaga durant la generació de seqüències llargues, amplificant-se. En un resum llarg, afegir dades cada vegada més inventades a mesura que avança el text.

Mitigació de les al·lucinacions

[modifica]

En general, les al·lucinacions en els models d'intel·ligència artificial es produeixen quan el «corpus de dades» amb què ha estat entrenada la IA és insuficient, conté informació incoherent o contradictòria, o quan les instruccions que rep són ambigües o inclouen supòsits falsos. A tot això s’hi afegeix que els models de llenguatge extens (LLMs) tendeixen a prioritzar la fluïdesa i la coherència del text per damunt de la veracitat.[3] Per reduir o mitigar aquests errors, existeixen diverses tècniques que s’adrecen directament a les causes descrites. La taula següent presenta les principals mesures de mitigació associades a cada tipus d’al·lucinació.[2]

Causa de l’al·lucinació Tècnica de mitigació Descripció Exemple
Biaixos i dades incorrectes al «corpus» Filtrar, netejar i equilibrar dades Netejar contingut duplicat, parcial, esbiaixat o fals per reduir errors apresos del corpus. El model repeteix un mite històric fals perquè apareix sovint a Internet.
Falsedats molt repetides (imitative falsehoods) Revisió de dades i detecció de falsedats Identificar i corregir informacions errònies àmpliament difoses al corpus. Atribuir la invenció exclusiva de la bombeta a Edison.
Conflictes de coneixement Harmonitzar fonts i eliminar contradiccions El model veu versions oposades d’un mateix fet i després genera respostes inconsistents. Dos autors diferents donen anys de naixement diferents d’un científic.
Coneixement desactualitzat Actualitzar periòdicament les dades El model dona dades que ja no són vigents. Donar com a president algú que ja no ho és.
Escassetat de dades de domini Afegir dades especialitzades Amb poca informació d’un camp (medicina, dret, astrofísica), el model inventa detalls. Errors en diagnosi mèdica o legislació perquè no té prou informació especialitzada.
Coneixement poc freqüent (Long-tail knowledge ) Enriquir el corpus amb casos rars Temes molt poc representats provoquen respostes inventades. Inventar dades sobre un poble desconegut.
Limitacions del mecanisme d’atenció Millorar l’atenció en seqüències llargues En textos llargs, l’atenció de la IA es difumina i es perd el context. El model es contradiu en un resum llarg.
Funció objectiu (MLE) Objectius d’entrenament que penalitzin falsedats La MLE només premia probables, no la veracitat. El model omple buits amb un detall “plausible” però que pot ser fals.
Codificació posicional dèbil Millorar la codificació ordenada En seqüències llargues, es degrada la percepció de l’ordre. Barrejar dades de seccions diferents d’un text.
Context unidireccional Arquitectures híbrides/bidireccionals En models autoregressius, el context incomplet fa que el model inventi per mantenir coherència. Donar detalls no demanats perquè “sonen bé”.
Shortcut learning Dades diverses que evitin correlacions superficials El model aprèn patrons superficials que fallen fora de distribució. Respondre només perquè detecta una paraula clau (“not”, “always”).
Efecte bola de neu Tècniques d’entrenament robustes. Un petit error a l'inici es propaga i amplifica. En un text llarg, comença bé però acaba inventant dades.
Pocs exemples negatius Incloure exemples erronis durant l’entrenament El model no sap identificar respostes plausibles però falses. Donar per bona una dada inventada perquè “sona correcta”.
Sobreajustament Dades ajustades variades i de qualitat Amb dades massa específiques, el model es torna rígid i falla fora del domini. Un model entrenat per resumir informes mèdics inventa detalls en altres àrees.
Capacitats desajustades Entrenar el model per reconèixer que no sap una resposta A vegades el model respon amb seguretat tot i no tenir prou coneixement. El model respon amb seguretat a preguntes d’alt risc sense coneixement.
Complacència (Sycophancy) Ajustar l’entrenament per evitar respostes “per agradar” El model diu el que creu que l’usuari vol sentir, encara que sigui fals. Confirmar una idea errònia de l’usuari per quedar bé.
Mètriques d’avaluació inadequades Ús de mètriques de factualitat ROUGE/BLEU mesuren fluïdesa, no veracitat. Un model “fluït” passa les proves malgrat donar dades falses.
Instruccions ambigües Escriure instruccions més clares i concretes. L'ambigüitat comporta especulació, i auquesta porta a l'al·lucinació. Inventar un descobriment científic per omplir buits.
Aleatorietat del mostreig Utilitzar estratègies de generació més deterministes. Més creativitat suposa més risc d’inventar. Partint d'un nucli central de dades, el model inventa detalls accessoris.
Limitacions del «SoftMax» Utilitzar mètodes alternatius de generació. El model té dificultats per triar entre opcions igualment plausibles i força una única resposta. Dona una única resposta o interpretació quan n’hi ha diverses vàlides.
Limitacions de raonament Combinar el model de IA amb eines externes o models especialitzats El model falla en seguir passos lògics o en tasques que requereixen connectar fets diversos.

Referències

[modifica]
  1. 1 2 3 Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan (pdf) ACM Computing Surveys, 11-2022. DOI: 10.1145/3571730 [Consulta: 15 gener 2023].
  2. 1 2 3 Alansari, Aisha; Luqman, Hamzah. «Large Language Models Hallucination: A Comprehensive Survey» (en anglès).
  3. 1 2 Zhou, Kaitao et al. (2024). Large Language Models Are Abstract Reasoners Rather Than Fact Reciters. arXiv:2402.13699.
  4. ↑ Maynez, Joshua et al. (2020). On Faithfulness and Factuality in Abstractive Summarization. ACL 2020.