Playtesting Think Aloud

El think aloud és una variació de la tècnica Playtesting amb la diferència que l'usuari ha d'expressar en veu alta els seus pensaments, sentiments, accions i experiències mentres prova el producte amb un membre de l'equip d'experiència d'usuari assegut a prop seu escoltant i prenent notes. L'equip repeteix això amb diversos individus per aconseguir múltiples perspectives i punts de vista. És important que els investigadors, i no els dissenyadors del producte, realitzin aquests estudis.

És un protocol utilitzat per recollir dades en proves d'usabilitat en disseny i desenvolupament de productes, en psicologia i en diverses ciències socials (per exemple, lectura, escriptura, investigació de traducció, presa de decisions i seguiment del procés). El mètode think aloud va ser introduït en el camp d'usabilitat per Clayton Lewis mentre estava a IBM i s'explica en Task-Centered User Interface Design: A Practical Introduction de C. Lewis i J. Rieman. El mètode es va desenvolupar a partir de les tècniques d'anàlisi de protocols d'Ericsson i Simon. Tanmateix, hi ha algunes diferències significatives entre la manera com Ericsson i Simon proposen que es duguin a terme els protocols i com els realitzen els practicants d'usabilitat, tal com han assenyalat Boren i Ramey. Aquestes diferències sorgeixen de les necessitats específiques i del context de les proves d'usabilitat; els professionals haurien de ser conscients d'aquestes diferències i ajustar el seu mètode per satisfer les seves necessitats mentre encara recopilen dades vàlides. Per exemple, és possible que hagin de demanar informació addicional amb més freqüència que Ericsson i Simon ho permetrien, però haurien de vigilar de no influir en el que diuen i fan els participants.

Això dona als observadors una visió dels processos cognitius del participant per fer que els processos de pensament siguin tan explícits com sigui possible durant el rendiment de la tasca. En un protocol de recerca formal totes les verbalizacions es transcriuen i s'analitzen. En un context de prova d'usabilitat, es demana als observadors que prenguin notes del que els participants diuen i fan, sense intentar interpretar les seves accions i paraules i especialment notar llocs on troben dificultats. Les sessions de prova solen ser enregistrades en àudio i vídeo perquè els desenvolupadors puguin tornar enrere i fer referència al que han fet els participants i com reaccionen.

Un mètode de recollida de dades relacionat, però lleugerament diferent, és el talk aloud. Aquest implica que els participants només descriuen les seves accions, però no els seus pensaments. Es considera que aquest mètode és més objectiu, ja que els participants només informen de com completen una tasca en lloc d'interpretar o justificar les seves accions.

Com Kuusela i Paul afirmen, el talk aloud es pot distingir en dos tipus diferents de procediments experimentals. El primer és el concurrent, recollit durant la tasca, i el segon és el de reflexió, recollit després de la tasca, ja que el participant reflexiona sobre els passos que va prendre prèviament, sovint recolzar per una gravació de vídeo d'ells mateixos. Hi ha avantatges i desavantatges per a cada enfocament, però en general un talk aloud concurrent pot ser més complet, mentre que un talk aloud retrospectiu té menys possibilitats d'interferir amb el rendiment de la tasca.

Tipus

Dins d'aquesta modalitat de playtesting trobem principalment tres tipus d'execució:

• Think aloud estàndard. Aquest tipus requereix un únic individu que serà sotmès a una sessió de prova del producte en un entorn controlat. Mentrestant, haurà de dir en veu alta què pensa, sent i fa. Aquesta informació serà recopilada i analitzada.
• Think aloud de caràcter posterior. En aquest tipus de playtesting, a diferència d'en l'anterior, l'usuari no haurà de parlar en veu alta mentre prova el prodcute, sinó que ho farà després de la sessió veient una gravació d'aquesta. D'aquesta manera, l'alliberem de la carga cognitiva que implica la multitasca de parlar i provar alhora. En general, aquesta variant és menys completa que l'estàndard, però interfereix menys en el rendiment de la tasca.
• Think aloud en parelles. En aquesta última varietat ens interessa veure les interaccions entre els dos usuaris participants. És ideal per veure com es relacionen entre si els individus per productes socials, com un joc multijugador.

Metodologies d'estudi

Per realitzar un playtesting think aloud és vital seguir una sèrie de mesures que afavoriran l'anàlisi posterior de la informació i evitaram que apareguin biaixos o errors de procediment que puguin afectar la recopilació de la informació. Per a això serà important que l'entorn compleixi amb els següents requisits:

• Usuaris de prova part del target del producte. De res serveix experimentar amb subjectes que no representen el futur client del producte. Per això és important fer una bona recerca o tenir una base de dades amb diferents perfils d'usuaris per escollir quin és el més adequat per a l'estudi.

• Absència total de membres de l'equip de desenvolupament o de la pròpia companyia. Això es deu al fet que la presència d'un membre de l'empresa exerceix certa pressió a l'individu, ja que no és natural pensar en veu alta què fem i per què i menys davant d'un membre de l'empresa. La millor manera d'evitar aquest punt de biaix és que el subjecte es trobi en completa solitud supervisat per un expert en experiència de l'usuari o per un psicòleg.

• Recull de la informació verbal del tester. Com que volem saber en què pensa el tester mentre prova el producte, volem poder emmagatzemar aquesta informació per a un futur anàlisi més exhaustiu.

• Enregistrament de la sessió. Si sabem que està pensant l'usuari, però no sabem que està invocant aquest pensament, difícilment serem capaços de relacionar els seus pensaments amb la seva causa. Per a això serà valuós gravar la sessió del subjecte per a després, en la seva anàlisi, posar-ho en comú amb la informació verbal referent als pensaments de l'usuari.

• Enregistrament de les expressions facials. Les expressions facials d'una persona donen molta informació pel fet que mostren les emocions d'aquesta a la resta d'humans, sent molt difícils falsejar-les. Si sabem què pensa la persona, què activa aquest pensament i, a més, com reacciona la persona a l'estímul rebut podrem entendre el cicle complet d'informació en el jugador (percepció, cognició i expressió).

• No tots els pensaments són importants. Un cop tinguem la informació verbal recopilada s'ha de fer una selecció: només ens quedarem amb els pensaments que ens siguin útils en el desenvolupament i millora del producte.

Beneficis i perjudicis 

Aquesta eina d'estudi té avantatges enfront d'altres metodologies:

• Útil per trobar defectes en el disseny de les interfícies visuals del producte digital. Aquest mètode d'estudi és usat en gran manera per trobar possibles problemes relacionats amb la usabilitat del producte a analitzar. En la majoria dels casos aquesta anàlisi se centrarà en els elements de la interfície visual del producte.

• Informació sobre els processos mentals del subjecte. No només ens indica en què pensa el subjecte quan es troba amb un problema, sinó l'ordre en què ho analitza i l'ordre amb el qual el soluciona.

• És senzill d'aprendre a conduir. Com que és un procediment en el qual la interacció amb l'usuari és gairebé nul·la i a més és una prova que no requereix de ningú activament treballant al costat del tester, s'aprèn a dur a terme ràpidament. A més, és un estudi d'estructura rutinària en la qual sempre es duen a terme les mateixes fases (enregistrament, selecció, anàlisi i resultats)
• Baix cost de l'equipament. L'equipament estrictament necessari per dur a terme aquesta metodologia es basa en un sistema per gravar la cara del jugador, un altre per gravar la sessió (càmera apuntant com el subjecte interaccciona amb el producte) i un sistema de gravació d'àudio. A això se li sumaria un servidor o sistema que emmagatzemi les dades si és necessari.

Tot i això, té certs defectes:

• Pot destruir l'experiència. Quan l'usuari usa el producte de manera casual no ho fa expressant els seus pensaments en veu alta. A causa d'això el pot gaudir del producte i entrar en estat de flow, per exemple, si el producte es tracta d'un videojoc. Si el jugador interromp constantment l'experiència del joc amb les seves pròpies paraules evita aquest estat o qualsevol estat semblant d'immersió en el flow del joc. Això es deu al fet que la nostra atenció no pot ser repartida, ja que aquesta és limitada. Per això el que fem és saltejar constantment entre jugar i pensar en veu alta. Això impedeix naturalment qualsevol tipus d'immersió en el joc i per tant que aquest sigui gaudit. Això vol dir que aquesta eina no pot usar-se per mesurar el gaudi del joc per part del jugador.
• Requereix de molt temps. No tan sols perquè l'experiment pugui ser llarg (2 hores màxim) sinó més aviat perquè l'anàlisi pot resultar molt llarg (6 hores d'anàlisi per 30 minuts de gravació).
• La informació verbal del subjecte pot estar subjecta a un lleu biaix. Això és a causa que les seves paraules es puguin mal interpretar i que en saber que està sent gravat no sigui totalment sincer.

Referències

1. Playtesting think-aloud : C.M. Hoonhout, Henriette (Jettie). Let the Game Tester Do the Talking: Think Aloud and Interviewing to Learn About the Game Experience.
2. Teoria del Flow: Csískszentmihályi, Mihály. Flow and the psychology of discovery and invention. New York: Harper Collins.
3. Teorias del Atencion: Hodent, Celia. «Teoria del Atencion».
4. Lewis, C. H. (1982). Using the "Thinking Aloud" Method In Cognitive Interface Design (Technical report). IBM. RC-9265.
5. http://grouplab.cpsc.ucalgary.ca/saul/hci_topics/tcsd-book/chap-1_v-1.html Task-Centered User Interface Design: A Practical Introduction, by Clayton Lewis and John Rieman.
6. Ericsson, K., & Simon, H. (May 1980). "Verbal reports as data". Psychological Review. 87 (3): 215–251. doi:10.1037/0033-295X.87.3.215.
7. Ericsson, K., & Simon, H. (1987). "Verbal reports on thinking". In C. Faerch; G. Kasper. Introspection in Second Language Research. Clevedon, Avon: Multilingual Matters. pp. 24–54.
8. Ericsson, K., & Simon, H. (1993). Protocol Analysis: Verbal Reports as Data (2nd ed.). Boston: MIT Press. ISBN 0-262-05029-3.
9. https://www.researchgate.net/publication/3230127_Thinking_aloud_Reconciling_theory_and_practice Thinking Aloud: Reconciling Theory and Practice, by Ted Boren and Judith Ramey.
10. Kuusela, H., & Paul, P. (2000). "A comparison of concurrent and retrospective verbal protocol analysis". American Journal of Psychology. University of Illinois Press. 113 (3): 387–404. doi:10.2307/1423365. JSTOR 1423365. PMID 10997234.