Avaluació de recursos educatius

Avaluar un objecte d'aprenentatge consisteix a proporcionar valors objectius per a un conjunt de criteris que solen incloure la qualitat dels continguts, la conformitat amb estàndards, el potencial de reutilització i altres aspectes. Alguns dels mètodes d'avaluació més utilitzats són la revisió entre iguals i l'ús de qüestionaris estandarditzats.

Els avantatges que poden proporcionar els objectes d'aprenentatge pel que fa a la reutilització no són tals si no hi ha manera de calcular fins a quin punt són bons els objectes d'aprenentatge per a determinades situacions. És important tenir en compte que el paradigma dels objectes d'aprenentatge comporta que un sistema informatitzat és capaç de "recuperar" objectes per a una determinada necessitat accedint a moltes fonts (per exemple, consultant molts repositoris). Per tant, és probable el cas que per a una mateixa necessitat hi hagi més d'un objecte d'aprenentatge (o més d'un disseny per a l'aprenentatge) que s'hi pugui aplicar. Això implica la necessitat de crear criteris i eines per a avaluar la qualitat dels objectes d'aprenentatge.

Tipus d'avaluació

La primera adopta una perspectiva científica en la revisió, seguint un mètode basat en qüestionaris, mentre que la segona està basada en les revisions i opinions de potencials usuaris dels recursos i empra una avaluació per experts. Tots dos acostaments es poden considerar dos extrems que eventualment es podrien combinar, de manera que no s'han de considerar en cap cas enfocaments excloents.

Instruments d'avaluació: LORI

L'instrument de revisió d'objectes d'aprenentatge (traducció de learning object review instrument, LORI) és un formulari per a avaluar la qualitat dels recursos d'aprenentatge electrònic. Desenvolupat al principi per a la xarxa de recerca d'aprenentatge electrònic i avaluació (Elera Arxivat 2020-02-02 a Wayback Machine.) i el portal per a objectes d'aprenentatge en línia (POOL Arxivat 2013-06-18 a Wayback Machine.), hi ha una traducció feta per l'equip del programa Espai virtual d'aprenentatge, de la Conselleria d'Innovació, Ciència i Empresa de la Junta d'Andalusia. Aquest instrument i altres de semblants faciliten la comparació d'objectes i ofereixen un format comú d'avaluació.

La importància del LORI és tant gràcies a la simplicitat com a la base científica que té, ja que en el desenvolupament es van tenir en compte les opinions de dissenyadors de materials educatius i professors, amb els quals es van dur a terme diverses proves. La versió 1.5 (l'actual) inclou nou categories per a valorar cada objecte d'aprenentatge. En cadascuna, el revisor ha de puntuar en una escala de l'1 al 5 l'objecte, i pot introduir comentaris al marge, tot plegat emplenant un formulari que acompanya el manual d'avaluació.

Com hem dit, el LORI permet avaluar els objectes d'aprenentatge en nou categories:

1. Qualitat dels continguts: el revisor ha de valorar el nivell de veracitat, exactitud i presentació equilibrada d'idees i el nivell adequat de detall de l'objecte.
2. Adequació dels objectius d'aprenentatge: coherència entre els objectius, activitats, avaluacions i perfil de l'estudiant.
3. Retroacció i adaptabilitat: contingut adaptatiu o retroacció (feedback) dirigit segons la resposta de cada estudiant i el seu estil d'aprenentatge.
4. Motivació: capacitat de motivar i generar interès en un grup concret d'estudiants.
5. Disseny i presentació: el revisor ha de valorar el disseny de l'objecte, tenint present que la informació audiovisual afavoreix sobretot el processament adequat de la informació.
6. Usabilitat: facilitat de navegació, interfície predictiva per a l'usuari i qualitat dels recursos d'ajuda de la interfície.
7. Accessibilitat: el revisor ha de comprovar si el disseny dels controls i la presentació de la informació s'adapten a diferents usuaris i plataformes, per exemple a discapacitats i dispositius mòbils.
8. Reusabilitat: els revisors han de valorar la capacitat que presenta l'objecte per a fer-lo servir en diferents escenaris d'aprenentatge i amb alumnes de diferents bagatges.
9. Compliment d'estàndards: adequació als estàndards i especificacions internacionals.

Per a veure més detalladament com funciona el LORI, ens hem de fixar en l'avaluació del punt 2 (adequació dels objectius de l'aprenentatge). En aquest apartat:

• L'avaluador puntua amb un 5 si en l'objecte d'aprenentatge s'especifiquen els objectius de l'aprenentatge, tant dins del contingut ofert a l'estudiant com en les metadades disponibles. A més, els objectius de l'aprenentatge han de ser apropiats per a l'estudiant, i les activitats d'aprenentatge, el contingut i les idees proporcionats per l'objecte han d'estar d'acord amb les metes previstes i, en definitiva, l'objecte d'aprenentatge ha de ser suficient per si mateix per a habilitar l'estudiant per a aconseguir els propòsits de l'aprenentatge.
• En l'extrem oposat, una valoració d'1 es recomana si no s'especifiquen les metes d'aprenentatge que s'han d'aconseguir, o les idees, activitats d'aprenentatge i altres continguts no concorden entre si o els objectius de l'aprenentatge no es corresponen amb l'estudiant al qual s'ofereixen.
• Les puntuacions intermèdies (2, 3 i 4) es trien en la mesura que les característiques de l'objecte d'aprenentatge s'assemblin més o menys a les anteriors.

El LORI ha estat objecte d'estudis científics i és, en aquest sentit, un pas endavant en l'obtenció de mesures de qualitat més objectives que la simple mitjana aritmètica de les valoracions subjectives de molts usuaris.

Instruments d'avaluació: HEODAR

Una proposta semblant al LORI és l'HEODAR, una eina que possibilita l'avaluació de cada criteri de manera individual, cosa que permet una valoració més exacta. Igual que en el LORI, es proposen diverses categories amb criteris que permeten avaluar els objectes d'aprenentatge des de diversos punts de vista: didàctic i curricular, tècnic i estètic, i funcional.

El mètode proposa la participació de diversos experts relacionats amb els objectes d'aprenentatge: dissenyadors instruccionals, dissenyadors gràfics, professors, etc., amb l'objectiu d'obtenir opinions fundades en cadascuna de les categories. Per augmentar la fiabilitat de les avaluacions, suggereix una avaluació col·laborativa i que almenys dos avaluadors siguin experts en cadascuna de les matèries que cal avaluar.

Revisió entre iguals

Alguns repositoris (per exemple MERLOT) emmagatzemen, a més dels lògics enllaços a materials educatius en línia, anotacions dels usuaris i altres tipus de revisions com ara una revisió per experts. Es tracta d'una avaluació duta a terme per diversos revisors del mateix rang i de la mateixa experiència que els de l'autor i que duu a terme una feina de manera altruista i en general voluntària.

En la figura que tenim a la dreta es proporciona una visió de la manera com és la descripció d'un objecte d'aprenentatge en el MERLOT. Aquesta figura mostra algunes metadades de l'objecte d'aprenentatge -descripció, tipus, qui l'ha enviat, l'"audiència principal" (destinataris), etc. El més interessant, però, és que també es pot veure que hi ha una valoració del recurs des de dues perspectives:

1. Els member comments, que són comentaris de membres de la comunitat oberta del MERLOT.
2. Els peer reviews, que provenen d'“experts reconeguts” que analitzen a fons el recurs.

Fixeu-vos que, mentre que els comentaris de membres són simplement valoracions en una escala entre una i cinc estrelles, al costat d'un comentari breu, les revisions entre iguals tenen una estructura específica que inclou valoració per diferents criteris i són subjectes a un control de qualitat per part de panels de revisors (review panels).

Aquest tipus d'avaluació és una excel·lent font d'informació qualitativa. L'únic inconvenient que s'hi pot atribuir és que el format és de “text lliure”, i això fa que no sigui gaire útil com a informació de metadades perquè agents o altres sistemes programari en facin el processament automatitzat (per exemple, amb vista a prendre aquestes valoracions com a criteri d'ordenació dels resultats d'una cerca). Tot i això, estructurant una mica les revisions, es pot arribar a aprofitar més bé l'esforç dels revisors amb l'objectiu d'aconseguir registres de metadades més complets.