lunes, 4 de mayo de 2020

Exámenes universitarios en tiempos de COVID-19

¿Hay que examinar a los estudiantes, dar aprobados generales, o aptos no computables? Es un debate muy interesante el que está teniendo lugar estos días, tanto en los medios, como dentro de las propias universidades. En la mía lo tenemos bastante claro (dentro de los márgenes de confianza apropiados): creemos que sí hay que evaluar, y que es posible hacerlo con las condiciones apropiadas. Pero Javier Ferri, un hombre que me parece muy sensato, opina que no. Sus argumentos (con los que ya adelanto que no estoy de acuerdo del todo):
  • Que no se puede garantizar la autoría intelectual del trabajo evaluado (en parte porque la mayoría de las universidades no cuentan con medios para ello);
  • Y que esto incentivará a los estudiantes a utilizar esta ventaja en su favor, lo que además favorece a los menos trabajadores.
  • Concluye poniendo como ejemplo a la UNED, que a pesar de ser universidad a distancia, realiza sus exámenes de forma presencial.
Aquí están mis respuestas a sus argumentos, centradas exclusivamente en los exámenes. Por supuesto (y las menciono abajo), una de las respuestas es precisamente dar menos peso a los exámenes tradicionales.
  • Parto de la base de que, salvo en un examen oral, es muy difícil, también en un examen presencial, garantizar la autoría intelectual del alumno: chuletas, suplantación de identidad (falsificaciones de DNI o de la tarjeta de alumno, o directamente perfiles fisionómicos parecidos), medios electrónicos...los alumnos que quieren engañar llevan muchos años perfeccionando sus técnicas, y yo soy el primero en reconocer que puede ser que alguno de mis alumnos copie en mis exámenes. Lo de copiar los trabajos tampoco es algo extraño. Así que lo primero es reconocer que el benchmark actual no es perfecto ni mucho menos, y a pesar de eso seguimos evaluando.
  • ¿Es posible evaluar a distancia aproximándonos lo más posible a ese benchmark imperfecto? Yo creo que sí:
    • Por supuesto, una opción es hacer un examen oral online. Perfectamente equiparable al presencial en términos de garantías. Mucho más engorroso para el profesor si tiene muchísimos alumnos...pero perfectamente factible, y de hecho, permite una evaluación de mucha mayor calidad. Un profesor experimentado, además, sabe bien lo que tiene que preguntar para saber de verdad si un alumno ha asimilado los conceptos o no, así que el examen no tiene que ser particularmente largo. En el caso de los estudios más prácticos, como la ingeniería, el examen oral puede hacerse a partir de un ejercicio o trabajo enviado previamente.
    • Si no estamos dispuestos a dedicar este tiempo, algo que como digo puede ser entendible en el caso de tener muchos alumnos, podemos recurrir a otras estrategias:
      • Las herramientas informáticas de proctoring permiten limitar las oportunidades del alumno de engañar, y se pueden utilizar tanto para responder exámenes tipo test (como los de la UNED, por otra parte) como para resolver problemas en hojas de cálculo. Estas herramientas no son caras, y de hecho muchas universidades cuentan con ellas ya (y si no, no sé a qué esperan). El verdadero coste aquí es el del servidor de datos...pero de nuevo, tampoco es insalvable.
      • Otra opción, más apropiada además en asignaturas como las de programación, pero también válida para otras o cuando no hay proctoring, es grabar la pantalla del alumno mientras realiza el examen. De nuevo, las herramientas para esto son sencillas y asequibles.
      • Lo que es complicado con estas herramientas es garantizar que los alumnos no se comunican entre ellos por sus móviles, o con gente en la misma sala. Pero para eso podemos mantener videoconferencias con sus móviles y grabarlas, asegurándonos así que, una vez bloqueadas las comunicaciones en el ordenador, tampoco hacen nada extraño mientras rellenan su examen. Esto es viable hasta unos 50 alumnos por profesor...algo tampoco descabellado repartiendo el trabajo de vigilancia, igual que hacemos en los presenciales. Además, la videoconferencia permite comprobar la identidad real del alumno.
      • ¿Y el miedo de que, incluso si les estamos vigilando, usen materiales escondidos? Los exámenes con libros abiertos, tan temidos por los alumnos (porque en lugar de memorizar les exigen entender de verdad los conceptos) también minimizan las oportunidades de copiar de esta forma. De hecho, no sé por qué no los utilizamos mucho más...supongo que porque exige más esfuerzo por parte del profesor, para poner un examen verdaderamente exigente en estas circunstancias.
Sinceramente, el argumento de la UNED no me vale: la UNED hace exámenes presenciales porque es más cómodo y barato, porque es lo que se ha hecho siempre, no porque no pueda hacerlos de otra forma. Más aún con su metodología de exámenes, tipo test. Cualquiera que haya hecho exámenes de la UNED (yo mismo) sabe que suplantar la identidad no es complicado, y que la calidad de la evaluación tipo test es cuando menos mejorable.

De hecho, creo que todo esto puede ser una oportunidad de replantear la metodología de exámenes: porque hay que reconocer que, con las evaluaciones que usamos muchos, no somos capaces de determinar bien lo que sabe el alumno, y, como decía antes, tampoco garantizan que no se copie. Los exámenes de la UNED, de nuevo, son un buen (o mal) ejemplo: es muy difícil evaluar bien materias prácticas con un examen tipo test. Es imposible saber si el alumno sabía perfectamente resolver el problema pero se ha equivocado en una operación estúpida. Pero claro, el tipo test es mucho más fácil de corregir cuando hay muchos alumnos y pocos profesores. ¿Seguro que no hay mejores formas de hacerlo? Por ejemplo, pagando a alumnos de nivel superior para que ayuden en la corrección (lo que hacen en USA)...Aunque yo siempre he pensado que, aunque corregir exámenes sea una de las tareas más pesadas de la docencia, no renunciaría a ella, porque la corrección me ayuda a entender qué es lo que están aprendiendo los alumnos, y por tanto, si tengo que corregir mi forma de enseñar. Como nos contó magistralmente uno de mis profesores de Agrónomos, Luis Ambrosio: la culpa de un suspenso no es 100% del alumno, también es del profesor que no ha sido capaz de enseñarle/motivarle.

Más ideas sobre las que sería conveniente reflexionar para implantar en estas circunstancias: códigos de honor para los estudiantes (en los que se comprometen a perder su titulación si, incluso a posteriori, se descubre que han engañado); exámenes finales en los que, de nuevo a libro abierto, se evalúan las competencias con las que salen de la universidad (para evitar ese comportamiento tan habitual de aprenderse las cosas y luego olvidarlas rápidamente); más variedad de pruebas de evaluación; más evaluación continua (más fácil de hacer cara a cara).

Por todo lo anterior: mi conclusión es que no evaluar no es la opción más adecuada. Debemos utilizar todas las herramientas disponibles para evaluar a los alumnos, incluso en estas circunstancias. Porque, como siempre decía mi amigo Javier Rubio, lo que no se evalúa se devalúa. Esto que pide Ferri, de que los alumnos, a pesar de que no se les evalúe, sigan aprovechando el tiempo, porque esto será bueno para ellos en el futuro, me parece un poco ingenuo. ¿Por qué esperar que los alumnos respondan así, y en cambio no confiamos en ellos para hacer exámenes a distancia?

Dicho todo esto, la propuesta de Ferri (o los aptos no computables en general) es bastante más sensata que el aprobado general, porque al fin y al cabo lo que propone es que la nota media sólo se calcule con las asignaturas evaluadas presencialmente, lo que permite mantener las diferencias entre los alumnos, mientras que el aprobado general homogeneiza más. Salvo, claro, que justo este curso toque una de esas asignaturas verdaderamente discriminatorias, como la resistencia de materiales, termodinámica, hidráulica, etc., en ingeniería, o la econometría en empresariales o económicas. Entonces estamos renunciando a discriminar a los alumnos por su rendimiento, y por tanto beneficiando a los que no lo merecen.

Finalmente: es cierto que algunos estudiantes pueden tener limitaciones de medios informáticos, que están en la base de todo esto. Pero de nuevo, para estas excepciones, el examen oral via smartphone (todavía no he conocido a ningún chaval, con más o menos recursos, que no lo tenga) es una opción perfectamente viable.

No sé si Mario o algún otro profesor de ICAI leerá esto, pero me encantaría tener su opinión en los comentarios, para enriquecer el debate. La verdad es que los debates que hemos tenido en los claustros de ICAI han sido extraordinariamente interesantes en este sentido.

ADD: Al día siguiente de publicar esto ha aparecido en Vox un análisis muy relacionado (y en cierta medida coincidente), con reflexiones de interés sobre la necesidad de cambiar la manera de evaluar. Y en NYTimes cuentan las preocupaciones de algunos alumnos respecto a la invasión de la privacidad que puede suponer el software de vigilancia (de nuevo, ¿es esto tan distinto conceptualmente de cuando hacen un examen presencial?)

3 comentarios:

Mario Castro dijo...

Creo que hay dos problemas en paralelo. Uno es si podemos garantizar la ausencia de fraude y, el otro, si la tecnología permite escalar la evaluación para mantener unos estándares mínimos.

Creo que ambas preguntas se pueden responder de manera única: "Sí, pero requiere una cantidad importante de recursos".

Me explico, en cuanto al fraude, es cierto que también se da en la evaluación presencial, y se debe a la falta de recursos (vigilantes, por ejemplo, o espacios físicos que permitan el control de los alumnos y evitar que usen materiales o se comuniquen, o sistemas de cancelación de señales, móviles...). En resumen: recursos. Esto se agrava en la evaluación online, en la que la vigilancia es compleja y, debemos asumir, que no todos los alumnos están en la misma situación económica y, por tanto, tecnológica. No todos los universitarios españoles pueden tener un ordenador dedicado a ellos durante el periodo de examen y un móvil vigilando su entorno. Además, no es sencillo que un profesor vigile online a través de una pequeña pantalla.

En cuanto a la calidad de la propia evaluación. Creo que la tecnología juega en nuestra contra. Las herramientas de eProctoring limitan el formato de examen (no se fácil hacer un examen tipo test o de respuesta corta del diseño de una instalación hidráulica). La alternativa es el examen oral, pero ni es fácil evaluar (yo nunca lo he hecho) ni tenemos los medios (recursos de nuevo!) para escalar la evaluación a miles de alumnos por titulación.

Esta limitación técnica es además peligrosa: evaluamos como podemos y no cómo debemos. El usar un formulario para responder un examen no es algo que hayamos meditado en profundidad. No hemos hecho "ciencia" de cómo evaluar mejor (e incluso qué tipo de preguntas reducen el fraude). Simplemente es una píldora que nos tragamos por vivir en un contexto con unos estándares de honestidad por los suelos...

Dicho esto, al final es una cuestión de compromiso. Estamos ante una situación única en nuestra historia reciente. Eso requiere llegar a un compromiso entre lo ideal y lo posible. Creo que la alternativa a una evaluación "con peros" es aún más nefasta que una no-evaluación, especialmente en ciertas titulaciones (¿querría el lector que un estudiante de medicina que se ha perdido un curso le cure de la siguiente pandemia?).

En cualquier caso, un tema complicado con muchas facetas.

Pedro Linares dijo...

Gracias, Mario! De acuerdo contigo en casi todo. Tengo un comentario y una pregunta.

El comentario: tienes toda la razón en que no hemos hecho ciencia para evaluar mejor...mi punto es que tampoco hemos hecho demasiada ciencia (o al menos, no la aplicamos demasiado) sobre cómo evaluar mejor presencialmente. Y por tanto, si antes evaluábamos sin discutir (o no mucho), creo que ahora cuestionar tanto la evaluación tampoco aporta demasiado.

La pregunta: no entiendo bien una de tus últimas frases: "Creo que la alternativa a una evaluación "con peros" es aún más nefasta que una no-evaluación". Quizá se haya colado alguna errata...¿A qué te refieres con no-evaluación?¿No es esto la alternativa?

Gracias de nuevo, efectivamente un tema muy complicado.

Mario Castro dijo...

Ja ja. Ando espeso estos días. Quería decir que, a pesar de todas las pegas que he descrito ("los peros"), pienso que la alternativa es aún peor (no hacer ningún tipo de evaluación).

Respecto a lo primero. Es cierto que no hemos hecho tanta ciencia en la evaluación tradicional, pero también hay que dar cierto crédito a la experiencia colectiva acumulada durante décadas. Quizá no sea "óptima" pero sabemos que es relativamente eficaz. Esto no podemos afirmarlo de los exámenes online con las restricciones técnicas que discutía en mi comentario. No tenemos no siquiera "la voz de la experiencia".