Evaluación e IA: ¿Qué podemos aprender de otras culturas?

En respuesta a las amenazas a la integridad académica en la evaluación que plantea la IA generativa (GenAI), docentes y desarrolladores educativos buscan respuestas en otras culturas y contextos. A finales de agosto, Clay Shirky, teórico de internet y vicerrector de la Universidad de Nueva York, presentó

en el New York Times un argumento a favor de la transición a los exámenes orales . Poco después, un artículo publicado por miembros del grupo de investigación en evaluación CRADLE de la Universidad de Deakin (Australia) argumentaba que la IA y la evaluación constituyen un problema complejo, sin soluciones definitivas ni fáciles.

Ambos artículos documentan la frustración, el cansancio y la desorientación de los educadores en su lucha por adaptarse y afrontar el nuevo panorama de la evaluación. Ambos relatos coinciden con mis propias experiencias como docente, investigador y desarrollador educativo en Italia. A nivel mundial, los docentes están preocupados por el aprendizaje de los estudiantes.

Shirky resume a la perfección lo que ha sucedido en el ámbito académico en los últimos años a medida que las herramientas de GenAI se han vuelto más sofisticadas y su uso entre los estudiantes se ha generalizado. Inicialmente, los docentes se apresuraron a adaptar sus tareas a la IA, solo para darse cuenta de que era un ejercicio prácticamente inútil.

Involucraron a los estudiantes en una evaluación crítica de las herramientas de IA con la idea de que no las usarían para hacer trampa, pero discutir los riesgos cognitivos de delegar análisis al software no ha demostrado ser un impedimento.

Enfrentados a GenAI, los educadores han luchado para idear estrategias efectivas, particularmente cuando se trata de la evaluación escrita. Shirky propone un retorno a lo que él llama la práctica “medieval” de exámenes orales dialógicos y sin guion como solución. Los méritos de la evaluación oral interactiva han sido señalados por una serie de artículos recientes.

Experiencias de evaluación oral

El artículo de Shirky y gran parte de esta nueva investigación, incluyendo este estudio de Sarah Davey et al son algo anglocéntricos en su alcance. Solo tenemos que mirar a algunos otros contextos de enseñanza no anglófonos, como Alemania e Italia, para ver que la evaluación oral en la educación contemporánea no es una novedad ni una reliquia de un pasado lejano. En las universidades italianas, por ejemplo, nunca se abandonó a favor de formas de evaluación predominantemente escritas.

Podría resultar útil examinar estos contextos para obtener ideas sobre la implementación y la gestión de las evaluaciones orales.

Como profesor en la educación superior italiana, he utilizado la evaluación oral interactiva como principal método de evaluación desde que comencé a enseñar en Milán hace más de una década. Inicialmente, la práctica conocida como interrogazione…Me aterrorizaba. Para mí, el nombre tenía connotaciones inquisitoriales. Se daba por sentado que sabría cómo examinar oralmente a los estudiantes y asignar calificaciones sin formación ni directrices. Con el tiempo, llegué a apreciar sus posibilidades conversacionales y orientadas al proceso.

Parecía que había mucho conocimiento tácito en torno a la evaluación y la calificación, pero era difícil acceder a él. Observé que para los estudiantes locales, la evaluación oral estaba integrada en la educación desde el tercer grado de primaria. Habían desarrollado estrategias para responder y negociar desde niños.

Para los no locales, era en su mayoría desconocido. Los estudiantes con diversos antecedentes educativos previos compartían mi perspectiva: las evaluaciones orales les eran desconocidas y no entendían las reglas en gran parte no escritas.

Este fue el comienzo de una trayectoria personal como investigador y desarrollador educativo en educación internacional, en inglés. Una parte de mi trabajo en la última década ha sido apoyar a académicos para desarrollar prácticas de evaluación transparentes, inclusivas y equitativas que apoyen el aprendizaje de los estudiantes.

Como les digo a los participantes en los talleres, en las aulas internacionales no es necesario abandonar las prácticas locales, pero es imperativo alinearlas con los resultados de aprendizaje y apoyarlas mediante una comunicación clara.

Lo que se aplica a toda evaluación es el principio de validez: ¿mide la prueba lo que se supone que debe medir? Como señalan Shirky y Corbin et al. , en la era de la GenAI, las evaluaciones escritas ya no garantizan la evaluación del aprendizaje de los estudiantes. Por lo general, las evaluaciones escritas no pueden ser a prueba de IA para evitar las trampas, e intentar crear dichas tareas solo puede generar frustración en muchos docentes.

No hay una panacea sencilla.

Sin embargo, la evaluación oral interactiva no es una panacea sencilla para este problema. La naturaleza dinámica y sin guion de la evaluación oral puede, de hecho, promover un aprendizaje profundo en lugar de superficial. En el mejor de los casos, permite a los docentes explorar el razonamiento de los estudiantes y a estos dar respuestas más flexibles. Los estudiantes pueden pensar en voz alta. Sin embargo, en aulas cada vez más diversas, corre el riesgo de aumentar las desigualdades lingüísticas y epistémicas si no se diseña y apoya cuidadosamente.

Al diseñar la evaluación oral, es necesario fomentar una comunicación transparente y garantizar que la experiencia sea lo más equitativa posible, ofreciendo ejemplos, simulaciones y directrices a todo el alumnado. El profesorado necesita apoyo para formular preguntas que desarrollen habilidades de pensamiento complejo y favorezcan la cognición. Para ello, el desarrollo profesional que fomenta la alfabetización general del profesorado en evaluación resulta invaluable.

El tiempo y los recursos humanos siguen siendo un desafío. La educación superior italiana suele tener ratios de alumnos por profesor muy elevados y, como resultado, dificultades para implementar prácticas de retroalimentación, es decir, una retroalimentación del profesorado oportuna y clara que pueda tenerse en cuenta antes de la evaluación final.

Aquí es donde las herramientas digitales y de IA pueden resultar útiles. Este tipo de herramientas pueden facilitar la personalización de la experiencia de aprendizaje y la provisión de retroalimentación individualizada, apoyando tanto al profesorado como al alumnado.

Analizar otras disciplinas y culturas para encontrar otras formas de evaluación puede resultar útil, incluso si el problema de la IA y la evaluación puede seguir siendo, al menos por ahora, irresoluble.

Las preguntas sobre cómo mejorar la evaluación se relacionan con la contribución de la educación superior al Objetivo de Desarrollo de las Naciones Unidas 4 (ODS 4): Garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje durante toda la vida para todos.

Olivia Mair es investigadora en la Facultad de Ciencias del Lenguaje y Literatura Extranjera y desarrolladora educativa en el Centro para la Internacionalización de la Educación Superior de la Università Cattolica del Sacro Cuore en Milán, Italia. Tiene un doctorado de la Universidad de Australia Occidental. Ha impartido talleres sobre evaluación en aulas internacionales durante ocho años.

Este artículo es un comentario. Los artículos de opinión reflejan la opinión del autor y no necesariamente la de University World News.