Enseñanza y evaluación en la educación superior
Junio 8, 2015
 jueves, 28 de mayo de 2015

Vuelve la serie gurús en educación: Eric Mazur después de revolucionar la enseñanza pasa a revolucionar la evaluación

En los años noventa Eric Mazur se convirtió en uno de los profesores más famosos de la Universidad de Harvard al crear y popularizar maneras alternativas para enseñar y lograr que los alumnos comprendan que eran mucho más eficaces que la  clase magistral o expositiva (traditional lecture) para que los alumnos comprendiesen las  leyes de la física

Estas nuevas formas de enseñar y aprender se basaban en el estudio autónomo de sus alumnos y en la realización en el tiempo de clase de actividades para el cuestionamiento y la evaluación formativa en clase. Con estas metodologías (peert instruction) Mazur se adelantó en quince años al modelo de flipped learning (tan de moda en los últimos años). Eric  Mazur ideó el método peer instruction que consistía en plantear concept tests (preguntas conceptuales) a sus alumnos en clase para pedirles que contesten prediciendo lo que debe ocurrir en una situación hipotética al aplicar a ella los principios de la disciplina y que discutan las justificaciones a sus respuestas con aquellos  compañeros que han escogido otra  opción de respuesta. Tras la discusión los alumnos vuelven a contestar a la pregunta, se pregunta a los que han cambiado de opción que es lo que les ha hecho cambiar, se cierra la discusión y el profesor plantea otra pregunta para la discusión.
Mazur comprobó que con esta metodología (el estudio previo, la resolución de tests conceptuales en clase y la explicación de sus argumentos a los compañeros que habían escogido otra opción) los alumnos comprendían mejor las leyes de la física y eran más capaces de aplicarlas para resolver nuevas situaciones. Con el Peer Instruction las ganancias de aprendizaje (diferencia entre lo que cada alumno comprende al final de la asignatura y lo que comprendía cuando la empezó) doblaban las ganancias de aprendizaje medias obtenidas en cada clase con respecto a las obtenidas mediante la metodología de enseñanza tradicional en la universidad (traditional lecture).
Años después Mazur también descubrió el valor sinérgico de las combinaciones entre distintos métodos innovadores de flipped learning (peer instruction y just in time teaching) y su potenciación con el uso de las nuevas tecnologías (flipping classroom with peer instruction). Mazur descubrió  que si combinaba el peer instruction con otra metodología de comprobación del estudio previo del alumno denominada just in time teaching (desarrollada unos años antes por Novak) las ganancias de aprendizaje de sus alumnos llegaban a triplicar las obtenidas mediante la metodología tradicional. Mazur además combino su nueva pedagogía basada en el cuestionamiento con una nueva tecnología los mandos a distancia de respuesta personal en tiempo real o clickers. El clickerism había nacido y en los primeros años del milenio se convertía en la tecnología más usada en las aulas de las mejores universidades de Estados Unidos  después del Power point y el ordenador portátil.
Con estas armas pedagógicas y tecnológicas en su poder, Mazur emprendió una cruzada  personal contra el abuso de la traditional lecture (clase magistral) que le ha llevado a la fama y también a las hogueras de los inquisidores universitarios enemigos de toda innovación en docencia que amenace la alteración del cómodo status quo actual del que los profesores gozamos desde el medioevo. Mazur no les gusta a los profesores que quieren seguir recitando sus lecciones como lo hacían sus antecesores desde hace 800 años (aunque ahora les es más fácil pues aunque no se sepan o comprendan la  lección a explicar  pueden leerla directamente del powerpoint). Sin embargo, Mazur se convirtió en el abanderado de la lucha contra el abuso de la traditional lecture y  héroe a seguir para los miles de profesores que como él eran conscientes de lo ineficaces que son las metodologías tradicionales de enseñanza universitaria y de la apremiante necesidad de cambiarlas por metodos de aprendizaje inverso o flipped learning.
Mazur empezó a dar la famosa y maravillosa conferencia Confessions of a converted lecturer (versión resumida) de la que  pueden encontrarse varias versiones en Youtube  y  en la que cuenta su historia de conversión personal desde ser un profesor magistral premiado por lo bien que daba clases magistrales hasta que se dio cuenta de lo poco que aprendían sus alumnos con esta metodología tradicional que tanta satisfacción le  proporcionaba como orador monologista y como cambio radicalmente su manera de enseñar para lograr que sus alumnos aprendiesen más. Otra entrada de este blog  (Eric Mazur, historia de un profesor convertido) relata esta fase de la vida de Mazur. Esta conferencia fue aplaudida en todo el mundo por los partidarios de la innovación.  Muchos de los que la oyeron se convirtieron y se dieron cuenta de la necesidad de cambiar, muchos de los que ya estaban convencidos de la necesidad de cambio vieron en las metodologías de fomento del estudio previo usadas por Mazur un camino para lograr mejorar el aprendizaje de sus alumnos.
A Mazur le fue tan bien dando esta conferencia que la dio en los dos lados del Atlántico y del Pacífico, tanto en el hemisferio norte y como en el sur hasta que se cansó de repetirla tanto. Mazur busco colaboradores que aplificasen su mensaje dando charlas sobre el peer instuction y algunos como Julie Schell hasta llegaron a hacer su profesión de esto. http://blog.peerinstruction.net/author/peerinstruction/. Yo mismo difundí en las más de veinte universidades de habla española en las que di cursos de formación del profesorado las ideas de Mazur  durante la última década.   Mazur paso una década dando conferencias por todo el mundo,  sobre el peer instruction (su libro Peer intruction: a user’s manual se vendió como rosquillas) contando su descubrimiento de lo ineficaces y obsoletos que eran los métodos de enseñanza universitarios tradicionales, centrados en la transmisión de la información, no en su comprensión y en su transferencia a nuevas situaciones. Por todo ello, estos métodos tradicionales tenían efectos muy perjudiciales sobre el aprendizaje de los alumnos y su desarrollo de competencias para el razonamiento crítico y creativo.
Para comprender en toda su amplitud los planteamientos de Mazur os recomiendo que si os gusta Confessions of a converted professor veáis también las últimas conferencias de Eric Turning Lectures into Learning, Peer instruction for active learningy Catalyzing Learning Using Learning Catalytics.Para así seguir la evolución de las ideas y planteamientos de Mazur.
Mazur empieza a atacar los métodos tradicionales de evaluación del aprendizaje en la universidad
Tras combatir el método tradicional de enseñanza en la universidad (el denominado traditional lecture) Mazur, que en el proceso se había convertido en un defensor radical de la revolución en la  manera de enseñar en las universidades, se dio cuenta de que no sólo los métodos de enseñanza estaban centrados en la transmisión de información sino que también los métodos de evaluación al uso en las universidades estaban también centrados en la regurgitación de la información memorizada y la reproducción mecánica de procedimientos memorizados para la resolución de problemas tipo. Estos métodos tradicionales de evaluación tenían efectos contraproducentes en el aprendizaje y el desarrollo de competencias en los alumnos universitarios.
 Mazur se dio cuenta de que no importa lo innovadora que sea la metodología de enseñanza, lo que determina como estudian los alumnos es el método con el vayan a ser evaluados. Es la evaluación la que dirige lo que los estudiantes hacen para superarla, no los buenos deseos o las buenas intenciones de sus bienintencionados profesores. Si evaluamos algo distinto de lo que queremos que los alumnos aprendan, los alumnos aprenderán eso que evaluamos y por tanto no aprenderán lo que queremos que aprendan. Esta idea tiene mucho que ver con el alineamiento educativo de John Biggs que es tratado en otra entrada de este blog.
Basándose en este planteamiento provocador, de que las universidades no sólo enseñan mal sino que evalúan peor el aprendizaje de sus alumnos, Mazur empezó a dar tournees de conferencias sobre evaluación con un título muy provocador: Evaluación: el asesino silencioso del aprendizaje: (Assessment the silent killer of learning),  También son muy interesantes los vídeos de las conferencias Assessment the silent killer of innovation Why you can pass tests and still fail in the real world. Estoy seguro de que también disfrutareis con las conferencias de Mazur en vídeo. Son magistrales en el buen sentido de la palabra.
Las ideas de Mazur sobre la evaluación del aprendizaje son muy interesantes, merecen un análisis detallado y nos pueden proporcionar caminos por los que mejorar nuestros métodos de evaluación del aprendizaje de los alumnos universitarios. Voy a comentar mi opinión y mi punto de  vista personal sobre ellas. La primera idea de Mazur es que la evaluación del aprendizaje tiene propósitos muy variados, él da una lista que establece que la evaluación del aprendizaje sirve entre otras cosas para:
  1. Calificar a los alumnos
  2. Calificar al profesor y a la asignatura
  3. Motivar a los alumnos para trabajar
  4. Proporcionar retroinformación a los alumnos sobre su aprendizaje
  5. Proporcionar retroinformación al profesor sobre su enseñanza y los problemas de aprendizaje de sus alumnos
  6. Rendir cuentas sobre la eficacia de la metodología docente
  7. Mejorar el aprendizaje y la enseñanza
Yo en mis cursos sobre evaluación desde 2005 también preguntaba a los profesores participantes  para qué sirve la evaluación y obtenía respuestas similares.
  1.  Para calificar a los alumnos (y cumplir con una obligación burocrática)
  2.  Para comprobar y medir el aprendizaje
  3. Para estimular y motivar el esfuerzo de los alumnos
  4. Para detectar lo que debe corregirse mejorarse y proporcionar al alumno feedback sobre su aprendizaje
  5. Para obtener información con la que mejorar el proceso enseñanza aprendizaje y la labor del profesor
  6. Para proporcionar otra manera de aprender superando retos
  7. Para entrenar al alumno para que rinda mejor en situaciones de evaluación acreditativa similares al procedimiento utilizado para la evaluación formativa.
En ambas listas puede observarse que la evaluación tiene utilidades muy diversas: acreditativas, formativas y de retroinformación al alumno al profesor y a la institución. Aprovechar al máximo todos estos potenciales de la evaluación es clave para mejorar  tanto el aprendizaje de nuestros alumnos como el modo de enseñarles. En cualquier caso Mazur plantea el problema de que los propósitos de la evaluación son  tan variados  que a veces pueden producir serios conflictos de intereses. Al pretender lograr un propósito hacemos la evaluación de una manera que evita que se logren con ella otros propósitos muy relevantes.
Cees van der Vleuten

A mí humilde entender la solución más satisfactoria a este conflicto es la aportada por otro gran pensador sobre la evaluación Cees van der Vleuten, con las nociones de utilidades de la evaluación y de compromiso en evaluación. Según van der Vleuten, cada instrumento de evaluación tiene una serie de características:

Validez
Fiabilidad
Impacto educativo que incluye el estímulo para el estudio y la oportunidad de generar feedback formativo
Aceptabilidad
Coste en medios humanos, materiales y económicos
El compromiso para van der Vleuten es … que no podemos tenerlo todo, tenemos que conformarnos con tener unos puntos fuertes comprometiendo otros menos esenciales en cada situación de evaluación.
Según van der Vleuten, la utilidad de un método de evaluación viene definida por la siguiente función de utilidad:
U= pf F x pvV x pie IE x pa A / pc C
Donde
U= Utilidad
F = fiabilidad ¿es repetible el resultado?
V= validez ¿vale para medir lo que quiero?
IE = Impacto educativo ¿cómo afecta al aprendizaje?
A = Aceptabilidad ¿es aceptable para alumnos profesores y pacientes?
C = coste ¿podemos permitírnoslo?
p= coeficiente de peso relativo que asignamos a cada factor
El coeficiente de peso relativo (p) de la fiabilidad( F)  y (V) debe ser muy alto en la evaluación de utilidad acreditativa para que podamos tomar decisiones válidas y fiables sobre la calificación y promoción de nuestros alumnos. Sin embargo, el coeficiente de peso relativo (p)  del impacto educativo (IE) debe ser alto en la evaluación de utilidad formativa
  La noción de compromiso en la evaluación significa que no lo podemos tener todo y que en ciertos tipos de evaluación no podemos sacrificar o comprometer algunas características de la evaluación, pero sin embargo, si podemos comprometer otras menos esenciales para la función o utilidad de ese tipo de evaluación.
La solución de van der Vleuten 
Es utilizar un sistema de evaluación continua que integra una evaluación formativa de baja repercusión (low stakes) con una evaluación acreditativa de alta repercusión (high stakes)
Para van der Vleuten la solución pasa por diferenciar dos tipos de evaluación del aprendizaje. El primer tipo de evaluación del aprendizaje es la evaluación de baja repercusión (low stakes assessment) cuya utilidad es principalmente formativa (estimuladora de esfuerzo, ejercicio de competencias y ocasión para el feedback formativo) pero también tiene un peso aunque bajo en la calificación. El segundo tipo es la evaluación de alta repercusión (high stakes assessment) en la que se pone el énfasis en su validez y fiabilidad para medir el aprendizaje y calificarlo de manera precisa y exacta.
Esta división Low stakes/high stakes mejora la división tradicional en evaluación formativa (pero de ninguna repercusión) y la acreditativa (de total repercusión en la calificación). La división de la evaluación en formativa y acreditativa, hacía que ni profesores ni alumnos se tomasen en serio la evaluación formativa tradicional, pues por definición no tenia repercusión en la calificación y por ello orientaban casi todos sus esfuerzos hacia la acreditativa. Sin embargo, en el nuevo enfoque basado en distintos niveles de repercusión,  la evaluación de baja repercusión si tiene algo de valor en la calificación aunque sea bajo, y de este modo será tomada más en serio por los profesores, pero sobre todo por los alumnos que son los que deben ser estimulados por la evaluación para trabajar.
¿Qué no se puede comprometer en la evaluación formativa? El impacto formativo
Por ejemplo en la evaluación formativa no podemos comprometer el impacto, esa es la razón por la que realizamos evaluación formativa queremos que estimule a los alumnos a razonar, a trabajar, a arriesgarse, a errar y a aprender de sus errores por medio del aporte de feedback inmediato. Si la evaluación formativa es low stakes, los alumnos  se la tomarán mucho más en serio que si fuese sólo formativa (cero stakes) y tendrá más impacto les hará trabajar más durante todo el cuatrimestre. Podemos relacionar la idea de low stakes con los sistemas de inducción a la acción mediante pequeñas recompensas que se usan en la gamificación.
Es muy fácil  saber si nuestro sistema de evaluación formativa tiene un impacto deficiente.
Si el primer efecto de la evaluación formativa es estimular el trabajo de los alumnos debemos preguntarnos: ¿ Logra estimular a nuestros alumnos para que  dediquen a nuestra asignatura el volumen de trabajo nominal establecido en los créditos ECTS de nuestra asignatura. Si es de 6 créditos los alumnos deberán dedicarle ente 90 y 100 horas de trabajo (dependiendo de la definición de crédito ECTS de cada universidad). Los estudios realizados demuestran que en la mayoría de los asignaturas, la mayoría de los alumnos que aprueban, no dedican el volumen de trabajo nominal establecido en el crédito ECTS).
Un  sistema de evaluación formativa eficaz es la única manera de estimular a la mayoría de los alumnos de países latinos para que trabajen 40 horas a la semana en su aprendizaje, que en un cuatrimestre sumarán las 750 horas de trabajo que deben suponer 30 créditos ECTS (750/25=30). Si en lugar de eso trabajan menos por ejemplo 500 hoas por cuatrimestre aprenderán menos y se desarrollarán menos. ¿A quien le importa?
¿Qué no se puede comprometer en la evaluación acreditativa? Validez y fiabilidad
En la evaluación acreditativa no podemos comprometer la validez y la fiabilidad. No se pueden hacer exámenes acreditativos en una hora pues los resultados no serán lo suficientemente fiables y reproducibles. Si no son fiables, no podrán ser validos y las decisiones acreditativas en base a esas pruebas no fiables dejaran mucho que desear.  Van der Vleuten demuele el mito de que algunos métodos de evaluación son fiables por definición y demuestra como para alcanzar la fiabilidad no vale con usar ciertos métodos (como el MCQ) sino que es necesario que los exámenes recojan evidencias de una muestra representativa  de los conocimientos y habilidades de cuyo aprendizaje se quieren obtener evidencias. Dicho en pocas palabras: la fiabilidad depende del muestreo, no de la supuesta objetividad del método de calificación.  Por ello usar un método supuestamente objetivo examen tipo test MCQ no hace a nuestro método fiable. Para que sea fiable o reproducible debemos estar seguros de que si rea lizamops otras prueba los resultados seran muy similares a los de la primera. Si el alumno que saco un 6 saca un 4 al realizar otra purueba similar el procedimiento de medida no es fiable ni siquiera para tomar decisiones sobre a quien debemos aprobar.
 La figura muestra como incluso métodos considerados objetivos como el MCQ no son nada fiables sin un muestreo representativo. Un examen de test que sólo muestree durante una hora simplemente no es fiable para dar una calificación precisa del aprendizaje del alumno.
Esto es así incluso cuando asumimos que los alumnos no van a hacer trampas. A día de hoy esa es una asunción muy peligrosa en España. Cuando los alumnos viven inmersos en una cultura de picaresca en la que hasta presidentes de autonomías y ministros son imputados y encarcelados,  cuando los alumnos han copiado con permisividad en secundaria y entran en una universidad llena de profesores confiados desconocedores de la evolución tecnológica de los métodos de copia y chuletaje en la última década, hay otro factor que influye muy negativamente en la fiabilidad de la evaluación que es la confidencialidad y seguridad de la prueba. Múltiples modelos de examen para evitar la copia,  aulas en las que podamos separar a unos alumnos de otros, múltiples profesores para vigilar son necesarios para lograr esa seguridad. En los nuevos grados se ha puesto de moda entre profesores ignorantes de lo que implica el concepto de fiabilidad el realizar exámenes de una hora en el aula en la que se dan las clases con los alumnos respondiendo codo con codo. Por todo lo dicho anteriormente está claro que ese tipo de pruebas de evaluación acreditativa  no pueden ser tomadas por  fiables pero esto  no parece ser ningún problema para los profesores o por lo menos para los que ignoran lo que es la fiabilidad que lamentablemente son bastantes.
 Hoy en día los alumnos fotografían exámenes en las revisiones o en el mismo examen con útiles propios de los espiás de la CIA o la KGB y no pasa nada y acaban aprobando la evaluación de muchas asignaturas estudiando exámenes de otros años.
El problema de la validez
  Para complicar el problema de  la validez de nuestras pruebas Mazur nos demuestra que cuando usamos distintos métodos de evaluación para medir el mismo resultado de aprendizaje obtenemos distintos resultados. ¿Cuál será el más válido? De nuevo el genial van der Vleuten tiene una solución para el problema: Es una solución ecléctica, ya que no hay un método superior a los demás, debemos combinar sabiamente lo mejor de distintos métodos para realizar una evaluación low stakes que maximice su impacto sobre el aprendizaje del alumno y una evaluación high stakesque maximice su validez y fiabilidad. Debemos integrar ambas modalidades dentro de una evaluación programática que permita realizar un seguimiento individualizado del progreso de  cada alumno.El abusivo uso de enfoques acreditativos y el deficit en la evaluación con utilidad formativa

La tradición en la Universidad es abusar de la evaluación acreditativa y no poner el énfasis necesario en la evaluación formativa. Por ello los nuevos grados de EEES son en créditos ECTS (que al menos en teoría en deberían implicar una carga de trabajo no presencial del alumno). Por ello no s obligaron a usar unsistema de evaluación continua pese a que a muchos profesores no les entra en la cabeza que la evaluación continua debe ser evaluación formativa.
Para Mazur, que analiza la situación de las universidades norteamericanas, el problema de fondo es que la evaluación del aprendizaje en la universidad está demasiado enfocada en sus aspectos acreditativos “ranking and clasifying” y demasiado poco en proporcionar retos auténticos y oportunidades para el feedback formativo. Esto es decir de otra manera que estamos usando una evaluación inauténtica (inautentic asessment) con fines acreditativos y sin embargo no estamos utilizando ni una mínima parte de su potencial como fuerza educativa y estimuladora del esfuerzo continuo de los alumnos. El abuso de evaluación acreditativa e inauténtica reduce mucho las oportunidades para que nuestros alumnos reciban feedback formativo que tan necesario es para que desarrollen competencias complejas. Van der Vleuten coincide en este diagnóstico de males. Para él la cultura de evaluación universitaria es reduccionista y reduce todo a una cifra escalar con la que se califica destruyendo mucha información y despreciando el impacto educativo y la aportación al conocimiento del desarrollo competencial de los alumnos que podría tener una evaluación mejor diseñada.
El problema de la autenticidad: evaluación auténtica y evaluación sin autenticidad
 Un enfoque inapropiado de la evaluación seria un factor conducente a los aprendizajes inapropiados de muchos de nuestros alumnos pues según Mazur “is the assessment that drives student behaviour ” “study habits are driven by assessment”. Por esta razón, la inautenticidad de la evaluación que utilizamos en la universidad, hay alumnos con excelentes notas que luego fracasarán en su puesto de trabajo mientras otros que no llegaron a titularse triunfan en la vida profesional. El empollón y ratón de biblioteca que triunfaba en la universidad puede ser un negado para la colaboración, el trabajo en equipo, la comunicación y  el razonamiento crítico y creativo.  Del mismo modo en que la clase tradicional está enfocada en la transmisión de información  a los alumnos, la evaluación se enfoca en pedir a los alumnos que regurgiten esa información de nuevo a petición de su profesor.  Por tanto la evaluación de las asignaturas universitarias fracasa en evaluar las competencias que son relevantes en el desempeño de los perfiles   profesionales propios de la titulación en el contexto del siglo XXI. Lo que en realidad se evalúa ha sido denominado como el currículo oculto y en realidad es la fuerza impulsora  de los hábitos de estudio de los alumnos. A menos de que repensemos nuestro abordaje ante la evaluación, será muy difícil producir un cambio significativo  en los habitas de estudio y razonamiento y en el aprendizaje de nuestros alumnos.
Según van der Vleuten venimos de una cultura de evaluar para calificar, sin  producir feedback ni oportunidades de remediación. Una cultura obsesionada con la objetividad y con el MCQ (multiple choice cuestionnaire) como método paradigmático. Nos parece normal que se produzca una enorme pérdida de información en el proceso de evaluación  (conversión del multivector en un número escalar.) No hay remediación, sino repetición de los exámenes y asignaturas que se basa en un modelo educativo desfasado. Una evaluación inauténtica centrada en lo que es más fácil de medir con pruebas objetivas y estandarizadas, centrada en lo qué es más fácil aprobar y que por ello casi nunca evalúa los niveles superiores de las pirámides de  Bloom y Miller.
Mazur profundiza en el análisis de las diferencias entre los problemas auténticos de la vida real y los problemas de libro con los que evaluamos a nuestros alumnos y concluye que incluso aquellos que dicen poner a prueba la capacidades para de resolver problemas realmente no lo hacen, pues son muchos los alumnos que aprenden a resolver estos problemas de manera mecánica y memorística.
Los problemas reales que afrontamos en la vida suelen tener un desenlace deseado y conocido y el problema es dar con la manera de llegar allí. Sin embargo, los  problemas de libro, especialmente en las ciencias lo que ponen a prueba es si el alumno es capaz de utilizar un procedimiento conocido (y muchas veces memorizado) para llegar a una solución desconocida, esto es lo que Mazur llama problemas inauténticos (problemas falsos o problemas carentes de autenticidad) e incluso nos cuenta el ejemplo de cómo degradar un problema real que pondría a prueba varios niveles de la pirámide de Bloom para convertirlo en un problema inauténtico de libro que sólo  pone a prueba si el alumno con los datos que ha recibido sabe identificar qué tipo de problema es y recuerda de memoria que formula tiene que utilizar para resolverlo .
Mazur pone el siguiente ejemplo:Durante un sábado en la tarde, vas en coche a un centro comercial, das vueltas alrededor del parking pero no hay ningún espacio disponible para aparcar.Decides esperar en un lado del estacionamiento, donde puedes ver (y controlar) alrededor de 20 espacios.
¿Cuánto tiempo tienes que esperar antes de que haya un espacio disponible?
¿De qué dependerá el tiempo que tendrás que esperar?
La solución Requiere:el desarrollo de un modelo,la aplicación de ese modelo.Esto sería un problema real pero pocos alumnos lo resolverían por que no están entrenados en usar su creatividad para desarrollar modelos y hacer asunciones para poder desarrollarlos. Si añadimos   la asunción de partida:La gente hace compras en un promedio de 2 horas y asumiendo que la gente sale en intervalos espaciados regularmente, el alumno solo deberá desarrollar un modelo sugerido por las asunciones declaradas. Sin embargo muchos fallarían.
La solución en el método de enseñanza tradicional es que si le decimos a los alumnos que este tipo de problemas se resuelve usando la formula: tiempo de espera = tiempo de compra/numero de espacios
Si el alumno recuerda de memoria la formula  o la apunta en una chuleta, la resolución solo requerirá cálculo  y si dejan usar calculadora ni eso.
¿Evaluamos competencias relevantes con problemas tipo que se resuelven mecánicamente? O ¿evaluamos identificación de tipo de problema y su resolución de memoria?
Mazur descubrió que alumnos que eran capaces de resolver complejos problemas de física sin  entender lo más mínimo la física subyacente a las fórmulas que utilizaban.
De esta manera el problema evalúa si el alumno ha memorizado los tipos de problemas y las formulas a usar en ellos. De esta manera producimos aprendizajes memorísticos de corta persistencia que no son transferibles a nuevas situaciones y solo sirven para que los alumnos superen la evaluación y luego olviden. Según Mazur “unless you can transfer what you have learned in one context to another context, you have not really learned.”
Mazur concluye que aprender de esta manera no es lo que necesitan los universitarios del siglo XXI. Los problemas reales se resuelven asumiendo riesgos, diseñando prototipos de soluciones, probándolas y si fracasan ideando otras. Esto requiere hacer pruebas y proponer soluciones tentativas que pueden fallar. Sin embargo, la evaluación que practicamos en la universidad les hace ir al procedimiento seguro, evitar los riesgos y de esa manera no aprenden a desarrollar soluciones creativas.
 Otra característica inauténtica de los procedimientos de evaluación es que se realizan casi siempre en situaciones de aislamiento de otras personas y fuentes de información De este modo los alumnos no aprenden a obtener la información de fuentes originales ni a usarla en el seno de grupos de trabajo.
El conflicto entre nuestro role como tutor-entrenador y nuestro role como juez evaluador
Finalmente Mazur plantea el conflicto juez-entrenador (coach-judge) que tenemos en nuestra posición como profesores universitarios. La dificultad de ser jueces justos precisamente con aquellos a los que intentamos ayudar a aprender. Este conflicto frecuentemente lo intentamos resolver aumentando objetividad de nuestras pruebas. Como el método más objetivo es además el que menos trabajo da para corregir el MCQ algunos llegan a basar toda su evaluación en pruebas MCQ. Esto significa que en nombre de la objetividad bajamos nuestra evaluación a los niveles más bajos de la pirámide de Bloom y de Miller y nos dejamos los niveles superiores sin evaluar.
Mazur propone como solución de usar evaluadores distintos del entrenador un profesor es tutor- y otro auditor. Nosotros lo hacemos en nuestros trabajos de equipos. El tutor califica el trabajo de cada alumno en las tutorías de seguimiento pero es otro profesor distinto del tutor del grupo el que valora el resultado del trabajo del equipo.
¿Cuáles son los problemas que tenemos con la evaluación? ¿Cómo resolver estos problemas?
Planteo esta pregunta a los participantes en todos los cursos sobre evaluación que imparto y las respuestas de mis compañeros me han permitido establecer una taxonomía  de problemas más frecuentes:
Profesores que no saben como hacer una evaluación fiable y valida. Hacen exámenes acreditativos (por el 40% de una asignatura) de una hora y se quedan tan panchos. Te preguntarán ¿Qué es eso de la fiabilidad?¿
Profesores que no alinean bien lo que evalúan con lo que quieren que aprendan sus alumnos.
Te preguntarán : ¿Qué es eso del alineamiento educativo?Profesores que no saben lo que es la evaluación formativa y por tanto no son capaces de utilizar su poder para que los alumnos apreendan más.
Te preguntarán ¿Evaluación formativa?

Profesores que son capaces de hacer una evaluación valida y fiable, que saben alinear  lo que evalúan con sus objetivos, que saben lo que es la evaluación formativa, pero que no saben como aprovechar todas las posibilidades de la evaluación formativa para dar feedback formativo a sus alumnos
Te preguntan : ¿Qué es eso del feedback formativo?
Profesores que son capaces de hacer una evaluación valida y fiable, que saben alinear  lo que evalúan con sus objetivos, que saben lo que es la evaluación formativa,  y son capaces de proporcionar feedback, pero no son capaces de lograr todo el impacto que deberían en términos de inducción del trabajo
Te preguntan : ¿Qué es eso del flipped learning?
Profesores que son capaces de hacer una evaluación valida y fiable, que saben alinear  lo que evalúan con sus objetivos, que saben lo que es la evaluación formativa,  y son capaces de proporcionar feedback y saben explotarla  para tener el impacto deseado sobre el trabajo de sus alumnos en tareas formativas
Te preguntan ¿Qué son las competencias genéricas, transversales y del siglo XXI y como se pueden evaluar?
Profesores que saben todo lo anterior y además saben usar la evaluación para transformar y hacer madurar a sus alumnos, esto supone implicarlos en los procesos de evaluación mediante técnicas de evaluación compartida supone hacer protagonista lal alumno en ejercicios en los que evalua los productos de l trabajo de sus compañeros e incluso aprende a  autoevaluar su propio trabajo mediante el uso de rúbricas y dinámicas de evaluación por compañeros.
Las soluciones de Mazur
Mazur nos propone una serie de ideas para solucionar los problemas de la evaluación universitaria:
1.     Imitar la vida real, hacer que los alumnos trabajen en equipo, realizando indagación y usando fuentes de información, resolviendo problemas y desarrollando proyectos. Uso de métodos inductivos que permiten ejercitar y evaluar competencias.
2.    Evaluar en condiciones de acceso a información en exámenes de libro abierto y en equipos evaluación formativa con IFAT (inmediate feedback assessment technique)
3.    No enfatizar tanto el aspecto calificativo y el ranking de las calificaciones obtenidas sino enfatizar más el impacto educativo mediante estimulación del trabajo del alumno y la generación y colectivización del feedback.
4.    enfocarse más en el desarrollo de  las competencias y menos en los contenidos, por ejemplo repartiéndose la evaluación de distintas competencias entre distintas asignaturas
Para los que consideren que la evaluación del aprendizaje es algo tan complejo que no tiene solución hago un comentario que es una opinión personal. Yo soy de la opinión de que va ser más facil cambiar los métodos de evaluación que los métodos de enseñanza por la sencilla razón de que si los profesores permanecen anclados en la clase magistral es por que les gusta hacerlo y por ello es muy dificil cambiar. Sin embargo, el examen tradicional es algo que sólo puede gustar a profesores sádicos y a alumnos masoquistas, por tanto habra menos resistencia por parte del profesorado y el alumnado para desarrollar otros métodos alternativos de evaluación formativa y acreditativa. Finalizo con otra idea de Mazur: el aislamiento forzado para poder medir lo que el alumno ha memorizado no sirve para predecir lo que el alumno es capaz de hacer en un contexto real con acceso ala información y a la interacción con otros compañeros. Por eso  hoy en día cuando en cualquier profesión vamos a tener acceso a la información no tiene ningun sentido seguir evaluando en condiciones de aislamiento como lo haciamos en el siglo anterior.

0 Comments

Submit a Comment

Tu dirección de correo electrónico no será publicada. Los campos requeridos están marcados *

PUBLICACIONES

Libros

Capítulos de libros

Artículos académicos

Columnas de opinión

Comentarios críticos

Entrevistas

Presentaciones y cursos

Actividades

Documentos de interés

Google académico

DESTACADOS DE PORTADA

Artículos relacionados

Trump y la ciencia

Trump’s anti-science appointees ‘drive demonisation of scholars’ With vaccine sceptics taking top White House posts, there are concerns that attacks on scientists who counter misinformation may become more extreme Jack Grove,November 18, 2024 Researchers who have...

Share This