Bajar el documento aquí:

Informe Pearson – Resumen Ejecutivo (PDF).

Ministro Beyer y Consejo de Rectores recibieron informe internacional que evalúa la PSU

Mineduc,  31 de enero de 2013

El ministro de Educación, Harald Beyer, junto a autoridades académicas del Consejo de Rectores (Cruch), recibió el informe final de la evaluación internacional que se realizó a la Prueba de Selección Universitaria (PSU).

El examen es requisito para ingresar a una de las 25 universidades del Cruch, o a una de las ocho instituciones privadas que se sumaron en 2011 al proceso de admisión.

El grupo de pruebas que conforman la PSU fue creado por mandato del Consejo de Rectores en 2001 (se implementó por primera vez en la admisión 2004).

En junio de 2011 el Ministerio de Educación y el Consejo de Rectores acordaron revisar la calidad de este examen a través de una evaluación internacional. Tras una licitación fue seleccionada la empresa Pearson para efectuar un diagnóstico de la PSU, proceso que se llevó a cabo entre enero de 2012 y enero de 2013. La revisión se enfocó en tres áreas: la evaluación de los procesos de construcción de las pruebas, el análisis de la puntuación de las pruebas, y un estudio de su validez. Una comisión técnica compuesta por tres integrantes del Mineduc y tres integrantes designados por el Cruch aprobaron el Informe final de Pearson.

El ministro Beyer señaló que “nos hemos comprometido con el Cruch a estudiar el Informe en la próxima sesión del Consejo de Rectores el día 7 de marzo, analizarlo integralmente y definir una agenda de transformaciones, porque una primera mirada de este informe indica que la PSU está muy lejos de ser una prueba que cumpla con los estándares internacionales, sobre todo cuando se trata de un instrumento que tiene altas consecuencias para los estudiantes”.

La autoridad explicó que tras una década de la aplicación de esta prueba, es necesario implementar una serie de reformas al sistema de admisión tanto en el corto como en el largo plazo. “Yo creo que efectivamente después de 10 años todavía tenemos un sistema de admisiones que está al debe con los objetivos que se planteó cuando fue cambiado, pero creo que vamos a consensuar con el Consejo de Rectores la forma de trabajo que nos permita abordar todos esos objetivos  de forma simultánea”.

Para el titular de la cartera, dentro de los cambios a corto plazo que se podrían implementar y que fueron recomendaciones del Informe de Pearson, se encuentran “mejorar el pilotaje, y mejorar las técnicas de equivalencia entre años”. Otra de las preocupaciones del ministro Beyer, es la alta brecha que existe hoy entre los estudiantes de colegios municipales y particulares pagados. “Debiéramos tener un instrumento, que cumpliendo con los estándares internacionales, logre que las brechas sean las menores posibles. Debemos contar con un sistema de admisión que tenga un equilibrio entre equidad y predicción de desempeño académico”.

• El informe señala que si bien en el proceso de elaboración de preguntas se reconoce la experiencia profesional de los equipos a cargo, no participan del proceso de revisión y análisis de la pertinencia de éstas expertos externos al Demre. Se recomienda la mejora en la documentación que guía y respalda los procesos, la realización de estudios específicos, la inclusión de expertos en currículum y profesores de enseñanza media que representen a más de una institución, y la realización de auditorías periódicas.

• Otro problema detectado es que las preguntas disponibles y que finalmente llegan a la PSU no se testean o experimentan de manera adecuada. Todos los años se prueban las preguntas o ítems con un grupo de estudiantes que rinden el examen de manera voluntaria (Pilotaje), antes de la PSU. Sin embargo, según el informe de Pearson, la muestra que realiza este examen no es representativa del total de la población que rinde la Prueba de Selección Universitaria.

• En la construcción de las preguntas, el proceso permite que éstas sean cambiadas después de ser testeadas, por lo que las preguntas finales quedan sin una última revisión que analice si tienen problemas de sesgo.

• Las preguntas están alineadas de manera baja con el currículum de enseñanza media y están centradas en la enseñanza científico humanista, por sobre la modalidad técnico profesional.

• El informe señala que el nivel de omisión, tanto cuando se testean las preguntas como cuando se rinde la Prueba de Selección Universitaria, son más altos que a nivel internacional. La recomendación es reconsiderar que se descuenten respuestas buenas por una cantidad de respuestas malas, dado que esto no es una práctica habitual en otros sistemas a nivel mundial.

• En la PSU hay un indicador denominado DIF, que alerta si las preguntas al ser testeadas, tendrían algún problema de sesgo, tanto de género como por tipo de establecimiento. Según el informe de Pearson, después de esta alerta no se realiza un análisis cualitativo de la pregunta, por lo que en el banco de preguntas quedan aquellas que podrían tener algún problema de sesgo. Se recomienda además  que se integren DIF relacionados con el nivel socioeconómico, modalidad educacional y región de procedencia.

• Se detectó que falta un método que permita que la escala de puntajes de la PSU sea equivalente entre las distintas aplicaciones y de un año a otro. Además, que los márgenes de error de algunas pruebas son altos.

• Pearson señaló en su análisis que es inadecuado usar un puntaje único para las pruebas de Ciencias, ya que se basa en un principio de equivalencia de las disciplinas evaluadas y no son comparables. Se recomienda desarrollar pruebas separadas, para Biología, Física y Química y reportar sus resultados en forma independiente.

• Se considera que no existe suficiente explicación para los jóvenes que rinden el examen y otros actores relevantes comprendan el significado de los resultados de la Prueba de Selección Universitaria, por lo que el equipo evaluador recomienda que en cada uno de los reportes  se entregue información adicional que permita interpretar los puntajes.

• Se determinó que en la estructura de las pruebas hay potenciales problemas de sesgo, que afectarían principalmente a los estudiantes de la modalidad Técnico Profesional. Se detectó que el examen con mayores problemas es el de Matemáticas.

• Se señala que las pruebas tiene un alineamiento bajo con los objetivos fundamentales y los contenidos mínimos obligatorios del currículum chileno, por lo que se recomienda una revisión.

• Al desagregar los puntajes por dependencia y modalidad educacional, los puntajes han aumentado para el caso de los establecimientos particulares pagados y modalidad científico humanista en desmedro de la modalidad técnico profesional. Además las brechas de acuerdo al nivel socioeconómico son más altas que lo que se refleja internacionalmente.

• La capacidad de predicción respecto al desempeño en la universidad de los estudiantes que rinden la PSU, si bien existe, es menor que la de otras pruebas internacionales.

——————————————————————————–