Bajo el título El huracán PISA llega a la universidad. El próximo objetivo: una evaluación internacional de los conocimientos de los futuros licenciados, el diario El País de Espana da cuenta de los avances y dificultades que experimenta el proyecto de la OECD de establecer un examen para alumnos universitarios de diferentes países del mundo.
Ver texto completo más abajo.
La idea es hacer una prueba escrita, “con respuestas extensas”, no sólo tipo test, que midan “el pensamiento crítico y las capacidades de resolución de problemas necesarios para tener éxito académicamente y en el mundo laboral”, además de las cuestiones concretas sobre el área de conocimiento que se esté estudiando, explican los documentos del proyecto y uno de sus responsables, Richard Yelland.
Los progresos de este proyecto fueron recientemente discutidos en una reunión de la OECD sobre resultados de la edución superior , celebrada en Tokio, los días 11 y 12 de enero de 2008.
Ministers from OECD countries met for an informal discussion on evaluating the outcomes of higher education. In an opening presentation, Morio Ikeda, of the Shiseido Corporation, emphasised the varied and demanding expectations that society has of higher education institutions and systems in the twenty-first century, and the need for OECD countries to respond. OECD Deputy Secretary-General Aart de Geus referred to the increasingly significant role of higher education as a driver of economic growth and the pressing need for better ways to value and develop higher education and to respond to the needs of the knowledge society. I emphasised the opportunity that lay before us to pursue reform so as to focus higher education policy more on quality and not just quantity.
Ver comunicado oficial de la reunión abajo, tras el reportaje del diario El País.

El huracán PISA llega a la universidad
El próximo objetivo: una evaluación internacional de los conocimientos de los futuros licenciados
J. A. AUNIÓN – Madrid – 04/02/2008
Los conocimientos y habilidades de los futuros licenciados son el próximo objetivo de la OCDE. El Informe PISA, que cada tres años sacude la opinión pública de más de medio centenar de países al evaluar las habilidades de sus alumnos de 15 años en matemáticas, lectura y ciencias, desembarca en la universidad. España está dispuesta a participar en él. La Organización para la Cooperación y el Desarrollo Económico (OCDE) está preparando una evaluación internacional para comparar las capacidades (qué saben hacer con los conocimientos adquiridos) de los universitarios que están a punto de terminar la carrera.
La idea es hacer una prueba escrita, “con respuestas extensas”, no sólo tipo test, que midan “el pensamiento crítico y las capacidades de resolución de problemas necesarios para tener éxito académicamente y en el mundo laboral”, además de las cuestiones concretas sobre el área de conocimiento que se esté estudiando, explican los documentos del proyecto y uno de sus responsables, Richard Yelland.
La evaluación tendrá que ser por áreas específicas, asegura Miguel Ángel Quintanilla, secretario de Estado de Universidades, ya que las carreras universitarias son muy distintas entre sí, a diferencia de lo que aprenden los chavales de 15 años en todo el mundo. Lo único que por el momento puede adelantar Yelland es que para este tipo de informe será necesario desarrollar “nuevos instrumentos de evaluación”.
Hasta ahora, las comparaciones internacionales de universidades, las clasificaciones, se han basado en los resultados en el campo de la investigación (las publicaciones) o en medidas como la inversión, los medios, o el porcentaje de alumnos extranjeros que es capaz de atraer un campus. Ésta será la primera vez que se intente comparar la calidad de la enseñanza, es decir, lo que aprenden los alumnos durante la carrera. Si los resultados del estudio de viabilidad, que se harán entre este año y el próximo, son buenos, el PISA de universidades podría salir a la luz dentro de cinco años, explica Yelland.
La tarea se presenta complicada, por la heterogeneidad de las enseñanzas superiores y de las universidades de cada país, pero España ya se ha ofrecido para participar en ese estudio de viabilidad que se hará en cuatro, cinco o seis países, asegura Miguel Ángel Quintanilla, aunque la OCDE aún no ha decidido en cuáles. Ese estudio piloto dirá si “es posible” hacer la comparación que pretenden, asegura Yelland. El proyecto aún no se ha lanzado oficialmente, pero ya se ha presentado a los países de la OCDE (los más desarrollados del mundo).
Buena parte del éxito de esta empresa dependerá de la colaboración y el entusiasmo con el que las universidades reciban una evaluación internacional que, en el caso de los alumnos de 15 años, ha dejado a España en un lugar mediocre (el último, presentado en diciembre, marcó un enorme retroceso en la capacidad lectora de los alumnos) y ha provocado un auténtico terremoto en el sector educativo. De hecho, la agitación no sólo sacude España. “Reino Unido cae en picado en el ranking mundial de matemáticas y lectura”, tituló el diario británico The Guardian. Muchos expertos se han quejado de que este informe se reduzca a una clasificación de países, incluido Andreas Schleicher, el responsable de PISA, que asegura que el mayor valor del estudio “es que nos muestra que hay soluciones incluso para los mayores retos educativos”.
De este modo, un impacto similar, para bien y para mal, cabe esperar de un PISA de universidades. De esto son conscientes tanto los impulsores del proyecto como los países que lo están apoyando: Australia, Corea, Japón, México, Holanda, Noruega, España, Suecia y Estados Unidos. Así, los 19 estados que se reunieron en Tokio recientemente para tratar el proyecto dejaron claro que había que asegurar que el método que se utilice para la evaluación sea el mejor posible, pero que como el estudio piloto no puede reflejar todos los aspectos del aprendizaje, tendrá “que tener en cuenta el contexto histórico, lingüístico y cultural, y las diferencias existentes entre países del currículo, la duración de los estudios y las tasas de acceso” a la universidad.
Pero, a pesar de todas las prevenciones, “hay, en general, un gran interés en detectar las mejores prácticas”, asegura Quintanilla, que asistió al encuentro en Japón. “Estoy seguro de que hay muchas universidades españolas dispuestas a participar”, añade. Los países reunidos en Tokio también estuvieron de acuerdo en la necesidad de buscar las mejores herramientas para evaluar la calidad de las universidades, para “vincular los resultados” con “incentivos”, incluidos “los fondos adicionales”, dicen las conclusiones de la reunión.
Cuánto saben los adultos
Lo que aprenden los alumnos, tanto en el instituto como en la universidad, es clave para un país. Pero, sobre todo, lo es su resultado general, es decir, cuánto sabe y cómo lo pone en práctica cada uno de sus habitantes. Así, en su afán por medir y comparar, la OCDE también tiene en marcha un proyecto para evaluar las competencias básicas de la población adulta en edad de trabajar, es decir, entre 16 y 64 años. También buscan medir el impacto de esos conocimientos sobre la economía y la sociedad.
La idea inicial es hacer una prueba de lectoescritura, aritmética o resolución de problemas, y otra sobre algunas capacidades en el lugar de trabajo. También tendrán en cuenta el contexto social, el nivel de formación o la procedencia de cada persona. Entre 4.000 y 5.000 personas en cada país realizarían la prueba.
Lo que se pretende medir, al estilo de los informes PISA, “no son tanto los conocimientos, sino si se saben aplicar a situaciones concretas, nuevas”, explica el director del Instituto de Evaluación de España, Enrique Roca. Pero el proyecto está encontrando algunos obstáculos, añade, ya que los países no quieren comprometerse a participar sin tener antes muy bien definido en qué va a consistir, pero tampoco se puede definir del todo sin empezar a hacer pruebas. “No se trata de un estudio típicamente educativo, requiere la colaboración de los ministerios de Trabajo y los institutos de estadística, que son los que tienen la capacidad y la experiencia para hacer un estudio tan complejo”, concluye Roca.
—————————————————————————————————————–

OECD Tokyo meeting
CHAIR’S SUMMARY
Ministers from OECD countries met for an informal discussion on evaluating the outcomes of higher education. In an opening presentation, Morio Ikeda, of the Shiseido Corporation, emphasised the varied and demanding expectations that society has of higher education institutions and systems in the twenty-first century, and the need for OECD countries to respond. OECD Deputy Secretary-General Aart de Geus referred to the increasingly significant role of higher education as a driver of economic growth and the pressing need for better ways to value and develop higher education and to respond to the needs of the knowledge society. I emphasised the opportunity that lay before us to pursue reform so as to focus higher education policy more on quality and not just quantity.
In discussion we:
Noted that higher education is expected to produce a range of outcomes – basic research, technology transfer, the conservation and communication of culture, education for young – and not so young – students, and engagement with wider society – efficiently, fairly and to a high standard; and that Governments and other stakeholders have therefore been turning increasingly to evaluation as a way to meet this challenge;
Exchanged experiences on evaluating the quality of education and research through self-evaluation, peer review and third party evaluation, as well as ideas on how to maximise the benefit of evaluation while acknowledging the challenges of assessing concepts such as innovation and learning
Agreed that associating the outcomes from evaluation with incentive structures for institutions, including the provision of additional funds, can be a powerful lever for quality assurance and quality improvement and foster competition among institutions, while noting that it may lead to increasing disparity within countries and that there are significant challenges for policy to encourage improvement among institutions at the lower end of the performance spectrum.
Underlined the importance of improving the information base for the evaluation of higher education outcomes and the need to take account of variations in student aspirations, local labour-market contexts, the mission of institutions and the composition of their student intake.
Welcomed the Berlin Principles as a possible framework for the conduct and development of rankings of higher education institutions, and underlined that rankings and international ‘league tables’ are only as valid as the information on which they are based and can lead to distortions in institutional behaviour.
Agreed that it was less problematic to evaluate research outputs, as the immediate outcomes of institutional performance, than educational outcomes that, ideally, would incorporate aspects of labour-market and social outcomes which become apparent only in the subsequent life of graduates, but considered that the bias in the information base of existing rankings towards research outcomes could detract from efforts to improve educational performance.
Agreed that evaluation could only be effective if it was linked to consequences for institutions and individuals and that, because the stakes are high for potential students and their employers, governments and other stakeholders should pursue and promote their efforts to provide reliable timely information on outcomes and to make this public, noting that such efforts could improve the quality of the evaluation and ranking of higher education institutions by evaluation agencies and external observers in the media or elsewhere.
Debated the extent to which an evaluation of educational outcomes might lead to uniformity in higher educational provision and run counter to diversity in objectives, missions, and institutional structures and agreed that any evaluation of higher education performance should provide for multiple dimensions of outcomes.
Underlined the importance of establishing valid and reliable measures of learning outcomes and welcomed the initiative led by the OECD to assess the feasibility of an international study on assessment of learning outcomes, with the aim of contributing to increased accountability and improvement of assessment methods of learning outcomes by governments, institutions and quality assurance agencies; but noted the need for further debate on the potential benefits and risks, and recommended that, while the feasibility study could not address all aspects of learning outcomes, it should aim to take into account the historical, linguistic, and cultural contexts, and the differences that exist between countries in curricula, duration of study and enrolment rates.
Underlined the need to develop and implement the work in open and transparent ways, to involve higher education institutions and relevant agencies in the process, and to document the conceptual underpinning of the proposed feasibility study, the criteria for success and the process to assess the validity of the measures.
Sought greater detail on the scope of the feasibility study, in terms of the number of institutions and countries to be involved, the subject areas that might be assessed and the costs.
Underlined the need to consider the full range of existing approaches to evaluation and assessment for the establishment of the instruments of the feasibility study.
Noted that countries would base decisions on further steps on the outcomes of the feasibility study.
I would like to thank former Minister of Education, Akito Arima; the President of Tokyo University, Hiroshi Komiyama, and the Director of the William and Flora Hewlett Foundation, Marshall Smith, for their valuable contributions to our discussion. And I am grateful to fellow Ministers for their openness and generosity in contributing to our exchanges which I know will be of great relevance to reform in my own country and will I hope be of equal value to them.