Debate publicado en El Foro, Revista Iberoamericana de Ciencia, Tecnologia y Sociedad.
http://www.revistacts.net/index.php?option=com_content&view=section&layout=blog&id=7&Itemid=38
EL DEBATE: Rankings de universidades, a favor y en contra
En esta oportunidad, el Foro CTS propone un debate a dos tiempos. Dos posiciones antagónicas sobre un mismo tema: la validez de los rankings universitarios. Los expertos Isidro Aguillo y Carlos Pérez Rasetti disertan acerca de los distintos aspectos que componen esta nueva manera de comunicar evaluaciones. La imparcialidad de los rankings o su total carencia de ese atributo, la rigurosidad metodológica que los sustenta, lo que dicen o enmudecen acerca de la universidad y el efecto que producen a nivel masivo son algunos de los puntos revisados en este foro doble. Rankings universitarios: por qué sí y por qué no. La respuesta, en manos de los lectores.
————————————————————————
A FAVOR
Rankings de universidades: antecedentes, objetivos, virtudes y carencias
Por Isidro F. Aguillo
Laboratorio de Cibermetría, IPP-CCHS-CSIC, España.
http://www.revistacts.net/files/Foro/debate_rankings_favor.pdf
Es habitual que las nuevas herramientas de evaluación de la actividad académica o investigadora sean recibidas con recelo, cuando no con abierta hostilidad por parte de la comunidad científica. La propia bibliometría, que ha sido particularmente útil en los últimos años no sólo para la descripción de la producción científica, sino para generar buenas prácticas de publicación e incluso identificar líneas de investigación emergentes, ha sido y sigue siendo objeto de agrias críticas. Y no se trata sólo de meras discusiones respecto a métodos o interpretación de resultados sino que se cuestiona su pertinencia y objetividad en la evaluación de individuos e instituciones.
En bastantes casos, las críticas parecen provenir de personas y organizaciones con agendas concretas a las que una evaluación externa objetiva, de carácter cuantitativo, no parece convenir. Se citan sesgos metodológicos (geográficos, disciplinares, lingüísticos), dudas epistemológicas sobre las bondades del análisis de citas o desconocimiento de la estructura social e idiosincrasia académica de grupos y redes, pero en general lo que se ataca es el propio proceso evaluativo. Existe pues un rechazo a la cultura de la evaluación, que en todo caso resulta inaceptable en cuanto a que la financiación de estos docentes e investigadores es fundamentalmente pública y debe estar sujeta necesariamente al control democrático de los contribuyentes y a la guía y seguimiento de los responsables de las políticas científicas.
Por supuesto también existen responsabilidades de los evaluadores en el desarrollo de esta situación. La bibliometría ha sido parca en construir escenarios globales, frecuentemente maniatada por un monopolio de facto en la fuente principal de sus datos, las “citation databases” ISI-Thomson, muy populares pero con notorios sesgos y limitaciones. En las últimas décadas, a pesar de las relevantes contribuciones académicas, dicha empresa ha sido poco dada a innovar y ha mantenido indicadores obsoletos que han tenido un impacto negativo en la percepción de los procesos de evaluación. Sólo la aparición de competencia (SCOPUS/Elsevier) parece haber iniciado un amplio programa de mejoras en el desarrollo de sus indicadores.
Antes de la aparición del Web of Science, el portal web de ISI/Thomson, el único indicador sintético disponible de forma universal era el Journal Impact Factor, que combinaba la medida de actividad e impacto en una unidad, la revista científica, que resultaba inadecuada como punto de partida para estudios bibliométricos tanto micro como macro. Los nombres de las revistas se normalizaban, pero no las afiliaciones de los autores, se clasificaban por disciplinas las revistas en vez de los artículos individuales y se contabilizaban citas esperadas en vez de citas reales en ventanas temporales absurdamente estrechas. Las limitaciones señaladas daban lugar a trabajos muy puntuales, sofisticados análisis pero con complejos resultados difíciles de interpretar y aplicar. El gestor finalmente tenía que acudir a estadística básicas: números totales de artículos y citas, distribución por institución o región, revistas más usadas, entre otras.
En 2003, la Universidad Jiao Tong de Shanghái publica la primera edición de su ranking (ARWU) que ofrece importantes novedades:
●Ofrecen una tabla mundial (500 primeras universidades), razonablemente representativa, con acceso público abierto (a través de un portal web).
● El ranking está realizado por un grupo de investigación perteneciente a una importante universidad y utilizando criterios científicos trasparentes. Hasta ese momento la mayoría de los rankings eran elaborados por periódicos, sin explicación metodológica y con poca información sobre los valores utilizados.
● Las posiciones se obtienen de un indicador compuesto que combina variables bibliométricas tradicionales con otras más ligadas a la medida de la excelencia (Premios Nobel, número de autores muy citados). El resultado es una lista ordenada de universidades fácil de consultar e interpretar.
El impacto inmediato de ARWU es considerable y se extiende en el tiempo hasta hoy en día. Los primeros sorprendidos son los propios autores, pues el objetivo original del trabajo era ofrecer una guía a los estudiantes chinos para elegir universidades de destino en el extranjero. Sin embargo, para la comunidad académica mundial supone una autentica revolución pues ofrece (¿por primera vez?) un informe sencillo y elegante sobre la situación de las universidades y especialmente identifica a las llamadas “world-class”, la élite a nivel mundial.
Las reacciones son variadas y van desde una llamada a la reorganización de sistemas académicos completos debido a los malos resultados obtenidos (tal es el caso de Francia), pasando por incidentes diplomáticos donde algunas instituciones protestan ante sus respectivas embajadas chinas, hasta la respuesta de la comunidad bibliométrica. En un artículo muy citado posteriormente, el Prof. Van Raan (CWTS, Leiden) critica fundamentalmente la metodología de recogida y normalización de datos desde la ortodoxia de un equipo que ha dedicado notables esfuerzos a reducir los errores de las bases de datos. Básicamente los recién llegados a la disciplina cometen fallos de novato.
En los siguientes años, el Ranking de Shanghái alcanza una indudable popularidad y aparecen algunas propuestos alternativas basadas en estrategias similares y en la sencillez de lectura e interpretación de una lista ordenada. Algunas, como la muy sesgada clasificación proporcionada por QS al suplemento educativo del Times, provocan algunas críticas académicas, pero aun así este ranking es extremadamente popular (20 millones de usuarios por año).
Las críticas se centran en los siguientes aspectos:
● El ranking es unidimensional. Reduce la descripción de una institución tan compleja como una universidad a una única cifra. Ello asume que una aproximación holística no es válida cuando en realidad puede ser muy práctica y que se trata de un instrumento único, cuando es obvio que ha de complementarse con otras técnicas tanto cuantitativas como cualitativas.
● El ranking agrupa y compara instituciones muy diferentes y presta poca atención al impacto del tamaño, tanto en lo que respecta a recursos humanos como a la financiación. En realidad un ranking no pretende realizar un estudio de eficiencia, sino identificar las capacidades y prestaciones globales, siendo otros los que
revelen los factores y sus contribuciones relativas.
● El ranking es demasiado rígido, con unas variables y unos pesos predefinidos que
parecen arbitrarios. Los editores de los rankings seleccionan variables de acuerdo a su disponibilidad, viabilidad y pertinencia, y acomodan los pesos a la hipótesis de que los resultados reflejen una realidad percibida. Lo poco cuestionados que son dichos resultados confirma el éxito de esta aplicación estricta del método científico.
● La mayoría de los rankings se centra sólo en la actividad investigadora, ignorando las otras misiones académicas. Aunque es cierto que existen algunos rankings basados únicamente en datos bibliométricos, hay otros que incluyen variables extra ligadas con otros aspectos académicos. Pero no debemos olvidar que es la excelencia investigadora la que marca diferencias y que los rankings más populares se centran únicamente en la élite (top 500), lo que obviamente justifica que den prioridad a dicha variable.
Como ya señalamos, hay agendas personales o institucionales ligadas a algunas de estas críticas. Así, la Comisión Europea está financiando un ejercicio de ranking de universidades europeas como respuesta al de Shanghaí, con la explícita intención de suplir los defectos de aquel y que va a generar un caro producto, que no es un ranking, que no analiza ni un 5 por ciento de las instituciones europeas, que no es fácil de interpretar y que se puede configurar a la carta, es decir da resultados según convenga al usuario.
Los rankings están para quedarse. Utilizados correctamente con otras herramientas, pueden satisfacer las necesidades de amplios y variados colectivos (gestores, investigadores, profesores, estudiantes) y están llamados a cumplir una importante misión en los próximos años.

EN CONTRA
El marketing pretencioso de los rankings de universidades
Por Carlos Pérez Rasetti
Universidad Nacional de la Patagonia Austral y Universidad Nacional de La Matanza, Argentina.
http://www.revistacts.net/files/Foro/debate_rankings_contra_revisado.pdf
Universidad Nacional de la Patagonia Austral y Universidad Nacional de La Matanza, Argentina.
Viene creciendo, en los últimos años, cierta tendencia a la adopción de rankings como modo de comunicar evaluaciones de grupos de universidades, sean estos grupos correspondientes a una disciplina, a una nación o al ancho (y diverso) mundo. Para repasar, diremos que un ranking es una lista ordenada jerárquicamente, en la cual el orden es el resultado de una operación de evaluación efectuada de acuerdo a un modelo teórico compuesto por una serie o batería de indicadores (operación de selección y combinación de información) y su ponderación (operación de valoración relativamente diferenciada). Simplificando, se toman algunos datos de una serie de entidades y se los suma asignando a cada uno de ellos un valor, respecto del total, que depende de la importancia que el modelo de calidad le adjudique. Tanto la operación de selección de indicadores como la de ponderación implican una concepción de calidad. Podríamos decir tranquilamente que en un ranking gana siempre el que es más amigo del que inventa la concepción de calidad (y la impone). Es así, tal cual, porque la calidad no existe en la naturaleza, no la vamos a descubrir mediante una investigación; es un constructo y por lo tanto, un sentido que depende de la operación semiótica de selección y articulación de sus elementos. La búsqueda de la calidad es más parecida a una “búsqueda del tesoro” que a una investigación: no vamos a encontrar nada que nosotros mismos no hayamos, antes, puesto ahí.
Lo podemos ver más claro en un ejemplo. El más conocido de todos, el Academic Ranking of World Universities, elaborado por la Universidad Jiao Tong de Shangai (conocido como Ranking de Shangai), por ejemplo, utiliza un grupo mínimo de indicadores integrado por la cantidad de premios importantes obtenidos por profesores y graduados (Premios Nobel, Medallas Field) de cada universidad; los investigadores más citados en 21 áreas de investigación determinadas por Thomson ISI (Institute for Scientific Information); los artículos publicados en Nature y Science durante los últimos cuatro años, y los registrados en el Science Citation Index Expanded (SCIE) y el Social Science Citation Index (SSCI) en el curso de último año; y, finalmente, la eficiencia académica en función de las dimensiones de la institución, especialmente relaciones entre cantidad de profesores, alumnos y graduados.
Como vemos, se trata de un número relativamente pequeño de indicadores que se ponderan entre sí y terminan dando un índice de calidad que permite comparar y jerarquizar a las universidades. El índice es de muy fácil lectura y se adapta perfectamente a la difusión mediática, pero, sin embargo, no presenta sorpresas para el gran público. Las universidades que figuran al tope de la lista son aquellas que el gran público mediático tiene por mejores, con lo cual el ranking se legitima al coincidir con la opinión del sentido común y las personas ratifican “científicamente” su opinión al leer el resultado del ranking.
Bueno, quizás alguien me diga: “Es que efectivamente esas universidades – Stanford, Yale, Harvard- son las mejores, y por eso son mundialmente conocidas como tales, y por eso el ranking las pone al tope de la lista”. Me animo a decir que no, que todo depende de cómo se construye el prestigio que podríamos denominar “conocimiento público de un tipo de calidad”. Veamos el sustento teórico de este modelo de calidad. Se apoya en dos hipótesis: una respecto de cuáles son los indicadores relevantes y otra respecto de cuál es la ponderación entre ellos que determina la calidad. Si introdujéramos otros indicadores relevantes, menos relacionados con el “éxito”, por ejemplo, determinaríamos otro modelo de calidad y los resultados serían diferentes. ¿Se puede hacer? Bueno, yo creo que sí. Por ejemplo, ensayemos este indicador: porcentaje de egresados de medicina trabajando con grupos sociales de riesgo o de extrema pobreza. ¿Qué pasaría con la lista? Seguro que cambia, ¿no? Claro que alguien podría venir a decirnos: “¡Epa!, ¡Pero Ud. quiere una universidad que forme excelentes personas, no excelentes médicos!” Y le responderíamos que la idea de excelente médico es relativa, que puede estar determinada por su formación y su éxito profesional medido en nivel de salario alcanzado o en su formación y su capacidad para ponerla al servicio de la sociedad. En suma, el marketing es un eficaz e incansable constructor de sistemas de evaluación, y prefiere los rankings.
Prefiero, al fin y al cabo, la honestidad de los rankings que anualmente realiza y difunde The Princeton Review. Son sesenta (60) diferentes grillas que clasifican las mejores universidades respecto de sesenta diferentes criterios bien explícitos. El más divertido es seguramente The Top 20 Party Schools; pero hay muchos otros que clasifican las universidades según la condición de sus mejores dormitorios, o profesores, lo conservador o lo liberal de sus estudiantes, la aceptación de la comunidad gay, los estudiantes más divertidos o alegres, y los menos, los estudiantes más estudiosos o también los menos estudiosos (Students Study the Least).
Como puede verse, es posible ser la “mejor” universidad de muchas maneras diferentes, incluso en cuanto a la poca dedicación al estudio de sus alumnos, siempre que eso sea lo que uno busca. En ese marco, entonces, el llamado Ranking de Shangai, ¿qué dice cuando dice que las que presenta son las mejores universidades? Muy poco, en principio sólo que son aquellas que prefieren los que hacen el ranking. Y son además mucho menos honestos que los de Princeton, porque éstos permiten que cada interesado realice su propia ponderación según la importancia que quiera darle a cada uno de los distintos criterios, mientras que aquellos otros pretenden imponer sus secretas preferencias como calidad absoluta.