The Paradox of University Rankings
By the time you read this, the Times Higher Education’s annual Reputation Rankings will be out, and will be the subject of much discussion on Twitter and the Interwebs and such. Much as I enjoy most of what Phil Baty and the THE do, I find the hype around these rankings pretty tedious.
Though they are not an unalloyed good, rankings have their benefits. They allow people to compare the inputs, outputs, and (if you’re lucky) processes and outcomes at various institutions. Really good rankings – such as, for instance, the ones put out by CHE in Germany – even disaggregate data down to the departmental level so you can make actual apples-to-apples comparisons by institution.
But to the extent that rankings are capturing “real” phenomena, is it realistic to think that they change every year? Take the Academic Ranking of World Universities (ARWU), produced annually by Shanghai Jiao Tong University (full disclosure: I sit on the ARWU’s advisory board). Those rankings, which eschew any kind of reputational surveys, and look purely at various scholarly outputs and prizes, barely move at all. If memory serves, in the ten years since it launched, the top 50 has only had 52 institutions, and movement within the 50 has been minimal. This is about right: changes in relative position among truly elite universities can take decades, if not centuries.
On the other hand, if you look at the Times World Reputation Rankings (found here), you’ll see that, in fact, only the position of the top 6 or so is genuinely secure. Below about tenth position, everyone else is packed so closely together that changes in rank order are basically guaranteed, especially if the geographic origin of the survey sample were to change somewhat. How, for instance, did UCLA move from 12th in the world to 9th overall in the THE rankings between 2011 and 2012 at the exact moment the California legislature was slashing its budget to ribbons? Was it because of extraordinary new efforts by its faculty, or was it just a quirk of the survey sample? And if it’s the latter, why should anyone pay attention to this ranking?
This is the paradox of rankings: the more important the thing you’re measuring, the less useful it is to measure it on an annual basis. A reputation ranking done every five years might, over time, track some significant and meaningful changes in the global academic pecking order. In an annual ranking, however, most changes are going to be the result of very small fluctuations or methodological quirks. News coverage driven by those kinds of things is going to be inherently trivial.
La paradoja de los Rankings Universitarios
Publicado el 4 de marzo de 2013 por Alex Usher
(Traducción automática de Google, no corregida ni revisada)
En el momento de leer esto, el Times Higher Education Rankings anuales reputación va a estar fuera, y será objeto de un gran debate en Twitter y los Interwebs y tal. Por mucho que me gusta más de lo que Phil Baty y la DO, creo que el bombo alrededor de estas clasificaciones bastante tedioso.
A pesar de que no son un buen puro, las clasificaciones tienen sus beneficios. Permiten a las personas a comparar las entradas, salidas, y (si tienes suerte) los procesos y resultados en diversas instituciones. Ranking de Es buena – como, por ejemplo, los difundida por CHE en Alemania – incluso desglosar los datos hasta el nivel departamental para que pueda hacer reales manzanas con manzanas comparaciones según la institución.
Pero en la medida en que las clasificaciones están capturando “reales” los fenómenos, es realista pensar que cambian todos los años? Tome el Academic Ranking of World Universities (ARWU), elaborado anualmente por Shanghai Jiao Tong University (información completa: Me siento en la junta asesora de la ARWU). Esos valores, que evitan cualquier tipo de encuestas de reputación, y mira puramente en varias salidas académicas y premios, apenas se mueve en absoluto. Si mal no recuerdo, en los diez años desde su lanzamiento, el top 50 sólo ha tenido 52 instituciones, y el movimiento dentro de los 50 ha sido mínima. Se trata de la derecha: los cambios en la posición relativa entre las universidades de elite realmente puede tomar décadas, si no siglos.
Por otro lado, si nos fijamos en los Rankings Mundiales Reputación Times (que se encuentran aquí), verás que, en realidad, sólo la posición de la parte superior 6 o así es realmente seguro. Por debajo de la décima posición, todo el mundo está tan lleno estrechamente que los cambios en orden de importancia son, básicamente, garantizado, sobre todo si el origen geográfico de la muestra de la encuesta fuera a cambiar algo. ¿Cómo, por ejemplo, ¿UCLA pasar de 12 º en el mundo en 9 ª posición en el ranking THE entre 2011 y 2012, en el momento exacto de la legislatura de California fue recortando su presupuesto a las cintas? Fue a causa de los nuevos esfuerzos extraordinarios por su facultad, o era sólo un capricho de la muestra de la encuesta? Y si es esto último, ¿por qué alguien debería prestar atención a este ranking?
Esta es la paradoja de la clasificación: el más importante lo que está midiendo, menos útil que es para medir sobre una base anual. Una clasificación reputación realiza cada cinco años podría, con el tiempo, seguir algunos cambios importantes y significativos en la jerarquía académica global. En un ranking anual, sin embargo, la mayoría de los cambios van a ser el resultado de fluctuaciones muy pequeñas o peculiaridades metodológicas. La cobertura informativa impulsada por ese tipo de cosas va a ser inherentemente triviales.
0 Comments