A propósito del reciente ranking de sistemas nacionales de educación superior producido por Universitas 21, ver a continuación las reflexiones de Alex Usher aparecidas hoy en su Blog. Más abajo; traducción automática al castellano del texto de Usher proporcionada por Google.
Ranking Higher Education Systems
Alex Usher, HESA, May 15, 2012
As you may know, a new ranking of national systems of higher education was released a couple of weeks ago. The ranking was put together by a team of Monash University professors led by Ross Williams, and published by the Melbourne Institute and Universitas 21, a global alliance of 24 research intensive universities. It’s not the first attempt to rank national systems – we here at HESA have done two iterations of a global ranking on affordability and accessibility – but it is probably the most ambitious.
The ranking covers twenty indicators over four themes – Resources, Environments, Connectivity and Outputs. For those keeping score, Canada came third overall behind the U.S. and Sweden. We were top in the resource category (there goes the underfunding argument!), third in the output category and mid-table in both environment and connectivity. Not bad, huh?
But you need to take these results with a big grain of salt for a couple of reasons. The first is that the “environment” indictors are mostly qualitative and there’s no published source available to check the data on two of them. The scoring here is simply bizarre, though. I know there’s no such thing as a validity check in ranking, but surely to God the fall-down-laughing test should have given the authors pause before ranking Canada behind Ukraine on this one.
Similarly, the choice of measures and data sources for outputs tends to benefit the U.S. disproportionately. Awarding points for the percentage of the population over 24 with a degree privileges those countries that massified a long time ago (i.e., the U.S.). Using crude gross enrolment ratios as a measure of access privileges countries where students stay enrolled for a long time (there’s also a nerdy comparability problems on the numerator of this statistics in that the U.S. counts its community college students and we don’t). And using researchers per head of population and unemployment rates as measures of university outputs when in fact institutions have at best partial control over these numbers is just silly.
One thing that is disappointing about these rankings is that in many ways, they just measure how close national systems are to a Northern European ideal. If you’re a rich country that drank the Humboldt kool-aid a long time ago, you tend to do well. If you’re poor and have largely teaching-oriented universities, you don’t. I suppose since the ideal of “world-class” research universities has become a global standard of sorts, this makes some sense. But a measure which was more sensitive to levels of national income would have been nice.
Overall: it’s a good first attempt, but there’s still some room for improvement.

Clasificación Sistemas de Educación Superior
Como ustedes saben, una nueva clasificación de los sistemas nacionales de educación superior se dio a conocer un par de semanas. El ranking fue elaborado por un equipo de profesores de la Universidad de Monash dirigido por Ross Williams, y publicado por el Instituto de Melbourne y Universitas 21, una alianza global de 24 universidades de investigación intensiva. No es el primer intento de clasificar los sistemas nacionales – que aquí en HESA han hecho dos versiones de un ranking mundial en la asequibilidad y accesibilidad -, pero es probablemente el más ambicioso.
La clasificación abarca más de veinte indicadores de cuatro temas: medios, su entorno, Conectividad y salidas. Para aquellos que mantener el marcador, Canadá quedó en tercer lugar general detrás de los EE.UU. y Suecia. Estábamos en la categoría de recursos (ahí va el argumento de falta de fondos!), Tercero en la categoría de salida y mediados de mesa, tanto en el medio ambiente y la conectividad. No está mal, ¿eh?
Pero hay que tomar estos resultados con un gran grano de sal durante un par de razones. La primera es que el “entorno” son en su mayoría indicadores cualitativos y no hay ninguna fuente publicada disponibles para comprobar los datos en dos de ellos. La puntuación aquí es simplemente extraño, sin embargo. Sé que no hay tal cosa como una comprobación de la validez en el ranking, pero seguro que a Dios la prueba de caída hacia abajo riéndose debería haber dado antes de la pausa autores clasificación detrás de Canadá, Ucrania, en este caso.
Del mismo modo, la elección de las medidas y fuentes de datos para las salidas tiende a beneficiar a los EE.UU. en forma desproporcionada. La adjudicación de puntos para el porcentaje de la población mayor de 24, con un grado de privilegios de aquellos países que masificadas hace mucho tiempo (es decir, los EE.UU.). Uso de crudo tasas brutas de escolarización como una medida de los privilegios de acceso los países en donde los estudiantes permanecer inscrito durante mucho tiempo (también hay algunos problemas de comparabilidad nerd en el numerador de esta estadística en la que los EE.UU. cuenta con sus estudiantes de colegios comunitarios y no lo hacemos). Y el uso de investigadores per cápita de la población y las tasas de desempleo como las medidas de las salidas de la universidad, cuando en realidad las instituciones tienen en el mejor de un control parcial sobre estos números es una tontería.
Una cosa que es decepcionante de estos rankings es que en muchos aspectos, que acaba de medir qué tan cerca de los sistemas nacionales son a un ideal de Europa del Norte. Si usted es un país rico que bebió el Kool-Aid de Humboldt hace mucho tiempo, se tiende a hacerlo bien. Si usted es pobre y en gran medida orientado a la enseñanza las universidades, que no lo hacen. Supongo que ya que el ideal de “clase mundial” universidades de investigación se ha convertido en un estándar global de clases, esto tiene algún sentido. Sin embargo, una medida que era más sensible a los niveles de renta nacional habría estado bien.
En general: se trata de un primer intento de buena, pero todavía hay cierto margen de mejora.