A continuación de la versión original ver traducción al castellano de Google automático.
The Times Higher Education Research Rankings
Alex Usher, HESA, March 19, 2012
There are three types of rankings and ratings out there. The first are the ones published by The Globe and Mail, U.S. News and World Report, and Maclean’s – essentially consumer guides which try to focus on aspects of the undergraduate experience. Then there are very quantitatively-oriented research rankings, from places like Shanghai Jiao Tong, Leiden and HEEACT.
And then there are the beauty contests, like the Time Higher Education’s World University Reputation Rankings, which was issued last week. Or rather, re-issued, for, as my colleague Kris Olds pointed out, the data for this ranking is the same used for the reputation indicator in their fall World University rankings – all they’ve done is extracted it and issued it as a separate product.
There actually is a respectable argument to be made for polling academics about “best” universities. Gero Federkeil of the Centrum für Hochschulentwicklung in Gütersloh noted a few years ago that if you ask professors which institution in their country is “the best” in their field of study, you get a .8 correlation with scholarly publication output. Why bother with tedious mucking around with bibliometrics when a survey can get you the same thing?
Two reasons, actually. One is that there’s no evidence this effect carries over to the international arena (could you name the best Chinese university in your discipline?) and second is that there’s no evidence it carries over beyond an academic’s field of study (could you name the best Canadian university for mechanical engineering?).
So, while the Times makes a big deal about having a globally-balanced sample frame of academics (and of having translated the instrument into nine languages), the fact that it doesn’t bother to tell us who actually answered the questionnaire is a problem. Does the fact that McGill and UBC do better on this survey than on more quantitatively-oriented research measures have to do with abnormally high participation rates among Canadian academics? Does the fact that Waterloo fell out of the top 100 have to do with the fact that fewer computer scientists, engineers and mathematicians responded this year? In neither case can we know for sure.
A reporter asked me last week how institutions could improve their standing in this ranking. The answer is that these stats are tough to juke because you never know who’s going to answer the survey. This ranking’s methodology is such that (unlike, say, the Shanghai rankings) substantial volatility from one year to the next is guaranteed unless you’re in the top ten or so. All you can really do is put your head down, produce excellent impactful research, and hope that virtue is eventually rewarded.

Rankings del Times Higher Education
Alex HESA, 19 de marzo de 2012
Hay tres tipos de clasificaciones y calificaciones que hay. El primero son los publicados por The Globe and Mail, Noticias EE.UU. y World Report, y la de Maclean, esencialmente guías de los consumidores que tratan de centrarse en los aspectos de la experiencia universitaria. Luego están los rankings de investigación muy cuantitativamente orientados, de lugares como Shanghai Jiao Tong, Leiden y HEEACT.
Y luego están los concursos de belleza, como la puntuación de la Educación Superior Tiempo de Mundo de reputación de la Universidad, que fue emitida la semana pasada. O más bien, volver a emitir, pues, como mi colega Kris Olds ha señalado, los datos de este ranking es el mismo utilizado para el indicador de reputación en su ranking Mundial de la caída de la Universidad – todo lo que hemos hecho es lo extrajo y publicó como un producto separado.
Hay en realidad es un argumento respetable, que se hizo para los académicos de votación sobre las “mejores” universidades. Gero Federkeil del Centrum für Hochschulentwicklung en Gütersloh señaló hace unos años que si le preguntas a profesores de la institución en su país es “el mejor” en su campo de estudio, se obtiene una correlación 0.8 con salida de la publicación académica. ¿Por qué molestarse con la tediosa al rededor del bibliometría, cuando una encuesta se puede obtener la misma cosa?
Por dos razones, en realidad. Una es que no hay evidencia de este efecto se traslada a la arena internacional (podría nombrar la mejor universidad de China en su disciplina?) Y la segunda es que no hay pruebas de que se traslada más allá del campo académico de estudio (¿podría nombrar el mejor de Canadá Universidad para la ingeniería mecánica?).
Así, mientras que el Times tiene un gran problema de tener un marco de la muestra global equilibrada de los académicos (y de haber traducido el instrumento a nueve idiomas), el hecho de que no se molesta en decirnos que en realidad respondieron el cuestionario es un problema . ¿El hecho de que McGill y la UBC obtienen mejores resultados en este estudio que en más medidas de investigación orientados cuantitativamente tienen que ver con anormalmente altas tasas de participación entre los académicos de Canadá? ¿El hecho de que Waterloo se cayó del top 100 tienen que ver con el hecho de que un menor número de científicos de la computación, ingenieros y matemáticos respondieron este año? En ningún caso podemos saber a ciencia cierta.
Un periodista me preguntó la semana pasada cómo las instituciones pueden mejorar su posición en este ranking. La respuesta es que estas estadísticas son difíciles de tocadiscos, porque nunca sabes quién va a responder la encuesta. Metodología de este ranking es tal que (a diferencia de, por ejemplo, las clasificaciones de Shanghai) volatilidad sustancial de un año a otro, está garantizada a menos que esté entre los diez más o menos. Todo lo que podemos hacer es poner tu cabeza abajo, producir investigación impactante excelente, y espero que la virtud es recompensada con el tiempo.