Ácido comentario en el NYT sobre el más reciente ranking global del Times Higher Education que, sorpresivamente, levantó a la fama a la Universidad de Alexandria… todo lo cual resultó ser una suerte de fraude o de craso error metodológico, según se lo mire. Sigue pues el debate sobre tablas de posiciones universitarias.
Questionable Science Behind Academic Rankings

For institutions that regularly make the Top 10, the autumn announcement of university rankings is an occasion for quiet self-congratulation.
The New York Times, November 15, 2010
When Cambridge beat Harvard for the No. 1 spot in the QS World University Rankings this September, Cambridge put out a press release. When Harvard topped the Times Higher Education list two weeks later, it was Harvard’s turn to gloat.
But the news that Alexandria University in Egypt had placed 147th on the list — just below the University of Birmingham and ahead of such academic powerhouses as Delft University of Technology in the Netherlands (151st) or Georgetown in the United States (164th) — was cause for both celebration and puzzlement. Alexandria’s Web site was quick to boast of its newfound status as the only Arab university among the top 200.
Ann Mroz, editor of Times Higher Education magazine, issued a statement congratulating the Egyptian university, adding “any institution that makes it into this table is truly world class.”
But researchers who looked behind the headlines noticed that the list also ranked Alexandria fourth in the world in a subcategory that weighed the impact of a university’s research — behind only Caltech, M.I.T. and Princeton, and ahead of both Harvard and Stanford.
Like most university rankings, the list is made up of several different indicators, which are given weighted scores and combined to produce a final number or ranking. As Richard Holmes, who teaches at the Universiti Teknologi MARA in Malaysia, wrote on his University Ranking Watch blog, according to the Webometrics ranking of World Universities, published by the Spanish Ministry of Education, Alexandria University is “not even the best university in Alexandria.”
The overall result, he wrote, was skewed by “one indicator, citations, which accounted for 32.5% of the total weighting.”
Phil Baty, deputy editor of Times Higher Education, acknowledged that Alexandria’s surprising prominence was actually due to “the high output from one scholar in one journal” — soon identified on various blogs as Mohamed El Naschie, an Egyptian academic who published over 320 of his own articles in a scientific journal of which he was also the editor. In November 2009, Dr. El Naschie sued the British journal Nature for libel over an article alleging his “apparent misuse of editorial privileges.” The case is still in court.
One swallow may not make a summer, but the revelation that one scholar can make a world class university comes at a particularly embarrassing time for the rapidly burgeoning business of rating academic excellence.
“The problem is we don’t know what we’re trying to measure,” said Ellen Hazelkorn, Dean of the Graduate Research School at the Dublin Institute of Technology and author of “Rankings and the Reshaping of Higher Education: the Battle for World Class Excellence,” coming out this March. “We need cross-national comparative data that is meaningful. But we also need to know whether the way the data are collected makes it more useful — or easier to game the system.”
Dr. Hazelkorn also questioned whether the widespread emphasis on bibliometrics — using figures for academic publications or how often faculty members are cited in scholarly journals as proxies for measuring the quality or influence of a university department — made any sense. “I understand that bibliometrics is attractive because it looks objective. But as Einstein used to say, ‘Not everything that can be counted counts, and not everything that counts can be counted.”’
Unlike the Times Higher Education rankings, where surveys of academic reputation make up nearly 45 percent of the total, Shanghai Jiao Tong University relies heavily on faculty publication rates for its rankings; weight is also given to the number of Nobel Prizes or Fields Medals won by alumni or current faculty. The results, say critics, tip toward science and mathematics rather than arts or humanities, while the tally of prizewinners favors rich institutions able to hire faculty members whose best work may be long behind them.
“The big rap on rankings, which has a great deal of truth to it, is that they’re excessively focused on inputs,” said Ben Wildavsky, author of “The Great Brain Race,” who said that measuring faculty size or publications, or counting the books in the university library, as some rankings do, tells you more about a university’s resources than about how those resources impact on students. Nevertheless Mr. Wildavsky, who edited U.S. News and World Report’s Best Colleges list from 2006 to 2008, described himself as “a qualified defender” of the process.
“Just because you can’t measure everything doesn’t mean you shouldn’t measure anything,” said Mr. Wildavsky, adding that when U.S. News published its first college guide in 1987 a delegation of college presidents met with the magazine’s editors to ask that the whole exercise be stopped.
Related
Today there are over 40 different rankings — some, like U.S. News, focused on a single country or a single academic field like business administration, medicine or law, while others attempt to compare universities on a global scale.
Mr. Wildavsky freely admits the system is subject to all kinds of bias. “A lot of ratings use graduation rates as a measure of student success,” he said. “An urban-setting university is probably not going to have the same graduation rate as Dartmouth.”
“But there’s a real need for a globalized comparison on the part of students, academic policymakers, and governments,” he said.
The difficulty, Dr. Hazelkorn said, “is that there is no such thing as an objective ranking.”
Mr. Baty said that when Times Higher Education Magazine first set up its rankings in 2004 “it was a relatively crude exercise” aimed mainly at prospective graduate students and academics. Yet today those ratings have an impact on governments as well as on faculties.
Dr. Hazelkorn pointed out that a recent Dutch immigration law explicitly targets foreigners who received their degree “from a university in the top 150” of the Shanghai or Times Higher Education rankings.
According to Mr. Baty, it was precisely the editors’ awareness that the Times Higher Education rankings “had become a global news event” that prompted them to overhaul their methodology for 2010. So it is particularly ironic that the new improved model should prove so vulnerable. “When you’re looking at 25 million individual citations there’s no way to examine each one,” he said. “We have to rely on the data.”
That may not convince the critics, who apparently include Dr. El Naschie. “I do not believe at all in this ranking business and do not consider it anyway indicatory of any merit of the corresponding university,” he said in an e-mail.
But if rankings can’t always be relied on, they have become an indispensable part of the educational landscape. “For all their methodological shortcomings, rankings aren’t going to disappear,” said Jamil Salmi, an education expert at the World Bank. Mr. Salmi said that the first step in using rankings wisely is to be clear about what is actually measured. He also called for policy makers to move “beyond rankings” to compare entire education systems. He offered the model of Finland, “a country that has achieved remarkable progress as an emerging knowledge economy, and yet does not boast any university among the top 50 in the world, but has excellent technology-focused institutions.”

Detrás de la cuestionable ciencia d los Ranking Académico
Para las instituciones que regularmente el Top 10, el anuncio de otoño de Clasificación de la universidad es una ocasión para calma autocomplacencia.
Cuando Cambridge venció a Harvard para el N º 1 en el QS World University Rankings este mes de septiembre, Cambridge emitió un comunicado de prensa. Cuando la Universidad de Harvard encabeza la lista de la Educación Superior del Times dos semanas después, fue el turno de la Universidad de Harvard para regodearse.
Pero la noticia de que la Universidad de Alejandría en Egipto había puesto 147a en la lista – justo por debajo de la Universidad de Birmingham y por delante de potencias como académico, Universidad Tecnológica de Delft en los Países Bajos (151) o de Georgetown en los Estados Unidos (164) – fue la causa tanto para la celebración y la perplejidad. sitio Web de Alejandría se apresuró a presumir de su nuevo estatus como la única universidad árabe entre los 200 mejores.
Ann Mroz, editor de la revista “Times Higher Educación, emitió un comunicado felicitando a la universidad egipcia, añadiendo que” cualquier institución que se hace en esta tabla es verdaderamente de clase mundial. ”
Pero los investigadores que miraban detrás de los titulares de cuenta de que la lista de Alejandría también se clasificó cuarto en el mundo en una subcategoría que pesó el impacto de la investigación de una universidad – sólo por detrás de Caltech, MIT y Princeton, y por delante de Harvard y Stanford.
Al igual que la mayoría de Clasificación de la universidad, la lista se compone de varios indicadores diferentes, que reciben una puntuación ponderada y se combinaron para producir un número final o una clasificación. Según Richard Holmes, que enseña en la MARA la Universiti Teknologi en Malasia, escribió en su blog la Universidad de Tráfico Watch, según el Ranking de Universidades de Universidades del Mundo, publicado por el Ministerio español de Educación, Universidad de Alejandría es “ni siquiera la mejor universidad en Alejandría . ”
El resultado global, escribió, fue sesgada por “uno de los indicadores, las citas, que representaron el 32,5% de la ponderación total.”
Phil Baty, director adjunto del Times Higher Education, reconoció que la prominencia sorprendente Alejandría era en realidad debido a “la salida de alta de un erudito en una revista” – antes identificados en varios blogs como Mohamed El Naschie, un académico egipcio que publicó más de 320 de sus propios artículos en una revista científica de la que fue también el editor. En noviembre de 2009, el Dr. El Naschie demandó a la revista británica Nature por difamación por un artículo basado en su “aparente uso indebido de los privilegios de edición.” El caso sigue en los tribunales.
Una golondrina no hace verano, pero la revelación de que un especialista puede hacer una universidad de clase mundial se produce en un momento particularmente embarazoso para la empresa rápidamente creciente número de académicos de excelencia.
“El problema es que no sabemos lo que estamos tratando de medir”, dijo Ellen Hazelkorn, Decano de la Escuela de Postgrado de Investigación en el Instituto de Tecnología de Dublín, y autor de “Clasificación y la reconfiguración de la educación superior: la batalla por el Mundial Clase de Excelencia “, que sale este mes de marzo. “Necesitamos datos comparativos entre países es significativa. Pero también es necesario saber si la forma en que se recogen datos hace que sea más útil. – O más fácil de jugar con el sistema ”
Dr. Hazelkorn también se preguntó si el énfasis generalizado en bibliometría – utilizando las cifras de las publicaciones académicas o con qué frecuencia los profesores son citados en revistas académicas como proxies para la medición de la calidad o la influencia de un departamento universitario – tenía sentido. “Entiendo que la bibliometría es atractivo porque parece objetivo. Pero como Einstein solía decir: “No todo lo que se puede contar cuenta, y no todo lo que cuenta puede ser contado.” ”
A diferencia de los rankings de Times Higher Education, donde las encuestas de reputación académica constituyen casi el 45 por ciento del total, Shanghai Jiao Tong University depende en gran medida sobre las tasas de publicación de la facultad para su clasificación, el peso también se da con el número de premios Nobel o medallas Fields ganó por ex alumnos o profesores actuales. Los resultados, dicen los críticos, la punta hacia la ciencia y las matemáticas en lugar de las artes o las humanidades, mientras que el recuento de los galardonados favorece instituciones rica en condiciones de contratar los mejores profesores, cuyo trabajo puede ser largo detrás de ellos.
“El rap grandes en las clasificaciones, que tiene mucho de verdad en ello, es que están excesivamente centrados en las entradas”, dijo Ben Wildavsky, autor de “La gran carrera de Cerebro”, quien dijo que el tamaño de la facultad de medición o publicaciones, o de recuento de los libros de la biblioteca de la universidad, ya que algunas clasificaciones hacer, contiene más información sobre los recursos de una universidad de impacto acerca de cómo los recursos en los estudiantes. Sin embargo el Sr. Wildavsky, que ha editado Noticias EE.UU. y Mejor Informe Mundial sobre la lista de Universidades 2006 a 2008, se describió como “un defensor calificado” del proceso.
“El hecho de que no se puede medir todo lo que no significa que no debe medir cualquier cosa,” dijo el Sr. Wildavsky, y añadió que cuando EE.UU. Noticia publicada la guía de la universidad por primera vez en 1987 una delegación de presidentes de universidades se reunieron con los editores de la revista para pedir que todo el ejercicio se detuvo.
Hoy en día existen más de 40 clasificaciones diferentes – algunos, como EE.UU. Noticias, se centró en un solo país o un solo campo académico como de administración de empresas, medicina o derecho, mientras que otros intentan comparar universidades a escala mundial.
El Sr. Wildavsky admite libremente el sistema está sujeto a todo tipo de sesgo. “Muchas de las calificaciones de utilizar las tasas de graduación como una medida de éxito de los estudiantes”, dijo. “Una universidad urbana de establecimiento es probablemente no va a tener la tasa de graduación igual Dartmouth.”
“Pero hay una necesidad real de una comparación globalizado por parte de los estudiantes, las autoridades académicas y los gobiernos”, dijo.
La dificultad, el Dr. Hazelkorn dijo, “es que no hay tal cosa como una clasificación objetiva”.
El Sr. Baty dijo que cuando la revista Times Higher Education estableció por primera vez su clasificación en 2004 “fue un ejercicio relativamente crudo”, dirigido principalmente a estudiantes de postgrado y académicos. Sin embargo, hoy las calificaciones tienen un impacto en los gobiernos, así como en las facultades.
Dr. Hazelkorn señaló que una reciente ley de inmigración holandesa explícitamente objetivos extranjeros que reciban su título “de una universidad en los 150” de la de Shanghai o Times Clasificación de Educación Superior.
Según el Sr. Baty, fue precisamente la conciencia de los editores que el Times Higher Clasificación de Educación “se había convertido en un evento global de noticias” que les ha llevado a revisar su metodología para el año 2010. Por lo tanto, es especialmente irónico que el modelo nuevo y mejorado resulte tan vulnerable. “Cuando usted está buscando a 25 millones de citas individuales que no hay manera de examinar cada uno de ellos”, dijo. “Tenemos que confiar en los datos.”
Eso no puede convencer a los críticos, que al parecer se encuentran el Dr. El Naschie. “No creo en absoluto en este negocio el ranking y no consideran que de todos modos indicativo de cualquier mérito de la universidad correspondiente,” dijo en un e-mail.
Pero si clasificaciones no siempre puede ser invocado, se han convertido en una parte indispensable del panorama educativo. “A pesar de sus deficiencias metodológicas, las clasificaciones no van a desaparecer”, dijo Jamil Salmi, experto en educación del Banco Mundial. El Sr. Salmi dijo que el primer paso en el uso de clasificaciones con sabiduría es tener claro lo que realmente se mide. También pidió que los responsables políticos a ir “más allá ranking” para comparar los sistemas de toda la educación. Le ofreció el modelo de Finlandia, “un país que ha logrado progresos notables como emergente economía del conocimiento, y sin embargo no cuentan con ninguna universidad entre las 50 mejores del mundo, pero cuenta con excelentes instituciones centradas en la tecnología.”
Escuchar
Leer fonéticamente