Jelena Brankovic, investigadora postdoctoral en la Facultad de Sociología de la Universidad de Bielefeld (Alemania) sostiene que tomar las clasificaciones como sustitutos de la calidad o el desempeño de una manera lineal-causal es una forma fundamentalmente mal concebida de comprender el valor de una universidad.

Artículo tomado de LSE Impact Blog

A principios de este mes, QS publicó su clasificación anual de universidades mundiales por asignatura, lo que generó entusiasmo en las redes sociales académicas. “Encantado de ser parte del número uno del mundo”, dijo un miembro de la facultad. “Orgullosa alumna y miembro del personal”, escribió otro. “Muy orgulloso de ser parte del equipo. Bien hecho a todos ”… Y así sucesivamente. Te dan la imagen.

Vea la información presentada al respecto para el caso de Colombia

No hay nada intrínsecamente malo en que a las personas les guste su trabajo y disfruten trabajar en un entorno estimulante. Sin embargo, hay algo inquietante en el hecho de que los académicos tomen cosas como una clasificación elaborada por QS, Shanghai o cualquier organización, como confirmación o evidencia de cuán bueno, o malo, lo están teniendo en comparación con todos los demás.

Uno puede preguntarse, ¿los académicos responden a las clasificaciones de esta manera porque simplemente se dejan llevar por el momento? ¿O porque se toman los rankings en serio ? ¿O es, quizás, algo más?

Para ser claro desde el principio, mi intención aquí no es criticar los rankings. Al menos no de la forma en que esto se hace habitualmente. En este sentido, esta no es una historia sobre las metodologías defectuosas de los rankings o sus efectos adversos, sobre cómo se producen algunos rankings para obtener ganancias o sobre cuán opacos o mal gobernados son. Nada de eso importa aquí.

Lo que quiero hacer, en cambio, es llamar la atención sobre una suposición altamente problemática que muchos académicos parecen suscribir: la suposición de que existe, o que posiblemente podría haber, una relación significativa entre una clasificación , por un lado , y lo que es y hace una universidad en comparación con otras, por otro.

Comenzaré contando una historia que involucra a mi propia universidad y concluiré con un argumento más general sobre por qué respaldar públicamente las clasificaciones perjudica a la academia.

¿Qué hay en un rango?

En septiembre de 2019, German Der Spiegel publicó un artículo en el que se informaba sobre las clasificaciones universitarias mundiales de Times Higher Education ( THE ), que se acababan de publicar . El estatus de Alemania como “el tercer país más representado en el Top 200”, decía el artículo, fue confirmado una vez más. Como “particularmente digno de mención”, continuó el artículo, se destacó otra noticia: “La Universidad de Bielefeld saltó de la posición 250 a la 166”.

Aunque Bielefeld había participado en este ranking en particular desde la primera edición en 2011, en su mayor parte estaría posicionado entre 201 y 400. Luego, en la edición 2020 del ranking, Bielefeld se encontró en el Top 200. El la noticia fue bien recibida en casa. El rector de Bielefeld agradeció a todos “los que han contribuido a este espléndido resultado”.

Sin embargo, el liderazgo de Bielefeld estaba bastante desconcertado por todo el asunto: no podían precisar qué habían hecho exactamente para haber causado esta notable mejora. Deben haber hecho algo bien, seguro, pero ¿qué ? Con el objetivo de llegar al fondo, decidieron investigar.

Era bastante obvio desde el principio que el “salto” probablemente tuvo que ver con las citas. Cualquiera que esté remotamente familiarizado con la metodología de este ranking puede entender cómo esto tendría sentido. Y de hecho, solo por las citas, Bielefeld fue la ^99ª universidad del mundo y la sexta en Alemania.

Nuestra biblioteca universitaria confirmó la hipótesis de las citas. Además, cuando se volvieron a calcular los puntajes a lo largo del tiempo, parecía que Bielefeld mejoró más de 120 lugares solo en dos ciclos de clasificación. Y, no solo “mejoró” excepcionalmente, también fue una de las universidades con mejor desempeño en todo el mundo en lo que respecta a cuánto progresó de un año a otro.

Bielefeld, al parecer, era un caso extremo.

Al final resultó que, los grandes saltos en las clasificaciones de THE ya se habían vinculado a una gran colaboración internacional en salud global: el estudio Global Burden of Disease . El método de THE para contar las citas es tal, dijo otra fuente , que en algunos casos no se necesitó más que un solo académico participando en este estudio para mejorar el rango de una universidad, e incluso significativamente, de un año al siguiente.

Nos sorprendió el hallazgo de que diez artículos por sí solos aportaron hasta el 20% de las citas totales de Bielefeld en esos dos años. Cada uno podría estar relacionado con el estudio Global Burden of Disease. Todos menos uno se publicaron en The Lancet y fueron cofirmados por cientos de autores. Uno de los autores, y solo uno, procedía de Bielefeld.

Nuestro análisis mostró que el ascenso de Bielefeld en la clasificación fue causado claramente por un académico. Así de significativa era la relación entre el “desempeño” de la Universidad de Bielefeld —una institución completa— y su rango.

Es tentador pensar que, considerando todo, Bielefeld “jugó” esta clasificación en particular, accidentalmente. Incluso es gracioso, sobre todo cuando se piensa en las cantidades desmesuradas de dinero que algunas universidades invierten para conseguir este tipo de resultado en un ranking.

La falacia lógica

Cuando THE publicó el ranking, el presidente de la Conferencia de Rectores Alemanes dijo que creía que “el ascenso de Alemania estaba ‘estrechamente relacionado’ con la Iniciativa de Excelencia del gobierno”.  Ciertamente, no fue el único en el esfuerzo por explicar las clasificaciones recurriendo a este tipo de razonamiento lineal-causal, como podemos ver en el mismo texto.

Este detalle, sin embargo, apunta a lo que puede ser el aspecto más extraordinario y al mismo tiempo el más absurdo de todo. Casi intuitivamente, la gente tiende a explicar la posición en una clasificación dando lo que puede parecer una explicación racional. Si la universidad “sube”, debe ser porque realmente ha mejorado. Si “cae”, está siendo castigado por bajo rendimiento.

El ejemplo de Bielefeld desafía el pensamiento lineal-causal sobre las clasificaciones, de manera espectacular. Sin embargo, en verdad, no hay nada excepcional en esta historia más allá de ser un ejemplo sorprendente de cuán arbitrarias son las clasificaciones.

THE puede eventualmente cambiar su metodología , pero cambiar la metodología no cambiará el hecho de que sus clasificaciones son juegos artificiales de suma cero. Artificiales porque imponen una estricta jerarquía a las universidades. Artificial también porque no es realista que una universidad solo pueda mejorar su reputación de desempeño exclusivamente a expensas de la reputación de otras universidades. Finalmente, artificial porque la reputación en sí misma no es un recurso escaso, pero las clasificaciones hacen que parezca que lo es. Teniendo esto en cuenta, las clasificaciones de THE no son de ninguna manera especiales, mejores o peores que otras clasificaciones. Son solo una variación de un tema .

Los números, los cálculos, las tablas y otros dispositivos visuales, las metodologías “cuidadosamente calibradas” y todo eso, están ahí para convencernos de que las clasificaciones tienen sus raíces en la lógica y el razonamiento cuasi científico. Y si bien pueden parecer obras de ciencia, definitivamente no lo son. Sin embargo, mantener la apariencia de ser fáctico es crucial para las clasificaciones. En este sentido, tener científicos reales que respalden los juegos artificiales de suma cero que los rankers producen contribuye de manera crítica a su legitimidad.

Asumir que una clasificación, en cualquier clasificación, podría decir algo significativo sobre la calidad de una universidad en relación con otras universidades, ya sea como lugar de trabajo o como lugar para estudiar, es absolutamente absurdo. Sin embargo, es precisamente esta suposición la que hace que las clasificaciones sean altamente trascendentes, especialmente cuando no solo no se cuestiona, sino que también se acepta abierta y públicamente, por parte de los propios académicos.