A propósito del Ranking que comentábamos días atrás, ver la siguiente reflexión crítica.
Ranking de universidades
Sebastián Pérez Bannen, Director de Análisis Institucional, Universidad Diego Portales, El Mercurio, Lunes 10 de Diciembre de 2012
¿Qué fortalezas posee y qué defectos padece el “Ranking de Calidad de las Universidades Chilenas” elaborado por el Grupo de Estudios Avanzados Universitas y publicado por “El Mercurio”?
Responder esa pregunta puede contribuir al prestigio y la mejora de esa iniciativa. Un ranking público debe estar sometido al escrutinio público, al análisis crítico y racional de todos.
¿Cuál es la principal virtud de este ranking ? Este ranking tiene el gran mérito de proponer cuatro tipologías de universidades y ordenar a las instituciones dentro de cada grupo de acuerdo a una metodología ad hoc (variables y ponderaciones). En sintonía con la literatura especializada, este ranking reconoce la utilidad de comparar instituciones similares en cuanto a su perfil institucional, distinguiendo aquellas cuyo foco es la docencia de aquellas más complejas que además cultivan la investigación y los doctorados. Este ejercicio de clasificación es un gran avance en materia de rankings en nuestro país.
¿Cuál es el error en el que, sin embargo, incurre? Los criterios de clasificación que emplea confunden la complejidad de la oferta de grados académicos de las universidades y la institucionalidad certificadora (acreditación) con la capacidad real y efectiva de las universidades para producir y publicar conocimiento, por ejemplo en revistas especializadas e indexadas, cumpliendo sus exigentes estándares editoriales.
Confunde, en otras palabras, dos preguntas distintas: ¿Cuál es la oferta de programas de una institución? y ¿cuál es su capacidad investigativa? Deducir que la oferta de programas de doctorado acreditados determina la capacidad investigativa de una universidad no es lógico ni correcto.
En efecto, la asociación de la capacidad de investigación de una universidad con la disposición de al menos un doctorado acreditado -la piedra angular del diseño metodológico de esta clasificación- presenta una debilidad clara. Vamos a la evidencia. El ranking clasifica a 18 universidades como “de investigación”, dividiendo este grupo en dos categorías según si tiene más o menos de siete programas de doctorado. Así se define el grupo de “Universidades de investigación con doctorados en áreas selectivas” y otro de “Universidades de investigación con doctorados”. Según datos del Programa de Información Científica de Conicyt del 2011, el rango de publicaciones ISI de este grupo de 18 universidades “de investigación” fluctúa entre 20 y 1.384 al año. Del mismo modo, los proyectos Fondecyt adjudicados fluctúan entre 6 y 211 en este mismo grupo de universidades. ¿Es razonable sostener que las universidades de los extremos, es decir, aquellas que tienen menos de 60 ISI y 10 Fondecyt o menos, y las que tienen más de 1000 ISI y más de 150 Fondecyt anuales pueden ser igualmente clasificadas como “universidades de investigación”? La evidencia habla por sí misma y debilita considerablemente la metodología del ranking . Una clasificación que no discrimina entre realidades tan distintas tiene, obviamente, problemas de diseño.
En otras palabras, la línea divisoria que separa el hecho de tener o no doctorados acreditados sería válida si la rotulación de los grupos se hubiera mantenido en ese campo semántico. Vale decir, si hubieran sido denominadas como “Universidades con doctorados en áreas selectivas” y “Universidades con doctorados”, a secas. Eso sería correcto, porque el nombre del grupo estaría reflejando los criterios realmente usados para su confección y no suposiciones adicionales. Ahora bien, si una universidad es “de investigación” o “con proyección de investigación” no debe estar asociado a la condición de tener o no un doctorado acreditado, sino necesariamente debe depender de un indicador adicional de productividad científica, como por ejemplo, la cantidad de publicaciones indexadas en la base ISI-Thompson o Scopus, o de su impacto en el medio académico (Factor de Impacto, Índice de citas, Índice H, etcétera). Es esta omisión, vale decir, la ausencia de un indicador de productividad científica, la que explica que la metodología de clasificación de universidades “de investigación” sea cuestionable. En próximas versiones, esta variable debiese ser incorporada junto con los otros criterios que ya considera la clasificación, para hacer los matices necesarios que reflejen de mejor manera la realidad nacional.
Una alternativa interesante sería considerar la clasificación de universidades del Informe Educación Superior en Iberoamérica (Brunner y Ferrada, ed., 2011, p. 125-128) que clasifica a las universidades de acuerdo su productividad científica. Según este informe, en el contexto iberoamericano existen 62 universidades de investigación (sobre 3.000 ISI entre 2005 y 2009), un segundo grupo de 69 universidades con investigación (entre 1.000 a 2.999 ISI entre 2005-2009) y 133 universidades emergentes (entre 250 y 999 ISI entre 2005-2009).
En síntesis, no es razonable que esta clasificación de universidades chilenas publicada por “El Mercurio” prescinda de indicadores de productividad científica para definir si una universidad es o no “de investigación”. Tal como nos muestra el informe antes mencionado, existen más matices a la hora de entender los desempeños relativos de las universidades iberoamericanas en materia de investigación. Incorporar correctamente una variable de producción científica a los otros indicadores que ya considera el ranking , contribuiría sustantivamente a hacer esos matices y reconocer una mayor diversidad de proyectos institucionales comprometidos con la investigación.