«La IA generativa no piensa ni sabe nada: hay que abordarla con cautela».

James Loxley, profesor de literatura moderna temprana en la Universidad de Edimburgo .

¿Deberíamos usar inteligencia artificial para facilitar tanto la presentación como la evaluación del panel en el REF 2029? ¡Menuda pregunta! La sugerencia de que podríamos hacerlo, planteada recientemente por una encuesta de Jisc y la Universidad de Bristol , ha causado un gran revuelo.

Lo que ha quedado al descubierto en todo este revuelo es hasta qué punto divergen las perspectivas académicas sobre la IA y sus usos, y cuán poco contacto o entendimiento parece haber entre esas distintas perspectivas.

Por supuesto, la IA generativa ha causado revuelo desde que se lanzaron las primeras versiones de lo que hoy es ChatGPT a finales de 2022. Los grandes modelos de lenguaje (LLM) que subyacen a las interfaces se lanzaron en medio de un frenesí de profecías; se trataba de una tecnología que o bien impulsaría un gran avance para la humanidad o bien anunciaría una nueva era de esclavitud, en la que las máquinas finalmente dejarían de lado a sus antiguos amos. Se instó a las empresas a aceptar el futuro o a arriesgarse a la extinción, mientras que incluso algunos de los investigadores involucrados en la creación de las herramientas advirtieron seriamente sobre los riesgos para la supervivencia de la civilización tal como la conocemos. Las propias empresas tecnológicas hicieron declaraciones cada vez más grandiosas sobre el poder transformador de sus productos, cortejando a políticos desesperados por disfrutar de una cálida explosión de calor tecnológico, acaparando enormes cantidades de dinero de los inversores y estableciendo exenciones únicas en asuntos tan insignificantes como la legislación sobre derechos de autor y la regulación gubernamental. Mientras tanto, proliferan centros de datos cada vez más grandes, y la demanda energética se dispara a medida que las preocupaciones ambientales se pierden en la prisa.

Inevitablemente, GenAI ya ha tenido un gran impacto en la vida universitaria, pero las respuestas desde diferentes sectores académicos han variado significativamente. Una de las reacciones más inmediatas fue la creencia de que todas las medidas de seguridad contra las trampas en las evaluaciones implementadas a lo largo de los años, incluyendo el software de detección de plagio, eran prácticamente inútiles: los estudiantes podrían escribir sus preguntas de ensayo directamente en una interfaz de IA y recibir una tarea completa en segundos. Algunos estudios iniciales sugirieron que ChatGPT podría aprobar fácilmente todo tipo de evaluaciones, lo que provocó demandas de volver a la evaluación presencial basada en exámenes, en lugar de la dependencia de los ensayos establecida en décadas anteriores.

Tres años después, estos temores parecen exagerados: aquellos estudios que acapararon titulares no eran tan sólidos como parecían al principio, y la experiencia de primera mano sugiere que los ensayos escritos con IA son insulsos, banales, repetitivos y poco originales, no por las limitaciones actuales de la tecnología, sino precisamente por su funcionamiento probabilístico. Abundan las alucinaciones y los absurdos, precisamente porque GenAI no piensa ni sabe nada, lo que la convierte en un recurso que debe abordarse con cautela y precaución; una lección que muchos estudiantes parecen haber aprendido, incluso mientras sigue eludiendo, por ejemplo, a algunos abogados en ejercicio.

Al mismo tiempo, existe una creciente, aunque quizás aún disimulada, sensación de que algunas herramientas y capacidades de GenAI podrían ser útiles para la investigación y la docencia, incluso en humanidades. Si bien muchos académicos, especialmente en estas disciplinas, desean mantenerse firmes contra cualquier adaptación académica de la IA —en particular porque la formación de LLM ha implicado el robo de obras con derechos de autor a una escala colosal y un coste ambiental potencialmente desorbitado—, es muy probable que la puerta del establo esté dando golpes y que su ocupante, generado por la Imagen GPT 1, haya partido hace mucho tiempo.

Lo importante será permanecer alerta ante los peligros éticos y ser escépticos ante sus posibles usos, reconociendo al mismo tiempo que será difícil evitar esta tecnología. Las editoriales académicas están licenciando masivamente sus títulos a empresas de IA, y estas capacidades ya están integradas en gran parte del software que académicos y estudiantes usan a diario. Una negativa rotunda a aceptar la IA, o una prohibición total, no ayudará a profesores ni estudiantes a comprender cómo interactuar con ella de forma segura.

Esto cobra mayor importancia porque algunas áreas de la universidad, y algunas disciplinas, se han mostrado menos preocupadas por la llegada de la era de la IA. Quizás porque las humanidades, en particular, se centran en la escritura como forma de pensar y en la originalidad intelectual como virtud fundamental y eje de evaluación, la escritura automática se presenta como una amenaza evidente. En áreas con compromisos disciplinarios legítimamente diferentes, puede parecer mucho más una ayuda potencialmente útil.

Estas suposiciones parecen sustentar las propuestas para el despliegue de tecnología de IA no solo en la docencia o la investigación, sino también en algunos de los procesos clave que rigen la vida universitaria. De ahí la pregunta de la encuesta de Bristol sobre si GenAI podría utilizarse no solo en la redacción de los componentes narrativos de las presentaciones del REF, sino también en los procesos de evaluación del panel que determinarán las puntuaciones y los resultados.

A nadie le gusta el REF, pero aparentemente es el lecho de Procusto en el que debemos acostarnos si queremos obtener la financiación QR de la que depende tanta actividad investigadora. Precisamente debido a las obvias limitaciones del REF, los revisores y panelistas intentan aplicar cuidado y rigor a la imposible tarea de calificar los resultados, un proceso que depende en gran medida del ejercicio de un criterio ineludiblemente humano.

Subcontratar cualquier aspecto de esto a la IA sería depositar una confianza excesiva en una tecnología que, de hecho, no es inteligente, y cuyo funcionamiento sigue siendo, en cierto modo, opaco incluso para sus creadores. En este aspecto, al menos, nuestro camino a seguir debería ser claro.

James Loxley es profesor de literatura moderna temprana en la Universidad de Edimburgo .

‘Una plataforma REF AI liberaría a los académicos para una verdadera evaluación intelectual”

Caroline Clewley es futurista de IA en el Imperial College de Londres

El REF del Reino Unido se ha convertido en una tarea monumental, que requirió la revisión experta de casi 190.000 resultados de investigación en el ciclo de 2021, con un coste estimado para todo el sector de 471 millones de libras . Como era de esperar, la llegada de la IA generativa ha suscitado un interés considerable, ya que las instituciones buscan maneras de reducir esta carga.

En este contexto, una encuesta reciente de la Universidad de Bristol y Jisc planteó la pregunta: “¿Deberían utilizarse herramientas de IA generativa para el REF?”. Argumentamos que la pregunta ya está obsoleta; el uso de la IA está generalizado y en constante crecimiento. El verdadero reto reside en garantizar que la IA generativa se aplique de forma responsable para que fortalezca el proceso del REF y sirva a la comunidad investigadora.

Hoy en día, la GenAI permea muchos aspectos de la investigación. Los modelos de lenguaje comerciales y las herramientas de IA resumen manuscritos, identifican citas, redactan narrativas y desarrollan argumentos de investigación de forma rutinaria. Muchos académicos y estudiantes utilizan estas herramientas a diario . Intentar prohibirlas simplemente relega su uso a la clandestinidad, suprimiendo los debates abiertos y sofocando el intercambio de buenas prácticas.

Sin embargo, rechazar una prohibición no equivale a respaldar su adopción descontrolada. El uso descuidado de la IA conlleva riesgos significativos, como se demostró cuando fiscales estadounidenses fueron sancionados por presentar un escrito con seis precedentes inexistentes generados por ChatGPT. Sin un marco común, investigadores, departamentos e instituciones elegirán su propio modelo, indicaciones, nivel de revisión humana y divulgación. El resultado es una amalgama de prácticas, que permite a universidades con recursos suficientes establecer métodos responsables y técnicamente avanzados, mientras que otras con menos financiación se quedan atrás, lo que agrava las desigualdades institucionales.

Para el REF 2029, la verdadera disyuntiva que enfrenta la comunidad académica es: apoyar la adopción de una plataforma consensuada o aceptar la proliferación descontrolada de herramientas opacas y ad hoc. La única respuesta creíble es tomar la iniciativa mediante el desarrollo estratégico de un sistema de IA a medida, basado en los principios rectores del REF : inclusión, equidad y transparencia. De esta manera, podemos garantizar que la IA se utilice de forma responsable, con una supervisión adecuada y una evaluación rigurosa, y que esté diseñada para complementar la inteligencia humana, en lugar de reemplazarla.

Un sistema de IA REF diseñado específicamente restringiría los algoritmos a las tareas que realizan de forma fiable (es decir, agregación de datos, detección de patrones y aseguramiento de procesos), a la vez que preservaría los juicios cualitativos fundamentales para los expertos humanos. Al delegar a los algoritmos las tareas repetitivas que requieren un gran volumen de datos, los panelistas de REF pueden centrarse en las evaluaciones matizadas de originalidad, relevancia y rigor que definen la excelencia investigadora. La excelencia investigadora es multidimensional y contextual, algo que los expertos evalúan mejor, ya que controlan las evaluaciones sustanciales mientras la IA se encarga del trabajo administrativo.

A diferencia de intentos anteriores, como el uso de un modelo de aprendizaje automático preentrenado o ChatGPT para asignar puntuaciones de evaluación directamente, la plataforma REF AI que proponemos es tecnológicamente más avanzada y se basa en los desarrollos de IA más recientes. Implementa un sofisticado ecosistema de agentes de IA especializados con acceso autenticado a revistas de pago, bases de datos de citas y archivos académicos. Estos agentes, diseñados específicamente para este fin, trabajan en colaboración, cada uno gestionando tareas específicas de evaluación académica dentro de un marco seguro y auditable, diseñado exclusivamente para la evaluación de la investigación. Todo se evalúa constantemente y todos los aspectos del sistema, incluidas sus indicaciones, están expuestos a los usuarios.

La integración de la IA en el REF debe adherirse a sólidos principios de gobernanza, lo que requiere una supervisión independiente por parte de expertos en ética y responsabilidad. El sistema proporcionaría métricas exhaustivas de incertidumbre y detección de alucinaciones, con cada operación automatizada registrada, probada contra sesgos y totalmente rastreable. Un entorno de pruebas con una API pública permitiría auditorías externas y que las instituciones probaran las presentaciones con antelación, eliminando el incentivo de desarrollar herramientas internas sin verificar y reduciendo los costos del sector.

¿Suena esto a ilusiones o a ciencia ficción? Nosotros, los autores, ya hemos creado plataformas de IA reguladas para la investigación farmacéutica y los expedientes regulatorios que han satisfecho a auditores y científicos. Los componentes de ingeniería pueden estar listos en cuestión de meses. El mayor desafío es la consulta que define el alcance detallado, la tolerancia al riesgo, los registros de auditoría, los derechos de acceso y las métricas de rendimiento. Garantizar una interacción temprana con los usuarios, los reguladores independientes y los equipos de gobernanza de datos consolida la plataforma en la política y la hace resistente al escrutinio. Si alguna plataforma de IA ha de ser relevante para el REF 2029, es el momento de actuar.

Una plataforma de IA auditada y que abarque todo el sector defendería los valores del REF 2029, reduciría los costes administrativos y liberaría a los académicos para una verdadera evaluación intelectual. La tecnología está lista; lo que queda es la determinación colectiva y una gobernanza disciplinada. Como advirtió Christian Lous Lange en 1921: «La tecnología es un sirviente útil, pero un amo peligroso».

Caroline Clewley es futurista de IA en el Imperial College de Londres . Asesora sobre la integración de la IA generativa en la educación y dirige el programa insignia del Imperial College, I-Explore. Lee Clewley es vicepresidente de IA en eTherapeutics, una empresa de descubrimiento de fármacos, y anteriormente fue director de IA aplicada en GlaxoSmithKline e investigador postdoctoral en la Universidad de Oxford .

La naturaleza de “caja negra” de GenAI se opone a la transparencia esencial para legitimar la evaluación académica .

Caroline Clewley is an AI futurist at Imperial College London, advising on the integration of generative AI into education, and leads Imperial’s flagship I-Explore programme. Lee Clewley is vice-president of AI at eTherapeutics, a drug discovery company, and was formerly head of applied AI at GlaxoSmithKline and a postdoctoral researcher at the University of Oxford.

A medida que la comunidad de educación superior del Reino Unido mira hacia el REF 2029, el debate se ha centrado inevitablemente en la posibilidad de incorporar herramientas de IA generativa en el proceso. Si bien algunos comentaristas, como Richard Watermeyer y Lawrie Phipps , argumentan que usar GenAI para el REF es una solución obvia que podría ayudar a reducir las considerables cargas financieras y laborales que la presentación de solicitudes impone actualmente al sector, esto no aborda adecuadamente las importantes preocupaciones que plantea dicho uso de la IA. 

El anterior ejercicio REF costó a las universidades un promedio de 3 millones de libras esterlinas cada una en preparativos. La inversión en tiempo del personal fue igualmente cuantiosa: se revisaron 185.594 resultados de investigación y 6.871 estudios de caso de impacto , lo que exigió incontables horas de académicos y personal de servicios profesionales. 

Con una demanda tan intensiva de recursos, es comprensible que las instituciones que se preparan para el REF 2029 consideren si GenAI podría optimizar este proceso para reducir costos y tiempo del personal. Dada la gran cantidad de investigación en la que ya se han entrenado estas herramientas de IA, la necesidad de garantizar un proceso de revisión estandarizado y basado en criterios, libre de subjetividad y aplicado de forma consistente, por no mencionar la eficiencia de la IA en comparación con un revisor humano, puede parecer una obviedad. 

Sin embargo, los beneficios aparentes que GenAI puede aportar a las instituciones en términos de velocidad, eficiencia y reducción de costos se ven eclipsados ​​por el daño potencial a aquellos ya marginados dentro de las instituciones y el riesgo de arraigar los sesgos existentes.  

El uso de GenAI también plantea profundas preguntas sobre la autenticidad y el valor de la dimensión humana en la evaluación de la investigación. ¿Qué ocurre con las consideraciones de experiencia vivida, posicionamiento y autoconciencia cuando la IA se convierte en el evaluador? ¿Cómo explicamos la comprensión matizada del sesgo inconsciente tanto en la realización como en la revisión de la investigación? 

Para que GenAI funcione eficazmente en los procesos de envío de REF, se deben cumplir varias condiciones críticas: 

1. Las universidades necesitarían desarrollar LLMs especialmente diseñados en lugar de depender de herramientas comerciales GenAI, asegurando la alineación con los objetivos específicos del REF y los estándares académicos. 
2. Los datos de entrenamiento requerirían una selección meticulosa para proporcionar bases de conocimiento diversas, reconociendo y ajustándose a las inconsistencias y sesgos en la comunicación académica.
3. Sería necesario diseñar algoritmos explícitamente para tener en cuenta la inequidad sistémica en el financiamiento de la investigación, las decisiones de promoción, la antigüedad, la asignación de carga de trabajo y los compromisos institucionales no relacionados con la investigación, todos los cuales influyen en los resultados y, por ende, en quién es el trabajo que se presenta al REF en primer lugar.
4. Los sistemas tendrían que reconocer y tener en cuenta los sesgos documentados en la evaluación académica, incluidos los patrones de citas que favorecen a determinados grupos demográficos y disciplinas.
5. La programación debería hacer caso omiso de factores potencialmente sesgados, como las métricas, el lugar de publicación, el género, la afiliación departamental y la posición académica, y también evitar la inferencia indirecta a través del análisis del estilo de escritura, los patrones lingüísticos o la selección de temas que podrían servir como señales proxy de la información demográfica.
6. El diseño debería evitar el sesgo temporal, donde los temas con menos representación histórica serían evaluados como menos significativos simplemente porque tienen menos precedentes en la literatura, perjudicando temas emergentes o áreas de investigación previamente marginadas. 
7. Los criterios de evaluación deberían reconocer la idoneidad variable de la evaluación de la IA en las distintas disciplinas, reconociendo que la investigación STEM podría evaluarse de manera más directa que los estudios de humanidades o el trabajo interdisciplinario que requiere una comprensión contextual matizada.
8. La implementación debería equilibrar la transparencia con la opacidad para mantener la confianza y al mismo tiempo evitar la manipulación del sistema.

Si bien teóricamente son posibles, estos sofisticados sistemas de IA para el REF 2029 presentan desafíos prácticamente insuperables. El desarrollo de herramientas de IA a medida que mitiguen los sesgos requeriría una inversión sustancial e inmediata por parte de las universidades. Los recursos financieros necesarios probablemente superarían los ahorros de costes que hacen que GenAI sea inicialmente atractiva, incluso con la colaboración de todo el sector. 

El uso de herramientas comerciales de IA entrenadas con literatura académica existente corre el riesgo de amplificar las desigualdades en la evaluación académica y comprometer la legitimidad del REF como proceso impulsado académicamente. Este enfoque externalizaría la responsabilidad académica a empresas externas cuyas prioridades difieren de los valores que sustentan la evaluación de la investigación. 

Existe una discrepancia fundamental entre las herramientas comerciales de IA y las necesidades de evaluación académica. Las herramientas comerciales priorizan la participación del usuario, la personalización, la generalización y la aplicación comercial, por encima del rigor académico, los matices disciplinarios y la transparencia. Sus datos de entrenamiento incluyen una gran cantidad de contenido de internet que difícilmente refleja los estándares académicos (y mucho menos su nivel de sesgo, o incluso su ilegalidad absoluta), y su naturaleza de “caja negra” se opone a la transparencia y la rendición de cuentas esenciales para una evaluación académica legítima.  

Si bien las presiones financieras y de tiempo hacen atractivas las soluciones basadas en IA, actualmente faltan los elementos clave necesarios para una implementación eficaz y justa de GenAI en los procesos de REF. Sin una inversión considerable en sistemas diseñados específicamente para contrarrestar los sesgos académicos, las herramientas GenAI corren el riesgo de acelerar y consolidar un sistema conservador que privilegiará aún más las tradiciones de investigación establecidas, a la vez que perjudica sistemáticamente la innovación y la diversidad en la investigación académica, precisamente lo contrario de lo que la evaluación de la investigación debería fomentar. 

Caroline Ball es bibliotecaria académica (negocios, derecho y ciencias sociales) en la Universidad de Derby .