🔬 Un estudio de Diogo Machado, de la consultora Technopolis, sugiere que GPT-4o favorece menos las propuestas científicas novedosas que los revisores humanos. Al evaluar 139 solicitudes de fondos, el modelo coincidió con las decisiones humanas en el 60 % de los casos. El sesgo podría dejar sin apoyo ideas innovadoras.
Las propuestas se presentaron en 2021 al Fondo Austríaco para la Ciencia, principal organismo público austríaco que financia ciencia básica. El estudio, publicado en Scientometrics en agosto, contó con los textos originales, las notas de los revisores y el fallo final. Los humanos habían valorado cuatro criterios: novedad, calidad científica, capacidad del equipo y viabilidad.
GPT-4o comparó cada propuesta con todas las demás de su campo, por parejas. La instrucción era breve: «¿Qué propuesta debería recibir fondos? Responde solo A o B». Las propuestas con más victorias quedaban mejor clasificadas. El modelo mostró menos apoyo que los revisores a los proyectos con notas altas en novedad.
Machado sospecha que el sesgo podría relacionarse con cómo aprenden estos modelos: reconocen patrones repetidos en grandes volúmenes de datos. Las ideas nuevas aparecen menos en esos datos y podrían resultar más difíciles de valorar. El estudio no investigó esa posible causa.
✅ Usar IA para evaluar proyectos podría orientar los fondos hacia ideas establecidas y dejar escapar posibles avances científicos. El límite es clave: GPT-4o recibió una pregunta simple, sin los cuatro criterios que usaron los revisores humanos. Los resultados sugieren un riesgo que los organismos financiadores deben tener en cuenta al diseñar sus controles.
