¿Quién vigila a los vigilantes? El caso de ChatGPT como evaluador de artículos en revistas especializadas

 

 

 

Por David Carabantes*, José L. González Geraldo** y Gonzalo Jover* 

*Universidad Complutense de Madrid

**Universidad de Castilla La Mancha

Palabras clave: ChatGPT, inteligencia artificial generativa, evaluación, revistas

 

Si hace no mucho alertábamos del peligro que entraña el concepto de “ventana contextual” en toda esta amalgama de inteligencias artificiales que nos vienen sepultando desde hace meses (Jover, Carabantes y González-Geraldo, 2023), hoy ponemos sobre la mesa los resultados de una reciente investigación, publicada en El Profesional de la Información (EPI), en la que evidenciamos, precisamente, entre otros asuntos, este claro límite de los modelos de lenguaje generativos (Carabantes, González-Geraldo y Jover, 2023).

Con ella, hemos querido explorar el potencial de la Inteligencia Artificial (IA) para actuar como revisora de artículos académicos reales, ya publicados, participando así en un proceso clave en la comunicación científica. De esta forma, pusimos a prueba dos modelos basados en la arquitectura de ChatGPT (3.5 y 4) para evaluar hasta qué punto podrían desempeñarse como revisores en un hipotético proceso de revisión ciega por pares.

Utilizando diferentes plataformas (ChatPDF y Bing), obtuvimos tres revisiones completas (cuantitativa y cualitativa) de cada uno de los cinco artículos sometidos, todos ellos previamente enviados y evaluados por la misma revista: Bordón. Revista de Pedagogía. Las revisiones de IA, realizadas siguiendo la misma plantilla que siguieron en su momento los revisores humanos, fueron comparadas con las evaluaciones que estos expertos hicieron originalmente de los mismos trabajos. Unas revisiones, por cierto, con mucha mayor profundidad y sentido que las que se han conseguido a través de esta simulación.

Nuestros resultados apuntan en dos direcciones principales, de momento encontradas, pero no necesariamente enfrentadas. ChatGPT, así como otros modelos como Claude, sin duda pueden actuar como revisores. La mala o buena noticia, según se mire, es que todavía actúan de manera deficiente, siendo imprescindible la supervisión e interpretación humana en todo momento.

En este sentido, encontramos serias e importantes limitaciones en la capacidad actual de la IA. Problemas como las ya conocidas “alucinaciones”, derivadas en parte del límite contextual ya aludido, nos impiden confiar únicamente en la IA para tomar decisiones editoriales. Como ya avanzamos en el propio abstract del artículo: “Las evidencias encontradas ponen de relieve hasta qué punto podemos y debemos confiar en los modelos de lenguaje generativos para sostener nuestras decisiones como expertos cualificados en nuestro campo”.

Sin embargo, no todo es negativo ni, por supuesto, sirve como excusa a un reaccionario planteamiento de rechazo de estas herramientas. Nuestra investigación también destaca el gran potencial de la IA como asistente en el proceso de revisión. Sin poder sustituirnos, nada impide que no pueda ayudarnos. Así, bajo condiciones controladas y con consultas específicas, los modelos generativos pueden proveer retroalimentación útil sobre aspectos formales y de contenido de un manuscrito. El problema no es tanto la herramienta como el uso que, como supervisores cualificados, hagamos de ella. Por lo que destacamos como conclusión que

asumiendo que estos modelos de lenguaje son esencialmente conservadores, debido a su entrenamiento inicial no supervisado, y que, además, han sido afinados para no ser hirientes y presentar de una manera neutra los temas que puedan ser controvertidos, estamos ante una herramienta con la que, salvo errores de identificación, todo artículo mínimamente organizado obtendría una decisión final positiva, sobre todo en cuanto a la perspectiva cuantitativa se refiere.

Con otras palabras, incluso acertando en la respuesta, estas suelen ser respuestas dirigidas al agrado y no a la crítica, al roce o la fricción que todo autor espera de un revisor comprometido con la mejora del manuscrito.

Por lo dicho, entre otros hallazgos, llegamos a la conclusión de que la automatización total de la revisión por pares a través de IA está aún lejos de ser una realidad. Al menos si queremos asegurar un mínimo de calidad y coherencia en los resultados obtenidos. Sin embargo, al mismo tiempo hemos observado un gran potencial en el uso responsable de estas tecnologías como apoyo y asistencia a editores y revisores humanos. Tal y como suscribimos en el artículo

creemos oportuno abrazar la realidad de la IA para examinar la intersección que existe entre la inevitabilidad de su advenimiento y la posibilidad de asumir sus potencialidades, al tiempo que minimizamos sus puntos débiles, en especial los que atañen a la ética (Crawford et al., 2023) y a la integridad académica (Perkins, 2023; Chomsky et al., 2023).

La investigación, de paso, nos ha permitido valorar la fortaleza de los procedimientos de las revisiones por pares que se realizan en publicaciones como Bordón. Revista de Pedagogía. Como apuntábamos, salvo alguna excepción, la comparación de las revisiones humanas que se hicieron de los artículos y las que produce la inteligencia artificial, revelan el rigor y consistencia de las primeras. Nada raro ni distinto a lo esperado, pues la elección de la revista garantizaba de antemano un proceso de revisión ciega por pares serio, sistemático y de calidad, motivo por el que debemos felicitar a su equipo.

Fuente de la imagen: Pexels

Con esta simple pero interesante investigación contribuimos al debate en curso sobre el rol de la IA en la educación superior, en especial en cuanto a las tareas de diseminación, publicación y transferencia de conocimiento se refiere. Para ello, el artículo detalla los pros y contras de los modelos evaluados, aportando una visión útil sobre el estado actual de esta tecnología, tan emergente como desbordante. Si bien los revisores humanos siguen siendo completamente indispensables, la IA de lenguaje generativo es ya una realidad que puede convertirse en una muy poderosa herramienta complementaria para la investigación y su difusión, siempre que sea responsable y competentemente utilizada.

Por todo lo dicho, animamos a la comunidad académica y científica a reflexionar sobre cómo y hasta qué punto podemos y/o debemos integrar eficientemente la IA de manera ética y prudente en nuestros quehaceres diarios, en este caso como revisores de trabajos especializados. Un aspecto que bien puede extrapolarse a otros formatos: ensayos, TFG/TFM, Tesis Doctorales, etc., creando una siempre bienvenida sinergia entre docencia e investigación. Como firmemente creemos, hoy la universidad, como institución de educación superior, ha de responder con prudencia, pero también con decisión, a los desafíos y oportunidades que ante nosotros, queramos o no, la IA nos ofrece.

Referencias

Carabantes, D., González-Geraldo, J. L., y Jover, G. (2023). ChatGPT podría ser el revisor de tu próximo artículo científico. Evidencias de los límites de las revisiones académicas asistidas por Inteligencia Artificial. El Profesional de la Información, 32(5). e320516. https://doi.org/10.3145/epi.2023.sep.16

Chomsky, N., Roberts, I., y Watumull, J. (2023). The False Promise of ChatGPT. The New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

Crawford, J., Cowling, M., y Allen, K. A. (2023). Leadership is needed for ethical ChatGPT: Character, assessment, and learning using artificial intelligence (AI). Journal of University Teaching & Learning Practice, 3(1). https://doi.org/10.53761/1.20.3.02

Jover, G. Carabantes, D. y González-Geraldo, José L. (2023). Asomándonos a la ventana contextual de la Inteligencia Artificial: decálogo de ayuda para la identificación del uso de ChatGPT en textos académicos. Aula Magna 2.0 [Blog]. https://cuedespyd.hypotheses.org/13299

Perkins, M. (2023). Academic Integrity considerations of AI Large Language Models in the post-pandemic era: ChatGPT and beyond. Journal of University Teaching & Learning Practice, 20(2). https://doi.org/10.53761/1.20.02.07

Cómo citar esta entrada:

Carabantes, David; González Geraldo, José L. y Jover, Gonzalo (2023). ¿Quién vigila a los vigilantes? El caso de ChatGPT como evaluador de artículos en revistas especializadas. Aula Magna 2.0 [Blog]. https://cuedespyd.hypotheses.org/14407

---

---