Por José Luis García Boyé[i]
Secretario Técnico de RIED
Palabras clave: RIED, altmetrics, IA-métricas, impacto científico, evaluación de la investigación, ciencia abierta, educación
Durante décadas, la medición del impacto académico se ha basado sobre todo en indicadores bibliométricos como el factor de impacto (FI) de las revistas y el índice h. Aunque útiles para la gestión institucional, estos instrumentos han sido cuestionados por reproducir sesgos disciplinares y desviar los incentivos hacia estrategias cuantitativas de publicación, tal como denuncia la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA, 2012).
La expansión de la ciencia abierta y la digitalización de la comunicación científica han puesto de relieve la necesidad de métricas más ágiles, diversas y contextualizadas, capaces de capturar la interacción con públicos no académicos y el uso de la investigación en políticas públicas (Priem et al., 2010). A partir de esta idea surgieron primero las altmetrics y, más recientemente, las IA-métricas, que emplean procesamiento del lenguaje natural y aprendizaje automático para evaluar no solo la atención recibida, sino también la calidad interna y la reutilización algorítmica del conocimiento (Urs, 2025).
Altmetrics y el nacimiento de una nueva generación de métricas
Las altmetrics surgieron en la última década como respuesta a las limitaciones de la bibliometría tradicional, con el propósito de medir formas alternativas de atención y circulación científica en entornos digitales (Priem et al., 2010). A través del rastreo de menciones en redes sociales, blogs, medios, gestores de referencia y documentos de políticas públicas, estas métricas permiten observar señales tempranas de visibilidad, diálogo y uso de la investigación, más allá de la cita formal.
Plataformas como Altmetric.com y PlumX han consolidado este enfoque, integrando fuentes de datos diversas (tweets, noticias, Wikipedia, Mendeley, etc.) que han demostrado su utilidad en temas de alto interés social, ciencia interdisciplinaria y evaluación en contextos no académicos (Karmakar et al., 2021).
No obstante, la primera década de uso intensivo evidenció límites importantes: la cobertura varía entre disciplinas, las señales son susceptibles de manipulación y la transparencia sobre los algoritmos de agregación sigue siendo parcial (Thelwall, 2020). Estos problemas han impulsado la transición hacia las IA-métricas.
¿Qué son las IA-métricas?
La expansión de la inteligencia artificial (IA) como tecnología transversal ha abierto la puerta a una generación de indicadores de impacto científico, las IA-métricas, capaces de valorar aspectos que escapan a la bibliometría clásica y a las altmetrics.
Estas herramientas miden la atención recibida y permiten rastrear cómo el conocimiento se construye, circula, se transforma y se aplica en entornos tanto humanos como algorítmicos. Su potencial reside en analizar, con técnicas de procesamiento del lenguaje natural y aprendizaje automático, distintos niveles de impacto, desde la solidez metodológica hasta la adopción práctica, aportando así una visión más rica y matizada de la influencia real de la investigación.
Las IA-métricas pueden ofrecer una mirada en tres niveles complementarios:
- Calidad interna: Herramientas automatizadas permiten revisar la solidez metodológica de los estudios: detectan posibles sesgos, estiman la potencia estadística y señalan omisiones en la descripción de procedimientos clave. Este tipo de análisis aporta a autores, editores y revisores una evaluación preliminar de la robustez de la investigación. Entre los desarrollos más relevantes se encuentran modelos como RoBIn, que infiere el riesgo de sesgo mediante lectura automatizada, los LLMs especializados en identificar deficiencias metodológicas, y herramientas como Statcheck, que verifican la consistencia de los resultados estadísticos reportados..
- Influencia contextual: Modelos semánticos permiten medir la distancia temática de un trabajo respecto al conocimiento acumulado y clasificar el tipo de citas que recibe (por ejemplo, si lo apoyan, lo refutan o lo aplican). Esto ayuda a diferenciar entre una notoriedad superficial y un aporte conceptual profundo, aclarando la trayectoria intelectual de un artículo dentro de su campo. Algunas iniciativas que exploran estas capacidades son scite.ai, que analiza el contexto de las citas; Semantic Scholar, con modelos que identifican relaciones conceptuales; y asistentes como Elicit o Consensus, que sintetizan argumentos a partir de literatura científica.
- Uso aplicado: Los rastreos automáticos permiten identificar cómo la producción científica se incorpora a políticas públicas, patentes, sistemas de inteligencia artificial o plataformas educativas. Estos registros aportan evidencia sobre la adopción práctica del conocimiento y su circulación más allá del ámbito académico. Algunas herramientas en desarrollo que exploran esta dimensión son Overton.io, que rastrea referencias en documentos normativos; Dimensions.ai, con enlaces entre publicaciones y registros de innovación; y Altmetric Explorer, que visibiliza menciones en contextos sociales y aplicados.
Todos estos datos tienden a organizarse en tableros interactivos que priorizan la trazabilidad: permiten, por ejemplo, acceder directamente al pasaje del artículo donde se detecta un sesgo metodológico o al fragmento en el que una cita es clasificada como refutación. Esta lógica de transparencia está siendo adoptada por plataformas como scite.ai, que ya permite visualizar el contexto exacto de cada cita y su clasificación. De este modo, las IA-métricas amplían la visión del impacto científico y fortalecen la transparencia y la auditoría humana, fomentando una ciencia más rigurosa, pertinente y orientada al uso real.
Fuente: Imagen generada por Midjourney.
IA-métricas en investigación educativa: oportunidades editoriales
Las IA-métricas representan una oportunidad importante para las revistas científicas del ámbito educativo, ya que permiten rastrear huellas de impacto más allá del circuito académico tradicional.
Estas nuevas métricas intentan calibrar cómo los hallazgos de un artículo son reinterpretados, parafraseados o incluso citados por sistemas de inteligencia artificial en interacciones con docentes, estudiantes y profesionales de la educación. Este fenómeno amplía la noción de visibilidad y uso, incluyendo entornos algorítmicos donde la investigación circula y se aplica de formas inéditas.
Asistentes inteligentes como ChatGPT, Scite Assistant o Elicit están comenzando a referenciar literatura educativa cuando responden preguntas, generan recomendaciones o resumen artículos. En estos casos, cada vez que un LLM menciona, cita o sugiere un trabajo indexado, se produce una señal de uso potencialmente valiosa. Aunque aún no existe un estándar consolidado para contabilizar este tipo de impacto, iniciativas como Scite ya exploran formas de rastrearlo y reportarlo.
Para editores de revistas, esta dinámica abre una posibilidad concreta: incorporar métricas de uso por IA en los informes a autores, complementando las tradicionales. Por ejemplo, un artículo podría no tener muchas citas formales, pero haber sido citado cientos de veces en respuestas generadas por un asistente educativo en IA. Esta métrica podría ser interpretada como una forma de “impacto aplicado”, útil para destacar investigaciones de alto valor práctico o didáctico.
Uno de los aportes más significativos de las IA-métricas en el campo educativo es su capacidad para rastrear la transferencia del conocimiento hacia la práctica docente. Si un artículo sobre estrategias inclusivas aparece frecuentemente citado o parafraseado en respuestas de IA consultadas por maestros, eso indica una penetración real en el aula. Las revistas que puedan demostrar este tipo de influencia práctica estarán mejor posicionadas para dialogar con políticas públicas, justificar financiamiento y fortalecer su perfil institucional.
Los editores pueden comenzar a prepararse para este nuevo ecosistema mediante algunas acciones estratégicas:
- Asegurar la indexación y apertura de contenidos: los artículos accesibles vía web abierta, con resúmenes estructurados y metadatos enriquecidos, tienen más probabilidades de ser “leídos” por modelos de IA.
- Explorar la integración con plataformas de IA: establecer colaboraciones con iniciativas como Scite, OpenAlex o ScholarAI para rastrear menciones automáticas de artículos publicados en la revista.
- Desarrollar informes de impacto extendido: incluir en los tableros editoriales datos como “referencias por asistentes de IA” o “presencia en resúmenes automatizados”, que reflejen el uso algorítmico de los contenidos. Aunque estas métricas aún no están plenamente disponibles, conviene identificar desde ahora posibles indicadores y fuentes, mantenerse al tanto de su evolución y preparar a la revista para integrarlos cuando se consoliden.
Retos, ética y futuro
La llegada de las IA-métricas a la evaluación científica abre un panorama tan prometedor como arriesgado. El primer obstáculo es la opacidad algorítmica: buena parte de estos sistemas funciona como una “caja negra”, lo que dificulta comprender por qué ciertos artículos reciben determinada puntuación. Sin mecanismos claros de auditoría y explicabilidad, la confianza de la comunidad puede resentirse.
Otro reto clásico, las alucinaciones de referencias, muestra signos de rápida mejora. Estudios recientes indican que los modelos de última generación han reducido de forma significativa la tasa de citas inventadas en comparación con sus primeras versiones públicas (Tilawat, 2025). Esta evolución se ve reforzada por herramientas como Deep Research, que incorporan mecanismos avanzados de verificación automática de fuentes en modelos desarrollados por OpenAI (2025) y Google Gemini (s.f.). Según DeepResearch.cc (2025), estas plataformas reportan altos niveles de precisión: un 97 % en el caso de OpenAI y un 95 % para Gemini.
Persiste además el riesgo de un nuevo tipo de gaming, en el que autores optimicen sus textos para atraer al algoritmo en lugar de servir al lector humano. Esa tensión entre rigor epistemológico y estrategias técnicas demanda principios éticos robustos, auditorías externas y estándares comunes que desincentiven prácticas oportunistas, en línea con los principios de evaluación responsable de la investigación propuestos por iniciativas como el Manifiesto de Leiden (Hicks et al., 2015) y el informe The Metric Tide (Wilsdon et al., 2015).
Pese a todo, las oportunidades son evidentes: las IA-métricas permiten integrar dimensiones sociales, técnicas y algorítmicas en un único marco de análisis, enriqueciendo la revisión por pares, afinando los informes editoriales y ofreciendo a los financiadores una visión más precisa del impacto real de la ciencia.
Para materializar este potencial se requiere una colaboración fluida entre desarrolladores de IA, comunidades de investigación y organismos evaluadores.
Las IA-métricas abren nuevas vías para medir el impacto de la investigación educativa más allá de las citas. Adoptarlas con criterio ético y visión crítica será clave para el futuro de las publicaciones científicas.
Referencias:
DeepResearch.cc. (2025). OpenAI vs Google Gemini Deep Research Comparison 2025 | Complete Analysis. Recuperado de https://deepresearch.cc/
DORA. (2012). San Francisco Declaration on Research Assessment (DORA). https://sfdora.org/read/
Google Gemini. (s.f.). Gemini Deep Research — your personal research assistant. Recuperado de https://gemini.google/overview/deep-research/
Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431. https://doi.org/10.1038/520429a
Karmakar, M., Banshal, S. K., & Singh, V. K. (2021). A large-scale comparison of coverage and mentions captured by the two altmetric aggregators: Altmetric.com and PlumX. Scientometrics, 126(5), 4465-4489. https://doi.org/10.1007/s11192-021-03941-y
OpenAI. (2025). Introducing Deep Research. Recuperado de https://openai.com/index/introducing-deep-research/
Priem, J., Taraborelli, D., Groth, P., & Neylon, C. (2010). Altmetrics: A Manifesto. https://altmetrics.org/manifesto
Thelwall, M. (2020). The pros and cons of the use of altmetrics in research assessment. Scholarly Assessment Reports, 2(1), 2. https://doi.org/10.29024/sar.10
Tilawat, M. (2025). AI Hallucination Report 2025: Which AI Hallucinates the Most? AllAboutAI.com. https://www.allaboutai.com/resources/ai-statistics/ai-hallucinations/
Urs, S. (2025, 13 marzo). LLMs, AI, and the future of research evaluation: A conversation with Mike Thelwall on informetrics and research impact. Information Matters, 5(3). https://informationmatters.org/2025/03/llms-ai-and-the-future-of-research-evaluation-a-conversation-with-mike-thelwall-on-informetrics-and-research-impact/
Wilsdon, J., Allen, L., Belfield, H., Curry, S., Hill, J., Jones, R., Kain, R., Kerridge, S., Thelwall, M., Tinkler, J., Viney, I., Wouters, P., Hill, J., & Johnson, B. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE.
Cómo citar esta entrada:
García Boyé, José Luis (2025). Altmetrics e IA-métricas como indicadores emergentes del impacto científico. Aula Magna [Blog]. https://cuedespyd.hypotheses.org/19124
[i] Ingeniero Técnico Superior de Telecomunicación por la Universidad Politécnica de Madrid. Colaborador de la Cátedra UNESCO de Educación a Distancia y administrador de la Lista Cuedistancia desde 2002, administrador técnico y tutor de los cursos del Máster de Educación a Distancia de la UNED (2000-2006) y Secretario Técnico de RIED en la actualidad.
OpenEdition le sugiere que cite este post de la siguiente manera:
Aula Magna 2.0 (20 de junio de 2025). Altmetrics e IA-métricas como indicadores emergentes del impacto científico. Aula Magna 2.0. Recuperado 12 de mayo de 2026 de https://doi.org/10.58079/145uh


