Las Fake Metrics: No es oro todo lo que reluce o impacta

 

Por  José Sánchez-Santamaría1 y Francisco M. Aliaga2

 

 

1 Responsable de Redes Sociales de RELIEVE. Universidad de Castilla La Mancha2 Director de RELIEVERevista ELectrónica de Investigación y EValuación Educativa. Universidad de Valencia (UV)

 La mentira forma parte de la condición humana. Smith (2004) nos advierte que la mentira se vincula con nuestra evolución como especie, asociada al desarrollo de la inteligencia, y que las personas mentimos para sacar provecho de una situación, en el sentido de que nos aporta un beneficio, poder, estatus o dinero, entre otras cosas. Señala Smith que mentir no es solo no decir la verdad, también implica acciones como ocultar la información o manipular las condiciones de comunicación para influir en cómo recibe el emisor una información, aunque sea cierta.

El 30 de octubre de 1938, los y las oyentes de las Intercontinental Radio News dirigido por Orson Wells, en torno al minuto 25 del programa, escucharon esta comunicación del locutor 3:

Señoras y señores, tengo el deber de comunicarles algo sumamente importante. De las observaciones de tipo científico, así como de nuestros propios datos recabados, no hay duda alguna, aunque esto pueda parecer inverosímil, que los extraños seres que han ocupado esta noche, los campos y poblaciones de Jersey, son la vanguardia de un ejército invasor alienígena procedente del planeta Marte”. (Wells, adaptación de Álvarez, s/f).

No había duda: la comunicación alertaba de que la Tierra, en este caso Jersey (USA), había sido invadida por extraterrestres procedentes de Marte. Sin embargo, todo se desinfló (más o menos) cuando al final del programa de radio se desveló que se trataba de una ficción simulada. Esto evidenció como una mentira o cosa que no es verdad, en condiciones concretas puede asumir el estatus generalizado de creíble. El problema es que no siempre es fácil contar con criterios adecuados para identificar en qué grado se está adulterando o tergiversando la información para que parezca lo que no es.

En la actualidad, la falta de comprobación de la información y la fácil difusión que permiten la redes, combinado con una clara intención por parte de quién comunica, han dado como resultado la proliferación de afirmaciones falsas o pos-verdad, en las que el mito de la verdad ilusoria o el efecto Mandela han puesto de relieve como, incluso hechos ocurridos, pero si contados son recordados como que si no ocurrieron o al contrario (Akhtar, Justice, Morrison & Conway, 2018). Hace apenas dos días, un famoso futbolista en su cuenta de twitter afirmaba que el hombre no había pisado la luna, y en torno a 120.000 seguidores y seguidoras estaban de acuerdo con esta afirmación falsa. Poco después rectificó, y quedó en un error humano, lo que lo excluye de la categoría de mentira intencionada.

Asistimos pues, a un fenómeno antiguo, complejo pero muy presente en nuestro día a día, y ante el cual la producción científica a través de sus medios de comunicación y difusión no es ajena, máxime cuando la esencia de la investigación científica es falsear los resultados obtenidos, de tal modo que toda investigación debe estar basada en el principio de replicabilidad, lo que requiere de ciertas condiciones propias del método científico. Cuando en 1665 Oldenburg crea la revista, Philosophical Transactions, intentaba dar respuesta a dos problemas vinculados con el registro de la autoría de la contribución, así como garantizar cierto grado de validez y rigor de las mismas (Mabe, 2010), con las cautelas propias del desarrollo del método científico en esa época.

Pero desde esa fecha hasta la actualidad, hemos asistido a un avance sin precedentes en la producción de la investigación científica, acompañando a un enorme incremento de la producción científica. En este contexto, la preocupación por la calidad de la investigación publicada en las revistas científicas también ha experimentado un notable interés y desarrollo, a fin de dar respuesta a las exigencias de rigor que requiere toda contribución científica que se quiera comunicar, pero también el reconocimiento público del aporte de un o una investigadora al saber universal.

Atentos a esta necesidad ha emergido un provechoso mercado editorial, así como alternativas no comerciales auspiciadas por asociaciones científicas o entidades de investigación públicas o privadas, preocupadas por contar con revistas científicas de solvencia contrastada, como sinónimo de buena ciencia, basadas en criterios muy exigentes para aceptar la publicación de contribuciones relevantes en formato de artículo. Casos como Nature o Science, con tasas de rechazo del 95% son un ejemplo.

Pero a la luz de este mercado, han surgido como malas hierbas las denominadas Predatory Journals (Beall, 2010, 2012). Se trata de revistas que hacen uso de sistemas de evaluación de impacto fraudulentos, o cuanto menos que presentan serias dudas sobre su calidad, así como de toda una panoplia de engaños, haciendo uso incluso de comités editoriales falsos (Sorokowski, Sorokowski & Pisanski, 2017). Este tipo de revistas han experimentado un notable aumento en el marco del Scholarly Open Access (Beall, 2010), que tanto representa para la socialización y democratización del conocimiento científico, aunque dentro del Gold Open-Access Model (Jiménez-Contreras & Jiménez-Segura, 2016), cuestionando criterios éticos y de rigor científico sobre lo que publican y sobre cómo se evalúa el impacto de lo publicado.

Veamos cómo operan estas revistas. Un día cualquiera, abres tu correo electrónico, y entre los mensajes recibidos, te ha llegado uno de una revista internacional en inglés, con un nombre sugerente: International Journal of… o American Journal of… o Higher Education… -como se ve muy similar a títulos de revistas de referencia y de prestigio en nuestra área de conocimiento-.  El texto recoge una invitación expresa para participar en un número monográfico, pudiendo incluir incluso una invitación para unirte al Editorial Board o al Reviewer Board. Despierta el interés, en buena medida porque todos y todas sabemos las elevadas exigencias para formar parte de un comité editorial internacional, y mucho más si te hacen una invitación personal a publicar tu trabajo, que en algunos casos incluso, informan de que conocen y valoran tu excelente trayectoria investigadora. Sigues leyendo y tu interés aumenta cuando te dicen que tu trabajo puede estar evaluado y publicado en menos de 1 mes. Esto, en comparación con algunas de tus experiencias, puede ser muy alentador, y si además te encuentras en proceso para solicitar una acreditación o evaluación de tu investigación puede ser muy tentador. Pero sigues leyendo, el amable correo del editor que en nombre de la revista te comunica que aceptan originales sin restricciones de enfoque, método, muestra, etc. Todo pinta muy bien, pero llega la frase que puede generar mayor atracción: “The journal is now indexed in four leading databases: Cabell’s, Ulrich’s, EBSCO and SCOPUS. The journal has a high impact factor provided by the Index Copernicus International”.

Este tipo de revistas puede captar nuestra atención, no solo por la presión de tener que publicar en una revista internacional sino porque puede darse el caso  de tener un artículo que cuenta con muchos rechazos. Por tanto, todo parece indicar que es una muy buena oportunidad para publicar tu trabajo.

¿Cuál es el problema? Que si nos dejamos llevar por lo que nos dice el mensaje, e incluso por lo que hay en la web de la revista, es muy probable que estemos siendo engañados, ya que parte de la información es falsa o genera una sensación de calidad que no se ajusta a las exigencias que cuenta con cierto grado de consenso en la Comunidad Científica. De hecho es fácil de verificar: si investigas un poco atisbas que esa revista no está indexada en SCOPUS (quizás lo esté una con nombre muy parecido o incluso con el mismo, pero distinto ISSN: a veces, hasta este código internacional se falsifica). Estas revistas depredadoras cuentan con comités editoriales falsos, hacen uso fraudulento de sistemas de revisión (en el caso de que realmente existan), falsean la valoración del impacto de sus artículos y, aquí el quid de la cuestión, condicionan la publicación del artículo al previo pago. Se trata de una estafa que encuentra su principal cebo para publicar en ellas en las falsas métricas, tal y como ha puesto de manifiesto Beall (2010), quien creó la primera web de referencia para identificarlas y combatir el daño que hacen a la ciencia y a la propiedad intelectual. 

Como hemos dicho, uno de los principales atractivos de estas revistas es el uso de las fake metrics. Se trata de un sistema fraudulento de evaluación (o cuando menos, muy sospechoso), que aporta valoraciones de revistas sin suficiente contraste, verificación ni transparencia. Este tipo de fake metrics son utilizadas fundamentalmente por Predatory Journals (aunque no solo: existen revistas de segundo orden que las emplean para atraer a autores y autoras necesitados de publicar). Con esos sistemas tratan de proyectar una imagen de calidad, impacto y credibilidad, con la intención de generar confianza en el potencial autor o autora, sacando provecho económico desleal de su trabajo, pues las entidades que las utilizan obtienen un beneficio económico sin contribución alguna (suelen ser on-line) y mediante engaño.

Algunos de los sistemas de evaluación que, en esencia, son sospechosos de ser un timo científico (Repiso, 2016) son: GIF -Global Impact Factor-, Cite Factor, Index Copernicus, Impact Factor Journal del International Institute for Research, Inno-Space SJIF, Euroasian Scientific Journal Index, entre otros muchos que pueden ser consulados en esta web: https://predatoryjournals.com/metrics/#A

Lo que queda claro es que ese tipo de revistas usan o crean sistemas de medición del impacto poco transparentes y con escasas evidencias de su validez. Por tanto, en un entorno académico tan competitivo, debemos estar alerta y no caer en esas redes tramposas.

¿Qué criterios podemos utilizar para identificar las fake-metrics? Siguiendo las recomendaciones del espacio web Stop Predatory Journals, combinado con las del International Federation of Library Association and Institutions, al menos podemos tener en cuenta criterios del tipo (Neophytou, 2015):

  • Transparencia del sitio web del sistema de evaluación.
  • Pago para incorporar la revista al sistema de evaluación.
  • Elevación continua con el tiempo de los valores derivados de la evaluación del impacto de la revista, año tras año.
  • Hacen uso de las estadísticas de Google Scholar para calcular la evaluación del impacto de la revista.
  • En el nombre de la entidad se hace uso del término “factor de impacto”.
  • En el caso de que se informe de la metodología de cálculo del impacto es, a todas luces, artificial.

Sea como fuere, conscientes de las presiones, tensiones y cambios en los criterios de evaluación de la carrera profesional y de investigación a la que estamos sometidos como investigadores e investigadoras, y también como editores queda claro que el procedimiento de Think-Check-Submit debe ser algo a tener muy en cuenta a la hora de valorar en qué revista queremos intentar difundir nuestras contribuciones científicas  (Aliaga, Gutiérrez-Braojos & Fernández-Cano, 2018).

Referencias bibliográficas:

Akhtar, S., Justice, L. V., Morrison, C. M., & Conway, M. A. (2018). Fictional first memories. Psychological science, doi: http://dx.doi.org/10.1177/0956797618778831

Aliaga, F.M.; Gutiérrez-Braojos, C., & Fernández-Cano, A. (2018). Las revistas de investigación en educación: Análisis DAFO. Revista de Investigación Educativa, 36(2), 563-579. doi: http://dx.doi.org/10.6018/rie.36.2.312461

Beall, J.  (2010). Predatory Open-Access Scholarly Publishers. The Charleston Advisor, 11(4), 10-17. Recuperado de  http://eprints.rclis.org/14576/

Beall, J. (2012). Predatory publishers are corrupting open access. Nature489 (7415), 179.

Wells, O. (1938). Guión de la Guerra de los Mundos. Guión radiofónico de “La Guerra de los Mundos”. Traducción al castellano con indicaciones para la realización técnica de Jorge Álvarez. Recuperado de http://www.abc.es/gestordocumental/uploads/Cultura/guion_%20espa_%20orson.pdf

Jiménez-Contreras, E., & Jiménez-Segura, J. J. (2016). Las revistas depredadoras, una nueva epidemia científica. Ciencia y Enfermería22(2), 7-12.

n/a (s/f.). List of Misleading and Fake Metrics. Stop Predatory Journals. Recuperado de https://predatoryjournals.com/metrics/#A

Neophytou,  J. (9 de abril de 2015). Fake metrics and how to spot them. Discover the Future of Research. Recuperado de https://hub.wiley.com/community/exchanges/discover/blog/2015/04/09/fake-metrics-and-how-to-spot-them

Repiso, R. (17 de noviembre de 2016). Índices fraudulentos y falsas métricas. Un timo para editores y autores. Comunicar. Escuela de Autores. Recuperado de https://comunicarautores.com/2016/11/17/indices-fraudulentos-y-falsas-metricas-un-timo-para-editores-y-autores/

Smith, D. L. (2004). Why we lie: The evolutionary roots of deception and the unconscious mind. Macmillan.

Sorokowski, P., Sorokowski, A., & Pisanski, K. (2017). Comment. Predatory Journals recruit fake editors. Nature, 543, 481-483. Recuperado de https://www.nature.com/polopoly_fs/1.21662!/menu/main/topColumns/topLeftColumn/pdf/543481a.pdf

Cómo citar esta entrada:

Sánchez-Santamaría, J. & Aliaga, F. (2018). Las Fake Metrics: No es oro todo lo que reluce o impacta. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/4095

Indagando en los ecosistemas de la lectura. ¿De dónde salen los falsos lectores?

 

Por Elisa Larrañaga y Santiago Yubero

Centro de Estudios de Promoción de la Lectura y la Literatura Infantil (CEPLI)

Universidad de Castilla-La Mancha

Desde la perspectiva neoconstructivista el comportamiento es inseparable de las circunstancias culturales en las que el sujeto está inmerso y del contexto donde se ubica (Kahyaoglu y Kirikats, 2014). De este modo, las actividades solo tienen significado si las ubicamos contextualmente dentro de un sistema de relaciones. Sin duda, la lectura es un proceso social porque tiene lugar en contextos sociales y culturalmente organizados; por ello, no podemos dudar que el contexto sociocultural marcará también la actitud hacia la lectura y la relación que estableceremos con ella. De ahí, que se pueda hablar de ecosistemas de la lectura. Al hacerlo, normalmente, hacemos referencia a un conjunto de seres y organismos, y a las relaciones que se establecen entre ellos.

Sigue leyendo

La universidad como tema recurrente

Por  Marta Ruíz Corbella

Editora de Aula Magna 2.0.

Editora Jefe de Educación XX1.

Facultad de Educación (UNED).

 

Hace ya casi una década irrumpió con fuerza la investigación y la publicación de artículos sobre la universidad y todo aquello que rodea a la educación superior: gobernanza, titulaciones, metodología, evaluación, tutoría, rendimiento de los estudiantes, abandono y un largo etcétera. Sin duda, el diseño e implantación del Espacio Europeo de Educación Superior fue uno de los claros detonadores de este renovado interés sobre nuestra institución milenaria. Y a lo largo de estos 8 años, tomando el 2010 como fecha de referencia al ser el año en el que debía estar totalmente implantado este nuevo diseño en los países del EEES, la publicación de trabajos derivados de proyectos de investigación y de innovación educativa ha sido una constante en todas las revistas científicas.

Sigue leyendo

¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015

Por Inmaculada Asensio Muñoz*, Elvira Carpintero Molina*, Eva Expósito Casas** y Esther López Martín**

*Universidad Complutense de Madrid

**Universidad Nacional de Educación a Distancia

 

Desde el inicio de las evaluaciones PISA abundan los estudios que pretenden, en lenguaje metafórico, “separar el oro de la arena”, esto es, producir, de la cantidad ingente de datos recogidos, conocimiento útil que guíe la práctica y las políticas educativas. Pero no son frecuentes las investigaciones que usan técnicas de minería de datos para la extracción de dicho conocimiento. En este trabajo publicado en el número 270 de la Revista Española de Pedagogía se analizan los cuestionarios de contexto desde una perspectiva métrica, con una metodología basada en “árboles de regresión” destinada a descubrir cuánto “oro” hay en los ítems que los componen, atendiendo a su uso como predictores del desempeño de los jóvenes españoles.

Sigue leyendo

De nuevo… JCR 2018

Minientrada

De nuevo… JCR 2018

Esta semana pasada Web of Science (WoS) publicó el listado de revistas que conforman el Journal Citation Reports 2018, en el que se recogen 11655 revistas científicas asignadas a sus dos grandes bases de datos: Science Citation Index y Social Science Citation Index. Entre ambas abarcan 234 áreas de conocimiento en el que están presentes publicaciones de 80 países. 276 revistas han obtenido por primera vez su Factor de Impacto reflejado en esta edición del JCR, a la vez que 20 revistas han sido eliminadas. 14 por elevados niveles de autocitación y 6 por lo que denominan ‘cartel de citas‘, es decir, revistas o editores que establecen una red de citación entre si. 

Sigue leyendo

Mi revista en la red… twitter como medio de difusión

 Por Blanca Arteaga-Martínez

Universidad de Alcalá

Coeditor Aula Magna 2.0

 

El entorno de publicación de las revistas ha de tener en cuenta cada vez más factores que faciliten las “reglas de competición”. Las métricas científicas están cambiando de manera constante gracias a los formatos de difusión, por lo que nuestro objetivo no es únicamente investigar y publicar como lo fue en otra época no tan lejana, sino también la acción posterior que condiciona todo lo sucedido en pasado y en futuro: su difusión.

Pese a que parece que estamos hablando de algo innovador, casi una década atrás Torres-Salinas y Delgado-López-Cózar (2009, p. 534) ya nos describían un “momento de fragmentación de la comunicación científica” porque las formas de comunicar los resultados de la investigación estaban cambiando. Supongo que en aquel momento esta acomodación de la investigación a las redes sociales nos hacía ser optimistas al pensar que la difusión en redes iba a ser algo valorado en la carrera investigadora.

Sigue leyendo

VI convocatoria de evaluación de la calidad editorial y científica de las revistas científicas españolas. ¿Qué hay de nuevo?

Por Unidad de repositorios, acceso bierto y revista de la FECYT

https://calidadrevistas.fecyt.es/

Desde 2007 y cada dos años, la FECYT celebra la convocatoria de evaluación de la calidad editorial y científica de las revistas científicas españolas, basada en la revisión exhaustiva y rigurosa del cumplimiento de un conjunto de criterios de edición formal –más el análisis de la visibilidad e impacto y el estudio por parte de un conjunto de expertos en cada área temática de la calidad científica de la revista–.

A lo largo de estos años el proceso se ha perfeccionado y objetivado añadiendo desde 2015 la ponderación de la visibilidad e impacto. Tras cinco ediciones y tres convocatorias de renovación son ya 298 las revistas que cuentan con el Sello de Calidad FECYT, con una vigencia de tres años cada evaluación.

Sigue leyendo

Formación inicial docente en educación física a través del aprendizaje-servicio

Por  Oscar Chiva-Bartoll, Marc Pallarès-Piquer, Jesús Gil-Gómez

Universidad Jaime I

A punto de arrancar la tercera década del siglo XXI es incuestionable que el aprendizaje-servicio (ApS) está conquistando, con paso firme, los distintos campus universitarios del escenario europeo. Esta realidad queda patente en los diferentes planes de formación e innovación docente, así como en el nacimiento y expansión de diversas iniciativas de investigación educativa (Chiva-Bartoll y Gil-Gómez, 2018 en prensa). Entre las principales definiciones de ApS destacan las de autores internacionales como Furco (2002) o Furco y Billig (2002), quienes lo definen como un método pedagógico caracterizado por imbricar el aprendizaje con la realización de un servicio social. Dicho método es protagonizado tanto por los estudiantes que ofrecen el servicio como por los colectivos sociales que lo reciben. Según estos autores, el ApS persigue la aplicación y desarrollo de las competencias educativas y la comprensión de los contenidos curriculares en contextos reales, de manera experiencial y con el objetivo de ofrecer un beneficio social.

Sigue leyendo

Open-Science-Training-Handbook

 

Por Remedios Melero

 Instituto de Agroquímica y Tecnología de Alimentos-CSIC.

 

El proyecto FOSTER Plus es un proyecto financiado por la Unión Europea (No. 741839) y supone una nueva etapa del ya concluido Facilitate Open Science Training for European Research (FOSTER, 2014-2016). Esta nueva fase parte de la experiencia ganada del proyecto anterior, a la que se suma la red de profesionales creada a partir de las actividades de formación desarrolladas en ese periodo.

Sigue leyendo