Aula Magna escribe a ANECA

Carta dirigida a:

Dr. José Arnáez Vadillo. Director de la ANECA

Dr. Álvaro Gutiérrez Berlinches. Responsable División de Evaluación del Profesorado ANECA y de la CNEAI.

Estimados colegas:

Hemos tenido conocimiento de algunos graves problemas acaecidos en las recientes resoluciones de sexenios correspondientes a la convocatoria de 2016 en el área de Ciencias de la Educación (campo 7). Parece que se han reproducido algunas situaciones denunciadas a los anteriores coordinadores de la CNEAI por las grandes sociedades científicas de Educación y cuyo documento-propuesta adjuntamos.

Los problemas identificados en estas resoluciones han llevado a numerosas denegaciones de los tramos de investigación. Es de todos conocido que los tramos de investigación constituyen hoy en día la pieza clave para el reconocimiento y la promoción del profesorado, para mitigar su carga docente, ejercer determinadas funciones y cargos, y para aportarle un exiguo complemento retributivo, sin olvidar su impacto en la moral y en la motivación personal, por lo que esta evaluación debe ser escrupulosamente rigurosa, objetiva, transparente y ética.

Los problemas señalados se centran en tres cuestiones, todas ellas de muy fácil solución, si es que existe voluntad política al respecto:

  1. En la propia definición y aplicación de los criterios de evaluación, por su manifiestamente mejorable objetividad y transparencia. Esto incluye el sorprendente olvido de la única herramienta de evaluación de la calidad de las revistas españolas, dependiente y financiada por el propio Ministerio: el Sello de Calidad otorgado por la FECYT (Fundación Española de Ciencia y Tecnología).
  2. En la cuestionable definición y aplicación de criterios con carácter retroactivo, algo ciertamente indeseable en derecho y reprobable desde el punto de vista técnico en la teoría y la práctica de la evaluación.
  3. En la falta de comprensión de las características propias de difusión científica en el campo de la Educación, lo que ha derivado en una penalización injustificable de las revistas españolas e iberoamericanas de calidad contrastada y, consecuentemente, la sentencia de muerte para las revistas españolas.

La primera cuestión, la objetividad y la transparencia, tiene fácil solución. Si bien en la convocatoria de 2014 se había ganado en claridad y adecuación a nuestro campo al asimilar la valoración de las revistas de JCR y Scopus (apartados a) y b) de las orientaciones), exigiendo al menos dos artículos en cualquiera de ellas, en la convocatoria de 2016 se añade incertidumbre y opacidad en la nueva redacción de los apartados b) y c):

“b) Asimismo (sin que necesariamente se valoren por igual), los artículos publicados en revistas situadas en posiciones relevantes de los listados de Scimago Journal Rank (SJR), y en «Arts and Humanities Citation Index» de la «Web of Science».”

“c) Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del Comité asesor, un claro indicio de calidad.”

¿Qué significa “sin que necesariamente se valoren por igual” o “posiciones relevantes” o “nunca del mismo modo” o “qué bases de datos especializadas y con qué criterios”? Sabemos que la comisión funciona con listados de revistas a las que otorga determinadas puntuaciones. ¿Por qué la CNEAI no publica dichos listados, de forma que todos los solicitantes conozcan las reglas del juego y no se produzcan arbitrariedades o agravios comparativos? ¿Por qué no mejorar la transparencia y reducir la discrecionalidad técnica, ante unas decisiones con unas repercusiones tan importantes?

La solución sería tan fácil como publicar las puntuaciones por cuartiles a cada una de esas dos bases de datos, con los matices que se crean convenientes. El ambiguo término “relevante” es muy discutible, pero aun así sería muy sencillo de concretar.

En otro orden de cosas, en Educación no tiene sentido dar preponderancia al SSCI-JCR (WoS) sobre el SJR (Scopus). Nuestro campo sale extraordinariamente perjudicado en relación con otros campos del conocimiento, simplemente porque el número de revistas donde publicar es ostensiblemente menor (272 revistas de todas las especialidades, 6 de ellas españolas, frente, por ejemplo, a las 709 de Psicología y Ciencias del Comportamiento o a las 605 de Matemáticas). Scopus representa mucho mejor el campo de la educación, con unos criterios de inclusión más transparentes e igualmente exigentes que en WoS. En el mismo sentido, instamos a que se utilice en nuestro campo la base de datos ESCI de la WoS, al igual que se ha hecho en otros campos de humanidades para la concesión de tramos de investigación en esta última convocatoria de 2016.

Finalmente, en el campo de la educación en particular y en las ciencias sociales en general, el Ministerio ha dejado de financiar herramientas de clasificación de la calidad de las revistas españolas que han sido muy útiles en la evaluación y que han quedado desfasadas (DICE, ANEP, INRECS, RESH…). La única herramienta disponible, de gran exigencia, es la realizada por la FECYT: el Sello de Calidad. No se comprende que dicho Sello ni siquiera se mencione en los criterios de evaluación de la CNEAI en Educación. Igualmente, debería eliminarse toda referencia al inoperante e innecesario Apéndice I, ya que contribuye a incrementar la arbitrariedad, ningún miembro de la comisión tendría tiempo de comprobar tal listado de características y, además, existen bases de datos como LATINDEX que indican objetivamente el cumplimiento de tales criterios.

En definitiva, en relación a este punto, proponemos:

  1. Que se hagan públicas las puntuaciones que se otorgan a cada revista y a cada editorial de libros, junto con el criterio aplicado para ello y los criterios correctores de las calificaciones no especificados en el BOE pero utilizados por la Comisión (por ejemplo, número de autores que participan en la publicación, posición del autor, número de citas, etc.)
  2. Que todas las revistas de los listados de JCR y SJR, junto con aquellas que tengan vigente el Sello de Calidad FECYT obtengan, como mínimo, una puntuación de 6 puntos, eliminando del BOE que dicho mínimo dependa del juicio subjetivo del comité.
  3. Que se expliciten qué otras bases de datos se tienen en cuenta y las puntuaciones correspondientes que se asignan a las revistas en dichas bases de datos.

En relación al segundo punto, la aplicación de criterios con carácter retroactivo, afirmamos que es una práctica que hay eliminar definitivamente. No es admisible que los criterios de evaluación se publiquen unos días antes de cerrar el plazo para presentar la solicitud y que estos criterios se modifiquen en lo que afecta a lo producido durante los 6 años anteriores, cuando ya no se puede hacer nada por alcanzar los nuevos estándares. Así, muchos profesores que habrían obtenido el sexenio en la convocatoria de 2015, les ha sido denegado en 2016 por un cambio repentino en los criterios no consensuado y del que nadie ha sido informado previamente. Puede ser razonable que la Administración decida elevar los estándares de exigencia, pero debe hacerlo de forma sensata, consultando a la comunidad científica y aplicando los nuevos criterios en el futuro, nunca retroactivamente. En este sentido, proponemos:

  • Que los cambios en las políticas de evaluación de la producción investigadora se hagan con las debidas consultas a la comunidad científica y se publiquen con una antelación a su aplicación de entre 4 y 6 años, de forma que los investigadores dispongan del tiempo suficiente para alcanzar los nuevos estándares exigidos.

Sobre el tercer y último aspecto, la especificidad de la producción científica en Ciencias de la Educación, debe tenerse en cuenta lo siguiente: Las sociedades científicas de educación pidieron en su día un campo o un subcampo específico propio, como pasó con las ingenierías, tanto por el tamaño del área como por su especificidad. Las injerencias en la definición y aplicación de los criterios de campos ajenos como la Psicología, no son admisibles. Los psicólogos deben autoimponerse los criterios que estimen oportunos, y probablemente deban moverse al campo sanitario como desean, pero de ninguna manera deben ejercer ningún tipo de presión ni influencia sobre el campo de la educación, tanto por desconocimiento como por ética.

Cualquier investigador del campo de la Educación conoce la enorme incidencia de la investigación educativa en Iberoamérica. La producción científica en castellano tiene una enorme importancia en nuestro campo, por lo que es necesario proteger, reconocer y potenciar las revistas nacionales e iberoamericanas de calidad contrastada. Debe tenerse en cuenta que la tradición de publicar en revistas de impacto internacional es mucho más reciente en Educación que en otras áreas. Muestra de ello es que hasta 2005 la CNEAI no publica unos criterios de evaluación específicos en Educación y hasta muy recientemente, 2014, no es necesario contar con artículos en JCR/SCOPUS para conseguir un sexenio. Por ello, parece prematuro exigir “posiciones relevantes” en este momento, especialmente si se hace con carácter retroactivo.

Por otra parte, es esencial conocer la evolución histórica de las revistas científicas españolas de educación (Ruiz, Galán y Diestro, 2015) y ser conscientes del esfuerzo y los importantes logros conseguidos para competir a nivel internacional con las mejores revistas del mundo apoyadas por fuertes editoriales como Elsevier, Taylor & Francis, Rouledge, etc., sin recursos de ningún tipo y sin apoyo de la Administración. La primera revista española indexada en JCR (Revista Española de Pedagogía) lo consigue hace tan sólo 7 años, en 2010. Hoy contamos con 6. Por lo que respecta a Scopus, en 2008 había 3 revistas españolas, una en Q3 y dos en Q4. En 2016 tenemos 27 revistas indexadas, 2 en Q1, 7 en Q2, 12 en Q3 y 6 en Q4 (en 2015 todas menos dos eran Q3 o Q4). El avance, pese a la ausencia de recursos, basado en el esfuerzo gratuito de decenas de editores, revisores y colaboradores, es espectacular. Una política de evaluación de la ANECA y la CNEAI que penalice a los autores de nuestras revistas en este momento histórico, sería un error político de altura que desbarataría este trabajo de calidad y haría que los mejores trabajos (o quizás todos) se desviaran a revistas extranjeras, anulando la transferencia del conocimiento a nuestro contexto. De hecho, cuatro de nuestras mejores revistas han sido ya compradas por grandes editoriales extranjeras. En consecuencia, es vital apoyar a nuestras revistas y permitir un tiempo para que sigan escalando puestos en los rankings, como se está probando que sucede. La política seguida en esta convocatoria por la CNEAI puede hacer desaparecer a todas las revistas que no estén en Q1, responsabilidad que recaería directamente en los actuales responsables de la ANECA, la CNEAI y la comisión del campo 7.

Finalmente, la información que hemos recogido los editores de las revistas firmantes de esta carta es que en algunas revistas se ha bajado hasta en 4 puntos la puntuación otorgada en la última convocatoria respecto a convocatorias anteriores, sin que haya habido ninguna razón que justifique dicho cambio. Concretamente, se han penalizado de forma ostensible a las revistas españolas en Q3 y Q4 de Scopus y a las revistas recién indexadas en Scopus sin cálculo del SJR, así como a las revistas con Sello de Calidad FECYT.

Además, en nuestro proceso de recogida de información de investigadores con evaluación negativa, hemos encontrado diferencias de hasta 1 punto en el mismo artículo presentado por dos autores diferentes en esta misma convocatoria, lo que supone no sólo un manifiesto agravio comparativo injustificable, sino una manifestación de la debilidad del propio sistema de evaluación y de la actuación arbitraria o descoordinada de los miembros de este Comité de Evaluación. En el mismo sentido, tenemos recogidas puntuaciones diferentes a las mismas revistas, sin que exista ninguna motivación específica para ello. La tónica general es que las revistas españolas en Q4 de Scopus han sido valoradas con tan sólo 4 puntos, cuando en años anteriores obtenían al menos 6 puntos. Igualmente, tenemos información de revistas indexadas en JCR a las que tan solo se le han otorgado 6 puntos, como a la Revista Española de Pedagogía (percentil 19 en 2011), mientras que a la Revista de Educación se le puntúa con 8 puntos (percentil 28 en 2011). Aunque parece razonable la puntuación otorgada a la Revista de Educación, la puntuación a la REP se antoja a todas luces insuficiente.

En consecuencia, los editores jefe y directores de las revistas firmantes, solicitamos:

  1. Que se revisen de oficio todas las evaluaciones negativas de los tramos de investigación, reconociendo, como se hacía en el pasado reciente, con al menos 6 puntos a las revistas de Q4 de Scopus y a las que tienen el Sello de Calidad FECYT. En la misma dirección, que se reconozca con mayor puntuación a las revistas incluidas en JCR.
  2. Que se hagan públicas las puntuaciones que se otorgan a las revistas y editoriales de libros, así como los criterios por los que se otorgan dichas puntuaciones, de forma objetiva y transparente, de manera que los solicitantes puedan autoevaluarse antes de presentar la solicitud.
  3. Que la CNEAI cree un campo específico para Ciencias de la Educación, donde todos los “expertos evaluadores” pertenezcan a alguna de las numerosas áreas de conocimiento de este campo.
  4. Que la ANECA y la CNEAI se reúna con los representantes de la comunidad científica española de educación a través de sus representantes de sus sociedades científicas y se programe el futuro a medio plazo de las exigencias de las publicaciones para conseguir el tramo de investigación, evitando cualquier cambio con efectos retroactivos.
  5. Que la ANECA y la CNEAI reconozcan las revistas españolas de educación de calidad, avaladas por el Sello de Calidad FECYT, y soliciten al Ministerio recursos materiales y humanos para que, con el apoyo institucional, estas revistas puedan progresar más rápidamente y competir con las editoriales privadas internacionales en mayor igualdad de condiciones, reconociendo también explícitamente el trabajo de los editores y revisores en los procesos de acreditación.

Por último, queremos brindar toda nuestra colaboración para la mejora de los sistemas de evaluación de la producción investigadora realizados por la ANECA. Elevar progresivamente el nivel de exigencia debe ser un proceso prudente y consensuado que, por pura lógica y por justicia, debe igualmente llevar anejo un incremento en el nivel retributivo de los complementos. Los argumentos esgrimidos en este documento no implican nuestro acuerdo con el actual sistema de evaluación basado en rankings internacionales y en citas, pero comprendemos que es esta la política ministerial. Por ello, pretendemos contribuir a la mejora del mismo mediante mecanismos de objetividad y transparencia, teniendo en cuenta la especificidad del campo de la Educación, donde es necesario combinar la publicación en revistas de impacto internacional con la producción en revistas de calidad contrastada externamente, pero de carácter más regional. La Educación es un campo científico donde muchas investigaciones de calidad tienen carácter local o sólo aplicable al contexto iberoamericano, por lo que resulta casi imposible situarlas en revistas de Q1 o Q2, lo que no resta calidad a los trabajos. Asimismo, la producción de libros sigue siendo fundamental.

Aprovechamos la ocasión para solicitarle una entrevista en la que podamos explicar personalmente estos argumentos y para enviarles nuestro más cordial saludo.

Arturo Galán (Editor Jefe de Bordón. Revista de Pedagogía).

Marta Ruiz Corbella (Editora Jefe de Educación XX1)

Concepción Naval (Directora de la Revista Estudios sobre Educación, ESE)

Santiago Yubero (Editor Jefe de OCNOS)

Antonio Bolívar (Editor Jefe de la Revista Profesorado)

Francisco Aliaga (Editor Jefe de RELIEVE)

José Antonio Ibáñez Martín (Director de la Revista Española de Pedagogía)

Covadonga Ruiz de Miguel (Editora Jefe de la Revista Complutense de Educación)

Jesús Miguel Muñoz Cantero (Editor Jefe de la Revista de Investigación Educativa, RIE)

Lorenzo García Aretio (Editor Jefe de RIED)


Un pensamiento en “Aula Magna escribe a ANECA

  1. Se trata de una carta magnífica, clara, bien argumentada e incontestable, si se conoce de Educación y de Metodología de Evaluación. Muchas gracias a todos los compañeros que habéis tenido esta iniciativa.
    Sea cual sea el resultado de los recursos de alzada que interpongamos los afectados, el agradecimiento a vuestro trabajo va por delante. Y, aunque nos afecte negativamente en nuestras evaluaciones, nuestro compromiso es total para seguir publicando en estas revistas, de las que nos sentimos tremendamente orgullosos.
    Indudablemente, el sistema hay que cambiarlo pues hay que recordar que se trata de “productividad investigadora” y las consecuencias de la evaluación de sexenios se han ampliado desde 1989 constituyéndose en un factor clave para las condiciones de trabajo,la imagen personal, y no hay que olvidar también para las universidades. En los rankings de universidades no sólo se consideran artículos en estas bases de datos, también se tienen en cuenta tesis doctorales defendidas, proyectos de investigación nacionales e internacionales, captación de recursos, etc…Centrar una evaluación que tiene consecuencias tan importantes en un modelo que se diseñó para otorgar un simple complemento retributivo es un error importante. Así, hoy podemos conocer de colegas que con muy pocos artículos “bien colocados” disponen de sus sexenios, pero no saben lo que es dirigir tan siquiera más que una o dos tesis en toda su carrera, o nunca han tenido que coordinar proyectos de investigación. La evaluación, en definitiva, tiene que ser para mejorar y este procedimiento no nos lleva por ese camino.
    Gracias por el esfuerzo que se hace desde revistas de Educación y, por supuesto, a todos los colegas que -pese que tener que someterse a un sistema erróneo e injusto- siguen creyendo en la investigación y se comprometen en realizarla, aunque no les cuente para sus sexenios.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *