Criterios de Evaluación del Sexenio de Investigación en el Subcampo 7.2 de Ciencias de la Educación en Estado Latente

 

 

 

 

Por José Sánchez-Santamaría (Universidad de Castilla-La Mancha. Editor de RELIEVE) y Francisco M. Aliaga (Universitat de València)

Palabras clave: RELIEVE, sexenio, Ciencias de la educación, 2021

Con fecha de 19 de diciembre, la Secretaría General de Universidades del Ministerio de Universidades, ha publicado la convocatoria de evaluación de la actividad investigadora (BOE, 2020a) por parte del CNEAI dependiente del organismo autónomo de la ANECA. En su punto 7 sobre criterios de evaluación establece que:

“En la evaluación se observarán los criterios generales establecidos en el artículo 7 de la Orden de 2 de diciembre de 1994 y en el apartado tercero de la Orden CNU/1181/2019, de 3 de diciembre. Dichos criterios generales se complementan con los criterios específicos aprobados para cada uno de los campos de evaluación por resolución de la CNEAI de 30 de octubre de 2020.”

La Resolución de 30 de octubre de 2020, publicada en el 2 de enero de 2020 (BOE, 2020b), se recogen los criterios específicos, en los que se pueden encontrar los referidos al reciente subcampo 7.2., específico para Ciencias de la Educación.

Entre las novedades que se están introduciendo por parte de la actual dirección de la ANECA se encuentra la transparencia de sus procesos de evaluación, entre otros aspectos, lo que ha dado como resultado la celebración de la segunda edición en directo de las #ConversacionesConANECA: ‘Criterios de los sexenios de investigación’, para los 11 campos de evaluación, en su canal institucional de You Tube (https://youtu.be/s_xqO1INMU8) y con acceso también a través de su cuenta institucional en Twitter (https://twitter.com/i/broadcasts/1ynKOBPLAkAxR).

Con motivo de esta nueva convocatoria, queremos aprovechar para reflexionar sobre algunas cuestiones importantes, con la intención de contribuir con propuestas que ayuden a una evaluación justa y ajustada al desarrollo de la ciencia en educación dentro del subcampo 7.2.: 

• ¿De dónde venimos? ¿Dónde estamos?
• ¿Hay algunas cuestiones pendientes?
• ¿Qué se puede divisar en el horizonte?

Cuestión 1. Se consolida el Subcampo 7.2 Ciencias de la Educación.

Como sabemos, tras la Resolución del 1 de diciembre de 2017, se informó de que se creaba el Comité Asesor 7 (2): Ciencias de la Educación, en concreto el 6 de marzo de 2018 (BOE, 2018a).

Tabla 1 – Evolución del subcampo 7.2 en las últimas convocatorias
2017	2018	2019	2020
Crea el Comité Asesor 7 (2): Ciencias de la Educación, en concreto el 6 de marzo de 2018, pero existe solo el campo 7. Ciencias Sociales, Políticas, del Comportamiento y de la Educación	Aparece el subcampo 7.2. Ciencias de la Educación	Mantiene el subcampo 7.2. Ciencias de la Educación	Consolida el subcampo 7.2. Ciencias de la Educación

Fuente: BOE (2017, 2018, 2019, 2020b).

Cuestión 2. El número de autores y autoras por publicación: condicionado y en condicional. 

La primera referencia normativa del procedimiento para la evaluación de la actividad investigadora, que desarrollaba el Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario (BOE, 1986), es la Orden de 2 de diciembre de 1994, en la que en su artículo 7 sobre criterios de evaluación dice (BOE, 1994):

“En todos los casos las aportaciones deberán constituir fruto de la labor personal del solicitante en el ámbito de las ciencias, las artes o la técnica y ser de público conocimiento.”

La referencia normativa actual, en la Resolución de 30 de noviembre de 2020, dice así (BOE, 2020b):

“Para que una aportación sea considerada, la persona solicitante deberá haber participado activamente en los trabajos que le dieron origen, concretando su aportación específica a los mismos en los casos de multiautoría”

Tabla 2 – Multiautoría en el Campo 7. Convocatoria 2020
Subcampo 7.1 Ciencias Sociales, Políticas, del Comportamiento y de Estudios de Género	Subcampo 7.2 Ciencias de la Educación
El número de autores de una aportación deberá estar justificado por el tema, su complejidad y su extensión.   Un número desproporcionado de autoras/es podrá reducir la calificación asignada a una aportación.   En todo caso, la persona solicitante debe justificar su contribución a cada una de las aportaciones en coautoría.	El número de autoras/es de una aportación deberá estar justificado por el tema, su complejidad y su extensión.   Como principio general, un número elevado de autoras/es implicará la aplicación de un factor de reducción en la valoración del trabajo si sus exigencias de contenido y metodología no lo justifican.

Fuente: https://www.boe.es/boe/dias/2021/01/02/pdfs/BOE-A-2021-53.pdf

En ambos subcampos se pone el acento en el número de autores y autoras, y no solo en la calidad de la contribución de la autoría o labor personal. Como podemos ver en la evolución de este criterio dentro del subcampo 7.2 (Tabla 3) esta concepción se consolida y no parece que haya intención de ajustarlo, al menos de forma explícita.

Tabla 3 – Tratamiento de la Multiautoría aplicada al subcampo 7.2
2017	2018	2019	2020
El número de autores de una aportación deberá estar justificado por el tema, su complejidad y su extensión	El número de autores de una aportación deberá estar justificado por el tema, su complejidad y su extensión. Como principio, general un número elevado de autores implicará la aplicación de un factor de reducción en la valoración del trabajo si sus exigencias de contenido y metodología no lo justifican	Se mantiene lo de 2018	Se consolida lo de 2019

Fuente: https://www.boe.es/boe/dias/2021/01/02/pdfs/BOE-A-2021-53.pdf

Como vemos en el caso del subcampo 7.2, lo que implica la penalización, la reducción de la puntuación que puede obtenerse, no es tanto el “número desproporcionado de autores/as”, sino el “número elevado de autores y autoras” (los subrayados son nuestros). De hecho, en la jornada del día 14 de enero de 2021 #ConversacionesConANECA: ‘Criterios de los sexenios de investigación’, las presidentas de los dos comités integrados dentro del campo 7, matizaban cuándo se penaliza un número desproporcionado o elevado de autores o autoras en una aportación:

• En el caso del subcampo 7.1.: cuando es superior a 7.
• En el caso del subcampo 7.2.: cuando es superior a 5, con una horquilla entre 3 y 5. De hecho, la presidenta comparte que uno de los motivos es evitar posibles trampas o pillerías.

Cuestión 3. Se mantiene la redacción sobre las bases de JCR.

Son bases de datos referenciales, y en realidad SSCI y SCI son los dos componentes de JCR. Por tanto, se trataría de un problema de redacción.

Tabla 4 – Evolución de la redacción sobre JCR en las últimas convocatorias
2017	2018	2019	2020
Los artículos publicados en revistas de reconocida valía, aceptándose como tales las incluidas en los listados por ámbitos científicos del «Journal Citation Reports (Social Sciences Edition)» y «Journal Citation Reports (Science Edition)»		Los artículos publicados en revistas de reconocida valía, aceptándose como tales las incluidas en los listados por ámbitos científicos del «Journal Citation Reports (JCR), Social Sciences Edition y Science Edition»

Fuente: BOE (2017, 2018, 2019, 2020b).

Cuestión 4. JCR y/o SJR: un orden natural no tan natural.  

Se consolida el criterio de 2019, que consideraba el de 2017 frente al de 2018 que era más restrictivo y alejado de la realidad de comunicación y difusión dentro del campo de Ciencias de la Educación, al menos en Pedagogía, donde revistas de referencia histórica como Teoría de la Educación o Bordón. Revista de Pedagogía se veían perjudicadas, entre otras. En esto ayudó mucho la creación del subcampo 7.2., ya que las diversas asociaciones del ámbito de la de Pedagogía (agrupadas ahora en RETINDE) contribuyeron a este cambio y a una mayor sensibilidad de la CNEAI sobre esta cuestión.

Nuestra hipótesis: lo que justifica este motivo es que “se ajusta mejor a la fluctuación Q2-Q3, tal vez para amortiguar la entrada de más revistas en educación en SCOPUS, y, por tanto, en SJR o que haya revistas que en SCOPUS presentan valores mejores que otras que están en JCR pero con valores inferiores a otras en el SJR” (Sánchez-Santamaría & Aliaga, 2019, p. 2).

Sobre este aspecto del valor de JCR y SJR en las #ConversacionesConANECA: ‘Criterios de los sexenios de investigación’, la presidenta del comité de evaluación del subcampo 7.2., ha explicado que se valoran ambas, y que los artículos JCR son mejor valorados en posiciones elevadas como Q1 y Q2, y solo recibe una evaluación similar SJR en Q1.

Tabla 5 – Valoración JCR – SJR en las distintas convocatorias de sexenios
2017	2018	2019	2020
Asimismo (sin que necesariamente se valoren por igual), los artículos publicados en revistas situadas en posiciones relevantes de los listados de Scimago Journal Rank (SJR), y en «Arts and Humanities Citation Index» de la «Web of Science».	Asimismo (sin que necesariamente se valoren por igual), los artículos publicados en revistas situadas en posiciones relevantes (Q1 y Q2) de los listados de Scimago Journal Rank (SJR), y en «Arts & Humanities Citation Index» de la «Web of Science».	Asimismo (sin que necesariamente se valoren por igual), los artículos publicados en revistas situadas en posiciones relevantes de los listados de «Scimago Journal Rank (SJR).	Se mantienen los de 2019

Fuente: BOE (2017, 2018, 2019, 2020b).

Cuestión 5. Otros indicios de calidad: sello de calidad FECYT y el ranking Dialnet Métricas.

Son otros indicios de calidad que se consolidan en la actual convocatoria. Las revistas que han obtenido, tras su evaluación, en sello de calidad de la FECYT son conscientes del trabajo que lleva obtenerlo, y la calidad que se requiere para ello. Esto se traduce necesariamente, y se puede consultar cualquiera de las revistas de ciencias de la educación con sello FECYT, en una mejora de las revistas y de su impacto que los equipos editoriales y los equipos de revisores ayudan a conseguir. Por tanto, es un indicador justo, muy detallado, transparente, exigente y muy potente para valorar la calidad del medio en el que se publica el artículo.

Se consolida, también, la presencia de Dialnet Métricas, como ya señalamos: “aunque resulta “curiosa” la admisión de un sistema que aún está en pruebas, en contraste con la “falta de aprecio institucional” que tuvo que sufrir INRECS. Ahora bien, estos indicios están siempre bajo el criterio de la comisión.” (Sánchez-Santamaría, & Aliaga, 2019, p. 4).

Tabla 6 – Valoración de “otras bases de datos especializadas”
2017	2018	2019	2020
Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del Comité asesor, un claro indicio de calidad. En todo caso, la mera indización o indexación de una publicación en una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad.	Se mantiene el criterio de 2017	Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del comité asesor, un claro indicio de calidad (por ejemplo, el ranking de revistas científicas con sellos de calidad FECYT o el ranking Dialnet Métricas).	Se mantiene el criterio de 2019

Fuente: BOE (2017, 2018, 2019, 2020b).

Al no haberse producido cambios en los criterios actuales (2020) en relación con los del año pasado (2019), se consolida el hecho de que el sello de calidad de la FECYT sea un criterio específico dentro de los campos 7.1, 7.2, 9, 10 y 11. En campos de ciencias sociales, como ya hemos advertido en otra ocasión (Sánchez-Santamaría & Aliaga, 2019), tiene su razón de ser, no tanto en ciencias naturales, etc., donde los sistemas de evaluación, publicación y comunicación tienen tradiciones y criterios diferentes ya muy consolidados, en los que indicios como los del sello FECYT o Dialnet métricas son mucho menos relevantes: solo hay que ver qué espectro de revistas recoge para mostrar que es más bien “anecdótico”, tienen otros alternativos.  

Cuestión 6. Scholarly Publishers Indicators (SPI) para libros y capítulos de libro.

Se mantiene igual el criterio del SPI para libros y capítulos de libro. Pero en relación con las aportaciones, desde la presidenta del comité se recomienda que los y las autoras prioricen los artículos frente a los capítulos de libro, es una sugerencia no una obligación.

Valoramos la existencia del SPI como indicio de calidad, un recurso de inestimable valor para muchos autores y autoras, lo que a buen seguro también habrá ayudado al comité de evaluación a mejorar su valoración sobre las aportaciones en formato de libro y/o capítulo de libro. Aquí el criterio es laxo, al menos en la definición de qué año se debe contemplar. Un ejemplo, al no ser explicitado, entendemos que cabe la posibilidad de que un o una autora que haya publicado en 2017, pueda poner el SPI de 2016 o de 2018. Eso tampoco es necesariamente malo: deberían establecerse mecanismos para amortiguar las fluctuaciones puntuales en las puntuaciones, que no dependen del trabajo del autor ni de la calidad o utilidad de la investigación publicada.

Cuestión 7. Se consolida la referencia a revistas electrónicas.

Las revistas son electrónicas -existen en papel, todavía, bastantes-, es un hecho que se ha impuesto. Han pasado 25 años desde la creación en España de la primera revista electrónica (Aliaga, 2019, 2020). El criterio, por tanto, que se consolida es que se evalúa el impacto y/o contenido de la revista, y no su soporte o formato exterior (Sánchez-Santamaría & Aliaga, 2019).

Tabla 7 – Tratamiento de las revistas electrónicas en las diversas Convocatoria
2017	2018	2019	2020
Las revistas electrónicas estarán sujetas a los mismos criterios que las demás   (Aparecía 14 veces electrónicas asociada a revistas)	Las revistas electrónicas estarán sujetas a los mismos criterios que las demás   (Aparecía 14 veces electrónicas asociada a revistas)	No aparece ya	Se consolida el criterio de 2019

Fuente: BOE (2017, 2018, 2019, 2020b).

Algunas reflexiones y propuestas

El que no hayan cambiado los criterios de evaluación de la convocatoria de sexenios de investigación, y se hayan mantenido los de 2019, nos lleva a pensar que puede plantearse más adelante realizar cambios de cara a futuras convocatorias. Parece ser la intención de la ANECA, según la información de las #ConversacionesConANECA.

Tenemos evidencias de que existe “buena intención” y “profesionalidad” por parte del comité de evaluación dentro del subcampo 7.2., y de que la CNEAI es sensible a que la evaluación del sexenio de investigación en Ciencias de la Educación -como en todos los campos-, sea objetiva, de calidad y permita visibilizar y poner en valor la excelente investigación que se hace en España.

Como ya apuntamos en otro trabajo, los actuales criterios “imprecisos parece que intentan captar la complejidad y diversidad de nuestro campo, pero se mueven entre un ir y venir hacia el mismo lugar que no ayuda a avanzar en una mayor claridad y justicia en la evaluación. Queda, por tanto, trabajo por hacer” (Sánchez-Santamaría & Aliaga, 2019, p. 6).

También es un hecho que la creación del subcampo 7.2 de Ciencias de la Educación (Galán, 2018) está contribuyendo a una mayor transparencia de la evaluación, así como a una contextualización y ajuste a la casuística para no perjudicar a los y las autoras de nuestro ámbito de especialización. Pero, a pesar de estas intenciones, del trabajo bien hecho, del esfuerzo colectivo de las y los investigadores -y sus asociaciones-, de los y las evaluadoras, del CNEAI y de la ANECA, la cuestión presenta ciertas nieblas que se deben despejar.

Hay camino recorrido, esfuerzos colectivos realizados con buenos resultados, sensibilidades reconocidas y disposiciones favorables hacia un sistema de evaluación más justo, transparente y de calidad (Galán, 2017). Pero el trabajo debe continuar. No es fácil la labor del comité de evaluación, por eso pensamos que no deben estar solos y solas, y en este sentido contribuye Aula Magna 2.0, y las revistas que la integran, con su trabajo comprometido, voluntario y de servicio a la comunidad científica con la difusión y comunicación de calidad de la ciencia en educación (Ruiz-Corbella, López-Gómez, Arteaga-Martínez & Galán, 2020).

Referencias bibliográficas:

Aliaga, F. M. (2019). Evolución de la edición científica en España: dos décadas comunicando investigación. Aula Magna 2.0. [Blog].  http://cuedespyd.hypotheses.org/6887

Aliaga, F. M. (2020). Evolución de la edición científica en revistas de Ciencias Sociales y determinación de Latinoamérica como ecosistema característico. RELIEVE, 26(2), art. M1. http://doi.org/10.7203/relieve.26.2.19206

BOE (1989). Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario. https://www.boe.es/buscar/pdf/1989/BOE-A-1989-21967-consolidado.pdf

BOE (1994). Orden de 2 de diciembre de 1994 por la que se establece el procedimiento para la evaluación de la actividad investigadora en desarrollo del Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario. https://www.boe.es/buscar/doc.php?id=BOE-A-1994-26927

BOE (2017). Resolución de 23 de noviembre de 2017, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2017-14085

BOE (2018a) Resolución de 2 de marzo de 2018, de la Agencia Nacional de Evaluación de la Calidad y Acreditación, por la que se nombra a los miembros de los Comités Asesores de la Comisión Nacional Evaluadora de la Actividad Investigadora. https://www.boe.es/boe/dias/2018/03/06/pdfs/BOE-A-2018-3093.pdf

BOE (2018b). Resolución de 14 de noviembre de 2018, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2018-16138

BOE (2019). Resolución de 12 de noviembre de 2019, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2019-17008

BOE (2020a). Resolución de 17 de diciembre de 2020, de la Secretaría General de Universidades, por la que se aprueba la convocatoria de evaluación de la actividad investigadora. https://www.boe.es/diario_boe/txt.php?id=BOE-A-2020-16547

BOE (2020b). Resolución de 30 de octubre de 2020, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. https://www.boe.es/boe/dias/2021/01/02/pdfs/BOE-A-2021-53.pdf

Galán, A. (2017). Sobre sexenios y acreditaciones: un nuevo retroceso. Aula Magna 2.0. [Blog].   http://cuedespyd.hypotheses.org/2577

Galán, A. (2018). El reto del nuevo campo “Ciencias de la Educación” en la CNEAI. Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/3573

Ruiz-Corbella, M., López-Gómez, E., Arteaga-Martínez, B., & Galán, A. (2020). Visibilidad, impacto y transferencia del conocimiento en revistas científicas de educación: la experiencia de Aula Magna 2.0. RELIEVE, 26(2), art. M2. http://doi.org/10.7203/relieve.26.2.17616

Sánchez-Santamaría, J., & Aliaga, F. M. (2019). Sexenios de Investigación en el Subcampo 7.2 en la CNEA: ¿En qué punto estamos? ¿Se ha avanzado o hay un camino de ida y vuelta a cuestiones por resolver? Aula Magna 2.0. [Blog]. https://cuedespyd.hypotheses.org/?p=7015

Cómo citar esta entrada:

Sánchez Santamaría, J. y Aliaga, F.M. (2021). Criterios de Evaluación del Sexenio de Investigación en el Subcampo 7.2 de Ciencias de la Educación en Estado Latente. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/8891

---

---