Por Arturo Galán. Facultad de Educación. UNED
Editor Jefe de Bordón. Revista de Pedagogía.
El pasado 29 de junio tuve el privilegio de coordinar una mesa redonda que pretendía afrontar una de las preocupaciones que más me ha inquietado en los últimos diez años. Se trata de la relación entre los medios de difusión de la producción científica y las políticas de selección y promoción del profesorado universitario.
En el marco de un congreso único que ha reunido a cerca de 1200 personas, como ha sido SEP2016, organizado por la Sociedad Española de Pedagogía en colaboración con las sociedades científicas y redes de investigación educativas más importantes de nuestro país, hemos podido reunir a la Dra. Mariana Boletta (Directora del Equipo de Selección de Revistas de WoS), al Dr. Wim Meester (Responsable de Estrategia de Contenidos de SCOPUS), al Dr. Demetrio Castro (Director de la Unidad de Evaluación del Profesorado de la ANECA) y a la Dra. Cristina Glez. Copeiro (Directora del Dpto. de Gestión de la Información Científica. FECYT). Nos acompañó también la madrileña Dra. Mila Cahue, Directora Regional de WoS para Europa, afincada en la oficina de Barcelona.
Quiero destacar y agradecer que el profesor Demetrio Castro aceptara su participación en un debate que siempre es difícil para el jefe de una Agencia como la ANECA, que genera tantos disgustos para los profesores que no consiguen la certificación para su contratación o su promoción. De hecho, todos coincidimos en que es necesario y sano que se puedan exponer y discutir públicamente los argumentos a favor y en contra de la forma como se evalúa al profesorado. Invito al profesor Castro, a quien haré llegar este post, a participar en nuestro blog, contestar mis argumentos y difundir así los principios y prácticas concretas de actuación de la ANECA y la CNEAI. Tanto en la mesa redonda como en este post se lanzan una serie de cuestiones que seguro que dan mucho juego para definir posturas.
La discusión mantenida en la mesa puede consultarse en streaming aquí. Quiero centrar esta entrada en un tema esencial, casi de tipo ideológico, como es la disyuntiva “discrecionalidad frente a objetividad”. No me cabe duda de que muchos de los más altos responsables de la administración universitaria en España optan por la discrecionalidad “técnica”, es decir, los comités de evaluación son soberanos para decidir sobre la calidad de la producción científica de un profesor por encima de la propia normativa reguladora en función de un atribuido conocimiento técnico que es capaz, en teoría, de discernir mejor que la norma. El preámbulo del texto normativo de la CNEAI es clarificador en este sentido: “Por último, aunque los requisitos mínimos para obtener una evaluación positiva tratan de determinar lo más posible cómo se realizará la evaluación, sin embargo la aplicación de estos requisitos no tiene carácter reglado, sino que depende de la discrecionalidad técnica de los comités evaluadores, ya que la aplicación de los requisitos ha de ser modulada en función de las circunstancias de cada disciplina” (párrafo reiterado en los criterios para la evaluación de sexenios de investigación desde el «BOE» núm. 279, de 21 de noviembre de 2013). A mí este párrafo me produce cierto sonrojo y me sorprende que se publique en el BOE, pues parece el refrendo político de que cualquier decisión de los comités evaluadores es aceptable y acertada, pero podría estar equivocado en mi apreciación.
Como discutimos en la citada mesa redonda, en un campo como el de Educación, donde la normativa de la ANECA es tan imprecisa a la hora de definir los criterios concretos para conseguir una evaluación positiva, sufrimos un doble problema: por una parte, el de la delgada línea que separa la discrecionalidad técnica de la notoria arbitrariedad (Rodríguez-Patrón y Galán, 2015). Por otra parte, el de la indefensión ante las evaluaciones negativas, ya que la propia normativa ampara estas prácticas bajo el paraguas de las discrecionalidad técnica, lo que, además, ha sido defendido por el propio Tribunal Constitucional, probablemente harto de los numerosos pleitos en lo contencioso administrativo en los que los profesores alegaban aspectos tan básicos como la falta de seguridad jurídica, vulneración de los principios de sometimiento de la administración a la ley y al Derecho —Art. 103.1 CE—, así como el principios de legalidad y de interdicción de la arbitrariedad de los poderes públicos consagrados en el art.9.3 de la Constitución. Es cierto que no debemos trasladar a los jueces las trifulcas de la universidad, pero no es menos cierto que con unas reglas más claras y transparentes habría más seguridad jurídica y menos pleitos. Además, en los últimos tiempos, los jueces han percibido que se estaban traspasando ciertos límites. Así, la Sentencia nº 661 de la Sección Sexta del TSJ de Madrid de 22/6/2012 afirmaba: “la doctrina jurisprudencial descrita no puede significar que lo que de discrecional tiene la actividad de los órganos evaluadores quede fuera del control de los Tribunales” (Galán, González y Rodríguez-Patrón, 2014).
Una de las consecuencias de estas políticas es la situación de indefensión a la que se somete a los administrados, ya que para obtener una evaluación positiva no es suficiente superar los criterios y orientaciones de la normativa, sino que es necesario intuir cómo los comités de evaluación van a interpretar dicha normativa, interpretación que puede ser ostensiblemente diferente en función del comité evaluador o de los revisores externos. De este modo, el administrado se encuentra sin defensa ante una evaluación negativa: ¿qué puede uno alegar frente a la discrecionalidad técnica? Nada, el comité siempre juega con ventaja. Además, los recursos son revisados en primera instancia por el mismo comité que emitió el dictamen, lo que dificulta que puedan reconocer un error y propiciar un cambio en el resultado de la evaluación. Por fortuna, en general, los comités hacen bien su trabajo, pero para ellos también es complicado evaluar cuando la normativa es tan general e imprecisa. Por ello, nos encontramos una práctica habitual muy desalentadora: cuando un profesor realiza un muy argumentado recurso de alzada, la administración suele contestar con plantillas estándar amparándose en la discrecionalidad técnica o con vagas generalidades que no rebaten los argumentos de los recurrentes. A veces, cuando la Administración (que hace suyo el informe del mismo comité evaluador) decide rebatir algún argumento del recurrente o justificar una puntuación, es todavía peor, porque con frecuencia se usan elementos muy imprecisos no incluidos en la normativa: “el recurrente debería tener más publicaciones en revistas de impacto…” (¿cuántas, en qué revistas, en qué bases de datos, en qué cuartiles? –y se dice esto cuando el recurrente ya cumple lo dicho en la normativa–), “el recurrente debería tener más estancias en universidades de prestigio internacionales…” (¿cómo, quién me las paga, quién me sustituye en mis clases, quién me consigue el permiso del departamento que está saturado de docencia…?), etc., etc.
El profesor Castro decía una cosa muy interesante en la mesa, que la discrecionalidad no es arbitrariedad mientras esté motivada. Y no lo niego, ahí está el problema, que se considere motivación una simple puntuación de 0 a 10, que es lo que hace la CNEAI, incluso cuando dicha puntuación contradice la normativa, o no se da ninguna justificación de la puntuación ante la imprecisión normativa (o se incluyen frases hechas como “revista poco relevante” cuando sí aparece en las bases de datos contempladas en la normativa). Por otra parte, el profesor Castro afirma que lo que se juzga son los artículos y no las revistas, pero eso es algo que todos sabemos que no es así: se juzga por el impacto de la revista y así se afirma en la normativa (“dos artículos JCR o SCOPUS”, etc.). Sería absolutamente ineficiente que los revisores leyeran de nuevo los artículos: no habría tiempo ni especialistas y ese trabajo ya lo han hecho los referees de las revistas. Puede que en el futuro próximo esto cambie, pero por el momento así están las cosas. En este sentido, claro que podría ser más eficaz un grupo de administrativos que revisaran el impacto de las revistas a partir de unas puntuaciones que deberían ser públicas y que los académicos fueran revisores de esa evaluación semi-automática y de casos dudosos o anómalos. Ahorraríamos mucho tiempo a nuestros preciados catedráticos, que acaban haciendo una labor mecánica en la mayoría de los casos.
Los dos grandes obstáculos con los que nos encontramos en las evaluaciones de la ANECA y la CNEAI en el campo de la Educación son la valoración de los artículos no indexados en JCR y SCOPUS y la valoración de los libros. Para los primeros, se usan referencias inútiles, por ejemplo, se recurre a bases de datos como DICE-CINDOC –sin actualizar desde 2012- o a CIRC, cuando en estos listados están todas las revistas, buenas y malas; la mera presencia no significa nada si no se utiliza un ranking y se asigna objetivamente una puntuación en función de dicho ranking. En consecuencia, un solicitante nunca sabe cómo va a ser valorado un artículo en una de estas revistas que, pese a aparecer como admisible en la convocatoria, la puntuación depende del criterio del evaluador, que no es público, por lo que necesaria y meramente depende de una decisión discrecional inmotivada (¿no suena a sinónimo de arbitraria?). Puesto que los criterios de asignación de puntuaciones no son públicos, las orientaciones son abiertamente difusas y no se exige a los evaluadores que motiven la puntuación en estos casos, el solicitante no encuentra elementos para rebatir el criterio del evaluador, que sólo él conoce. En definitiva, nos encontramos con un procedimiento evaluador que, en estos casos, podríamos tildar de poco profesional, no por la falta de profesionalidad de los evaluadores, sino por las deficiencias de un sistema de evaluación apoyado en la discrecionalidad en vez de en la objetividad y la transparencia.
Por lo que se refiere a la valoración de los libros, el problema es aún mayor, puesto que más allá del reciente referente del SPI (cuya metodología para establecer el ranking puede ser criticada, pero es un intento más que loable para arrojar luz en la penumbra de la valoración de los libros), se rumoreaba que existía un listado de editoriales españolas de prestigio que, por supuesto, no era público. Las propias editoriales universitarias se vieron obligadas a protestar ante la desconsideración de sus libros. Si hay editoriales que son bien y mal valoradas con puntuaciones concretas, ¿por qué no se hace pública esa lista con las puntuaciones correspondientes, entendiendo que puedan caber pequeños matices en función del número de autores, financiación de la investigación, etc.? No creeremos que también los comités evaluadores leerán los libros de los solicitantes para evaluar su calidad… (entre otras cosas porque no los tienen, al igual que los artículos, seamos claros con el procedimiento y hagámoslo público, estamos en un sistema público obligado a observar ciertas garantías). El profesor Demetrio Castro, ante la pregunta de si la CNEAI y la ANECA priman los artículos por encima de los libros de investigación, respondía que no hay ninguna razón para pensar eso, pero lo cierto es que no sabemos cómo se evalúan los libros. Dejaremos para otro post el espinoso Apéndice I de la CNEAI.
En definitiva, nuestros “jefes” siguen defendiendo un sistema discrecional, algo que funciona en algunos otros países. Mi impresión es que objetivar demasiado, regularlo todo tampoco es bueno. Sin embargo, en un sistema y una cultura como la española, hemos experimentado que no estamos preparados para obrar con justicia y transparencia cuando no existe cierto “control” externo (y así lo hemos visto no sólo con nuestros políticos, sino también en nuestras comisiones de selección de personal contratado y en las oposiciones a los cuerpos docentes). Por ello, hoy por hoy, defiendo un sistema tan objetivado como sea posible. Una vez alcancemos una cultura sana de la evaluación para la selección y promoción del personal y seamos capaces de seleccionar naturalmente a los mejores por encima de los intereses personales, las filias y las fobias, cuando los errores interesados tengan consecuencias (como cerrar un departamento), en ese momento podremos pasar a sistemas más abiertos y flexibles.
Referencias bibliográficas:
Galán, A., González-Galán, M.A. y Rodríguez-Patrón, P. (2014). La evaluación del profesorado universitario en España. Sistema nacional y divergencias territoriales. Revista de Educación. Nº 366. pp. 136-164. DOI: 10.4438/1988-592X-RE-2014-366-279.
Rodríguez-Patrón, P. y Galán, A. (2015). Descentralización y poder discrecional: la medida de los productos de investigación en Ciencias Jurídicas. En R. Caballero (Dir.). Sistema educativo y descentralización territorial. Editorial IUSTEL. Madrid. pp. 239-267. ISBN: 978-84-9890-269-3
Cómo citar esta entrada:
Galán, A. (2016). La discrecionalidad técnica en la ANECA y la CNEAI: una cuestión de gran calado. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/2117
OpenEdition le sugiere que cite este post de la siguiente manera:
Blanca Arteaga (21 de octubre de 2016). La discrecionalidad técnica en la ANECA y la CNEAI: una cuestión de gran calado. Aula Magna 2.0. Recuperado 11 de septiembre de 2024 de https://doi.org/10.58079/nen3
Un comentario en “La discrecionalidad técnica en la ANECA y la CNEAI: una cuestión de gran calado”