La hoja de ruta verde de la comunicación científica ¿qué podemos hacer autores, bibliotecarios, gestores y agencias de evaluación para cambiar las cosas?

 

Emilio Delgado López-Cózar

Facultad de Comunicación y Documentación

Universidad de Granada

 

Participo de la opinión de que para cambiar la realidad no hay nada mejor que empezar a hacerlo por uno mismo, sobre todo, cuando tenemos opción y margen para hacerlo. Se hace camino al andar decía el poeta. Primero hagamos, después pidamos y exijamos que otros hagan. Hasta que el Estado, en sus distintas administraciones, imponga la obligación de que todo trabajo de investigación financiado directamente (proyectos, becas, ayudas, subsidios, contratos…) o indirectamente (estar en nómina de la institución) se deposite en el repositorio institucional, algo ya sugerido en el prometedor plan S para Europa, debemos adoptar estrategias realistas que propicien el cambio que estamos propugnando hacia el nuevo ecosistema de la comunicación científica. A continuación, trazaré la hoja de ruta de los principales actores de un ecosistema de comunicación científica verde.

  1. Autor: ¿Qué puedes y te interesa hacer?

Puesto que los científicos no son mártires de la causa por el acceso abierto no se les puede pedir que se inmolen por tan noble ideal, -aunque se lo imploremos no lo van a hacer-; solicitémosle aquello que pueden hacer y hagámosle ver que, de momento, depositar directamente sus creaciones en repositorios les beneficia, no es enojoso y no obstaculiza una posterior publicación.  Solo harán aquello que no vaya en contra de sus intereses profesionales y les produzca ganancias “constantes y sonantes” en su cv. Esta es la ruta verde de un autor:

A. Depositar

Los autores deben saber que los trabajos sometidos a publicación en una revista o una editorial (en el caso de los libros hay que extremar las cautelas y cerciorarse de ello) pueden ser difundidos inmediatamente mediante su depósito en el repositorio de la institución en la que trabajan o en repositorios temáticos. Dado que el sistema de evaluación imperante exige, si queremos progresar científicamente, publicar en revistas y editoriales colguemos previamente las versiones remitidas al editor (originales), y después las aceptadas (dependerá de las políticas de cada editor y revista; algunas permiten hacerlo seis meses después de la publicación). La versión final publicada (la editada por la editorial), salvo autorización expresa queda en poder de la editorial. Los repositorios facilitan hoy día el añadido de las distintas versiones del documento.

Colgar la versión inicial de un trabajo implica hacer público y visible inmediatamente los hallazgos evitando las demoras propias del proceso de publicación. Con ello activamos rápidamente todo el proceso de distribución y recepción: búsqueda y localización, lectura y posible citación y diseminación. En circunstancias normales entre uno y tres días después del depósito en el repositorio el trabajo será visible en Google Scholar, y algunos días más en Microsoft Academic, Dimensions, y demás contenedores digitales. En el caso de las redes sociales académicas (ResearchGate o Academia.edu) la accesibilidad será instantánea para todos los miembros de la red.  Puesto que sabemos que Google Scholar es el principal buscador de literatura científica en todo el mundo (con diferencias según especialidades; en biomedicina, el puesto indiscutido es Pubmed) la probabilidad de que se encuentre nuestro trabajo para cualquier persona interesada en él es máxima. Pero como las preferencias de los usuarios son muy diversas nos estamos asegurando una presencia automática en todas esas plataformas que, con audiencias distintas, pueden proporcionarnos visitas, lecturas, descargas, recomendaciones de nuestros documentos. Los caminos de Dios son inescrutables.

Reducir los tiempos que median entre la producción y publicación de un trabajo al mínimo es un factor clave en la aceleración de los procesos de citación. Dado que a día de hoy el recuento de citas es el indicador más empleado para medir el valor de un trabajo, los autores no pueden más que obtener provecho de esta acción.

 

Además, depositar implica otros réditos para el autor:

– Contar con un archivo perpetuo y seguro de su producción académica. La utilización adicional de uno o varios repositorios temáticos dependerá de los intereses científicos del autor. Normalmente facilitan la proyección internacional de los trabajos. No es problema depositar simultáneamente en varios repositorios (institucional y temático). Recuerda que Google Scholar encontrará las versiones y, normalmente, las unirá adecuadamente.

– Asegurarnos de una accesibilidad permanente a los trabajos (el repositorio nunca cierra… siempre está abierto).

– Disponer de una descripción bibliográfica normalizada y de un identificador (enlace URI) estable y persistente.

B. Construir una identidad digital: identificadores y perfiles bibliográficos

La presencia y difusión de la producción académica digital de un autor se verá potenciada si se dota de una correcta identidad digital, base de su reputación. Esto pasa, en primer lugar, por obtener el identificador bibliográfico ORCID (el DNI científico de un autor), pues se ha convertido en el estándar de facto y será clave en el futuro pues facilitará todos los procesos técnicos de interconexión y enlazado de documentos, citas y demás métricas asociadas.

En segundo lugar, sería muy recomendable que el autor dispusiera de perfiles bibliográficos en Google Scholar Citations (imprescindible por omnicomprensivo y por su masivo uso) y en una red social académica (preferentemente en ResearchGate por sus prestaciones sociales, métricas y creciente uso). Disponer de otros perfiles ResearcherID, Scopus, Mendeley, Microsoft Academic, Academia.edu, Aminer, Loop, LinkedIn…) creo que añade poco y puede resultar abrumador y enojoso. Recuérdese que es relativamente fácil crearlos, pero trabajoso rellenarlos y, sobre todo, mantenerlos limpios cuando las actualizaciones no son automáticas o no pueden serlo (autores con apellidos muy comunes). Lo que sería aberrante es que estemos todo el día limpiando perfiles. El sistema debe trabajar para nosotros, no nosotros para el sistema. Si el perfil se actualiza automáticamente (GSC, MA, Dimensions, Scopus-Mendeley, Academia.edu) perfecto; ahora bien, si no es así… mejor no engancharse.

Disponer de perfiles bibliográficos nos permite:

– Mejorar nuestra visibilidad (especialmente en Google Scholar donde son identificados singularmente y resaltados con hiperenlaces) porque a través de ellos difundimos, compartimos, hacemos accesibles nuestra producción.

– Obtener métricas que nos permiten calibrar el impacto de cada uno de nuestros trabajos, sabiendo con precisión quién lo cita, lee, descarga, recomienda o sigue.

– Seguir a científicos relevantes en nuestro tema y estar al día recibiendo alertas de trabajos nuevos publicados sobre un tema o por otros científicos que trabajan en el campo

– Gestionar el cv de manera más eficiente y rápida

– Disfrutar de otras prestaciones como disponer de una biblioteca personal (Mi biblioteca en Google Scholar, mi Librería en Mendeley donde guardar y organizar mis referencias bibliográficas preferidas; preguntar y responder cuestiones de mi interés (ResearchGate, Academia.edu), crear grupos que compartan mis intereses de investigación (Mendeley)…

Muchas de estas prestaciones abren nuevos mundos para la cooperación en la generación y difusión del conocimiento científico. 

Dado que estos son los nuevos escaparates de la ciencia, y nunca sabemos en cuál de ellos se van a adquirir nuestros productos (su composición demográfica es distinta) hay que optar por estar en aquellas que son más empleadas por nuestras comunidades científicas. No es razonable figurar en todas. 

C. Propagar

La última tarea a la que se enfrenta un autor hoy día a fin de conseguir una máxima difusión de sus publicaciones es emplear los múltiples canales que han proliferado para irradiar nuestra voz más allá de las fronteras disciplinares y profesionales habitadas. Me refiero a los blogs, Youtube y las redes sociales generales como Twitter, Facebook, Instagram, donde podemos compartir enlaces a nuestros trabajos, mensajes cortos con los hallazgos nucleares, imágenes o vídeos explicativos de las ideas generadas. De momento, es Twitter el altavoz preferente empleado por los científicos para diseminar sus trabajos.

En definitiva, hoy el autor dispone de medios gratuitos a su alcance para publicar, almacenar y publicitar sus investigaciones sin ninguna traba, poniéndola a disposición de la sociedad. Y debe hacerlo básicamente por tres razones:

– Deber y responsabilidad: el científico se debe a la sociedad que le mantiene a través de los fondos públicos.

– Altruismo: compartir el conocimiento con los demás es uno de los más bellos anhelos de la ciencia. Produce, además, plena satisfacción personal

– Egoísmo:  favorece la difusión visibilidad e impacto de sus trabajos

2. Bibliotecarios y repositorios

La ruta verde de la comunicación científica exige canales que faciliten la publicación de los resultados de investigación. Ese es el papel de los repositorios institucionales y temáticos, pues no sólo hacen factible el depósito (un archivo permanente) sino también el acceso abierto de manera sostenible a los contenidos. Es por esta razón por la que se han convertido en pieza clave del acceso abierto. Según OpenDoar existen más de 3,500 repositorios.

Asumida la relevancia de los repositorios resulta obvio que su presencia y visibilidad en la Web, y especialmente en los motores de búsqueda, como Google y Google Scholar, Bing, Microsfoft Academic…, resulta imprescindible para asegurar que los contenidos que éstos atesoran sean realmente accesibles a la comunidad.

Lamentablemente diversos estudios han constatado en los repositorios no sólo problemas de navegabilidad y usabilidad sino de visiblidad en los motores de búsqueda. Y como efecto directo de estas deficiencias se aprecia una renuencia de los autores a usar sus repositorios institucionales. La pregunta es lacerante pero hay que plantearla con crudeza ¿Por qué los autores que por mandato de nuestras leyes debieran depositar sus artículos en los repositorios institucionales no lo hacen y en cambio sí acuden a plataformas como ResearchGate donde suben o aceptan ilegalmente la subida de documentos protegidos por el copyright?

Hace unos años en una sesión formativa con bibliotecarios tuve la ocasión de demostrarles el por qué ocurría esto y para ello comparamos el depósito de un documento en ResearchGate y el repositorio, y posteriormente repasamos las prestaciones de uno u otro. No hay color… lo entendieron rápido. Estas son las razones:

  1. Porque es el canal de publicación y difusión más directo que conozco: documento subido, documento difundido, -en el acto-.
  2. Porque permite con extraordinaria facilidad glosar, comentar, recomendar, criticar cualquiera de los documentos.
  3. Porque posibilita el contacto directo con otros investigadores a los cuales se puede seguir estando alerta de lo que hacen, preguntar, responder, solicitar consejo, pedir documentos…
  4. Porque dispone de un sistema de alerta muy efectivo que te informa puntualmente de la actividad de personas o de temas de interés
  5. Porque ofrece un DOI, identificador permanente, de manera gratuita
  6. Pero sobre todo porque ofrece métricas instantáneas con cara y ojos.

Es por todo ello por lo que es profundamente adictivo. Ahí radica la clave de su éxito. No por casualidad se le llamó el facebook académico. Y por supuesto que RG tiene d-efectos. No me gusta, la filosofía cerrada de la plataforma: proyectada para absorber documentos, atención, participación..; el RG score, su métrica estrella, está diseñado para premiar la interacción continua con el sistema; su agresividad para captar clientes y enredarlos… odiosos y reiterativos mensajes incitando al en-redo y bombardeando el ego…; poco transparente y altruista: dispuesto siempre a recibir pero no a dar. Y, tal vez lo peor, existe un serio riesgo sobre su sostenibilidad: ¿quién nos asegura que cualquier día no suspende el servicio o lo convierte en servicio de pago como ha sido el caso de Academia.edu?

Los bibliotecarios deben tomar nota y evitar que los repositorios sean cementerios de documentos, como hasta ahora han sido, salvo honrosas excepciones. Y no basta con llenar la pantalla con los archiconocidos iconitos de decenas de redes sociales para que se comparta un documento. Se necesita:

  1. Ofrecer opciones de interacción y participación para que los lectores puedan comentar, recomendar, valorar, preguntar…
  2. Aparte de las métricas de uso actualmente ofertadas (visitas, descargas) conviene brindar todas las métricas de citas posibles (Google Scholar, Dimensions, WoS, Scopus) así como todas las métricas alternativas (altmetrics…).
  3. Sistemas de alerta automática de detección de documentos potencialmente depositables.
  4. Elaboración automática a partir de datos agregados de perfiles de autor y de entidades pertenecientes a la organización con sus correspondientes métricas.

Me consta que algunos repositorios están ya caminando en esta dirección. Si hacen esto no serán los bibliotecarios los que tendrán que buscar a los investigadores para que depositen, serán ellos los que acudirán en tropel al repositorio. Ante este cúmulo de servicios los autores caerán rendidos y no desearán salir del resort.

3. Gestores y responsables de políticas públicas de investigación

Los responsables de la investigación generada en las instituciones, fundamentalmente universidades y centros de investigación, así como los financiadores públicos locales, regionales, nacionales e internacionales tienen el deber de establecer mandatos efectivos para que sus investigadores depositen según lo señalado anteriormente una copia de todo trabajo académico que generen en el repositorio institucional. Y no basta con declaraciones más o menos pomposas e instrucciones cuyo cumplimiento no se comprueba, es preciso establecer medidas para que el investigador sepa que si no cumple tendrá perjuicios (imposibilidad de acceder a determinadas subvenciones, recursos, etc…).

Los gestores deben ser conscientes que esta política es fundamental para mejorar la visibilidad y repercusión de la investigación y de la imagen de la propia institución. Sería magnífico que su compromiso con abrir el conocimiento que se genera en la institución depositándolo en sus archivos sea tan obsesivo como lo es actualmente su ofuscación con las posiciones que alcanza la institución en los rankings de universidades.

4. Agencias de evaluación

Como ya apunté en la primera entrega de este serial, si la política de evaluación científica sigue basándose en el uso del índice impacto de las revistas como única vara de medir el valor de las publicaciones y del rendimiento de los investigadores, práctica denunciada años ha (DORA, Leiden), me temo que la ruta dorada de acceso al conocimiento seguirá sin inmutarse. No sólo es incorrecto tasar el valor de un científico o de una institución por el impacto de las revistas en las que publica sino que es bien sabido desde hace años que se trata de un enfoque estadísticamente erróneo: la distribución del mérito (las citas) de los artículos en una revista es desigual y asimétrica. El índice de impacto, que es un simple promedio, no es por tanto representativo del valor de cada uno de los artículos publicados.

No quiero con esto decir que estos índices no sean indicadores (proxys) de nada. Sin duda guardan alguna relación con la relevancia, complejidad y sofisticación técnica de los trabajos y, dada la elevada competencia que existe por colocar artículos en estos cotos cerrados, pueden tomarse como índices de competitividad. Pero ir más allá es peligroso y nocivo. Fueron útiles cuando la tecnología no nos permitía a gran escala medir el valor individual de cada trabajo como ocurre ya hoy.

Además, y esto es lo peor, las métricas basadas en el canal de publicación generan un efecto embudo que beneficia a las grandes multinacionales de la edición científica pues estas son las propietarias de las revistas mejor escalafonadas; revistas donde los autores, cuyo trabajo es financiado con fondos públicos, están dispuestos a pagar lo que se le pida (disparatados APC). El mismo fenómeno, incluso más acusado, ocurre con las editoriales de monografías. Al ser menor el número de editoriales la concentración monopolística es todavía más extrema. Un puñado de editoriales por mor de su posición en un ranking x pasa a obtener pingües beneficios, con una cola de autores en la puerta dispuestos a pasar por ventanilla. En España, algunas editoriales, sobre todo las extranjeras, están engordando sus cuentas de resultados gracias al dinero de los infaustos autores hispanos, mejor dicho, al dinero público graciosamente subvencionado por el Estado.

Hace pocas semanas en España, un país “modélico” por la aplicación de estas políticas evaluativas, el Tribunal Supremo sentenció que los artículos de revista no debían de valorarse exclusivamente por el medio en el que se publicaban sino que debiera analizarse su propio valor. La sentencia, que no hace más que aplicar el sentido común (valorar algo por lo que es no y por lo que aparenta), no sabemos que efectos tendrá en las prácticas evaluativas de nuestras agencias… Esperemos que no se salde en unas frases protocolarias puramente burocráticas. En cualquier caso, viene a coincidir con este cambio orientación que las tecnologías evaluativas están propiciando.

Afortunadamente ya no es solo una cuestión de sentido común pues disponemos de plataformas que ya están tentativamente ofreciendo esas métricas individualizadas.

En definitiva, si las prácticas de comunicación están condicionadas por las políticas de evaluación, y no está en nuestras manos cambiarlas de un plumazo, sería ilusorio pensar que la realidad cambiará por arte de magia o por una acción beatífica de los investigadores. Ese fue el error de los apóstoles del OA, pensar que bastaba con desarrollar infraestructuras para que los investigadores depositaran “gratis et amore” sus creaciones. ¿Por qué muchos repositorios institucionales están vacíos o medio vacíos? ¿Por qué los científicos no depositan masivamente sus trabajos? Como nos enseñó Merton, para los científicos el amor al conocimiento no es nada sin el amor al re-conocimiento.

Y vuelvo al principio, si no modificamos los criterios, procedimientos e indicadores empleados en la evaluación de los científicos la ruta verde de la comunicación científica se verá dificultada que no impedida. Creo haber mostrado a los autores que incluso en el ecosistema actual pueden adoptar unas prácticas comunicativas más saludables y beneficiosas para sus intereses académicos. Por tanto, prediquemos con el ejemplo y empujemos para el cambio. Pongamos en derecho lo que ya hacemos de hecho… En cualquier caso estamos en un cambio de paradigma que es irreversible porque la tecnología es la que lo aviva y ella no se detendrá…

No obstante, el que las nuevas tecnologías de la comunicación permitan la autonomía absoluta del autor respecto a todos los agentes tradicionales de los circuitos de comunicación no quiere decir que esta sea la opción que vaya a implantarse de manera inmediata. Los intereses creados son muchos y variados, los tentáculos de los agentes del circuito editorial y de evaluación alargados y poderosos, las inercias pesadas…

Pasar de un mundo cerrado y controlado previamente (revisión por pares ex ante) a un mundo abierto y controlado posteriormente (evaluación ex post donde los científicos pueden comentar, discutir, mencionar, reseñar, referenciar, etiquetar, compartir, valorar: puntuar, gustar, votar) o abiertamente descontrolado (el caos) es difícil imaginar a día hoy. ¿Puede existir orden en el caos? ¿podríamos admitir la existencia de un darwinismo documental que elimina lo irrelevante y destaca por sí mismo lo novedoso y significativo? Muchas preguntas, muchas incertidumbres, apasionantes retos, bellos sueños, inciertos caminos…

Referencias bibliográficas:

Harseim, T.; Goodey, G (2017). How do researchers use social media and scholarly collaboration networks (SCNs)? Nature Blog, 15 Jun 2017 http://blogs.nature.com/ofschemesandmemes/2017/06/15/how-do-researchers-use-social-media-and-scholarly-collaboration-networks-scns

Orduña-Malea, E., Delgado López-Cózar, E. (2015). The dark side of Open Access in Google and Google Scholar: the case of Latin-American repositories. Scientometrics, 102(1), 829-846. https://doi.org/10.1007/s11192-014-1369-5

Borrego, Á. (2017). Institutional repositories versus ResearchGate: The depositing habits of Spanish researchers. Learned Publishing, 30(3), 185-192. https://doi.org/10.1002/leap.1099 

Jamali, H. R. (2017). Copyright compliance and infringement in ResearchGate full-text journal articles. Scientometrics, 112(1), 241-254. https://doi.org/10.1007/s11192-017-2291-4

Delgado López-Cózar, E. Abriendo camino hacia un nuevo modelo de comunicación científica y de medición de su impacto. En: I Semana Internacional del acceso abierto, “Publica y difunde en acceso abierto: ¡hazte visible!”. Universidad de Valencia, 21 de octubre de 2013. http://hdl.handle.net/10481/28569

Delgado López-Cózar, E. Cómo difundir y medir el impacto de la investigación en Educación: viejos problemas, nuevos horizontes. En: XVI Congreso Nacional y II Internacional de Modelos de Investigación Educativa: “Investigación e innovación educativa al servicio de instituciones y comunidades globales, plurales y diversas”. Alicante, 4-6 de septiembre, 2013. http://hdl.handle.net/10481/28571  

Delgado Lopez-Cozar, E., Ruiz-Pérez, R., Jiménez-Contreras, E. (2007). Impact of the impact factor in Spain. British Medical Journal, 334(7593). https://www.bmj.com/content/334/7593/561/rapid-responses

DORA: Declaración de San Francisco sobre la evaluación de la Investigación. https://sfdora.org/read/es/

Hicks, D., Wouters, P., Waltman, L., Rijcke, S. D., Rafols, I. (2015). Bibliometrics: the Leiden Manifesto for research metrics. https://doi.org/10.1038/520429a

Jiménez-Contreras, E.; Delgado López-Cózar, E.; Ruiz-Pérez, R., Fernández, V.M. (2002). Impact-factor rewards affect Spanish research. Nature, 417(6892), 898. https://www.nature.com/articles/417898b

Martín-Martín, A., Costas, R., van Leeuwen, T., Delgado López-Cózar, E. (2018). Evidence of Open Access of scientific publications in Google Scholar: a large-scale analysis. Journal of Informetrics 12(3), 819-841. https://doi.org/10.1016/j.joi.2018.06.012

Martín-Martín, A., Orduna-Malea, E., Delgado López-Cózar, E. (2017). Scholar Mirrors: Integrating evidence of impact from multiple sources into one platform to expedite researcher evaluation. STI 2017 Conference Science, Technology and Innovation indicators: “Open indicators: innovation, participation and actor-based STI indicators”.  https://doi.org/10.31235/osf.io/z4bwe

Martín-Martín, A., Orduna-Malea, E., Thelwall, M., Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. https://doi.org/10.1016/j.joi.2018.09.002

Martín-Martín, A., Orduña-Malea, E., Ayllón, J. M., Delgado López-Cózar, E. (2014). Does Google Scholar contain all highly cited documents (1950-2013)? EC3 Working Papers, 19 https://arxiv.org/abs/1410.8464  

Martín-Martín, Al.; Orduna-Malea, E.; Delgado López-Cózar, E. (2016) The role of ego in academic profile services: comparing Google scholar, ResearchGate, Mendeley, and ResearcherID. Impact of Social Sciences Blog (04 Mar 2016). http://eprints.lse.ac.uk/id/eprint/66693

Orduna-Malea, E., Delgado López-Cózar, E. (2017). Performance behavior patterns in author-level metrics: a disciplinary comparison of Google Scholar Citations, ResearchGate, and ImpactStory. Frontiers in Research Metrics and Analytics2, 14. https://doi.org/10.3389/frma.2017.00014

Orduna-Malea, E., Martín-Martín, A., Thelwall, M., Delgado López-Cózar, E. (2017). Do ResearchGate Scores create ghost academic reputations? Scientometrics112(1), 443-460. https://doi.org/10.1007/s11192-017-2396-9

Orduna-Malea, E.; Martín-Martín, A.; Thelwall, M.; Delgado López-Cózar, E. (2017) The ResearchGate Score rewards academics’ active participation on the platform above their publications and citations. Impact of Social Sciences Blog (25 Sep 2017). http://eprints.lse.ac.uk/id/eprint/85019

Orduña-Malea, E., Delgado-López-Cózar, E. (2018). ¡Viva la competencia! Nuevas dimensiones para la búsqueda y evaluación de la información científica. Anuario Think EPI, 12, 304-309. https://doi.org/10.3145/thinkepi.2018.45

Orduña-Malea, E., Martín-Martín, A., Delgado López-Cózar, E. (2016). ResearchGate como fuente de evaluación científica: desvelando sus aplicaciones bibliométricas. El profesional de la información, 25(2), 303-310. https://doi.org/10.3145/epi.2016.mar.18

Orduña-Malea, E., Martín-Martín, A., Delgado-López-Cózar, E. (2016). The next bibliometrics: ALMetrics (Author Level Metrics) and the multiple faces of author impact. El profesional de la información25(3), 485-496. https://doi.org/10.3145/epi.2016.may.18     

Ramon y Cajal, S. El mundo visto a los 80 años: impresiones de un arteriosclerótico. Madrid, 1934.

Ruiz-Pérez, S.; Delgado López-Cózar, E. (2017). Spanish researchers’ opinions, attitudes and practices towards open access publishing. El profesional de la información, 26(4): 722-734. https://doi.org/10.3145/epi.2017.jul.16

Wilsdon, J. (2016). The metric tide: Independent review of the role of metrics in research assessment and management. Sage. https://core.ac.uk/download/pdf/83941909.pdf

Cómo citar esta entrada:

Delgado López-Cózar, E. (2018). La hoja de ruta verde de la comunicación científica ¿qué podemos hacer autores, bibliotecarios, gestores y agencias de evaluación para cambiar las cosas? Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/5397

 


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.