evaluación – Aula Magna 2.0

Medida del rendimiento académico en las evaluaciones PISA: luces y sombras

Por Fernando Martínez Abad[i]

Universidad de Salamanca

Palabras clave: RIE, Evaluación, Eficacia escolar, PISA, Rendimiento académico

A pesar de la existencia de numerosas evaluaciones educativas internacionales relevantes en las que participa España (e.g., ICCS, ICILS, PIAAC, PIRLS, TIMSS), parece que el sistema educativo entra en crisis solo cuando la Organización para la Cooperación y el Desarrollo Económicos (OCDE) publica una nueva edición del Programa para la Evaluación Internacional de Alumnos (PISA). Edición tras edición, esta evaluación del rendimiento en Ciencias, Lectura y Matemáticas de los estudiantes de 15 años suscita un enorme interés tanto a nivel social como académico, generando controversias y acalorados debates sobre el futuro y presente de nuestros sistemas educativos y, fundamentalmente, sobre su eficacia.

Continuar leyendo “Medida del rendimiento académico en las evaluaciones PISA: luces y sombras”

¿Quién vigila a los vigilantes? El caso de ChatGPT como evaluador de artículos en revistas especializadas

Por David Carabantes*, José L. González Geraldo** y Gonzalo Jover*

*Universidad Complutense de Madrid

**Universidad de Castilla La Mancha

Palabras clave: ChatGPT, inteligencia artificial generativa, evaluación, revistas

Si hace no mucho alertábamos del peligro que entraña el concepto de “ventana contextual” en toda esta amalgama de inteligencias artificiales que nos vienen sepultando desde hace meses (Jover, Carabantes y González-Geraldo, 2023), hoy ponemos sobre la mesa los resultados de una reciente investigación, publicada en El Profesional de la Información (EPI), en la que evidenciamos, precisamente, entre otros asuntos, este claro límite de los modelos de lenguaje generativos (Carabantes, González-Geraldo y Jover, 2023).

Con ella, hemos querido explorar el potencial de la Inteligencia Artificial (IA) para actuar como revisora de artículos académicos reales, ya publicados, participando así en un proceso clave en la comunicación científica. De esta forma, pusimos a prueba dos modelos basados en la arquitectura de ChatGPT (3.5 y 4) para evaluar hasta qué punto podrían desempeñarse como revisores en un hipotético proceso de revisión ciega por pares.

Continuar leyendo “¿Quién vigila a los vigilantes? El caso de ChatGPT como evaluador de artículos en revistas especializadas”

El rol de la inteligencia artificial en la evaluación educativa: retos y oportunidades

Por Jaime León^[i]

Universidad de Las Palmas de Gran Canaria

Palabras clave: RIE, Evaluación, Inteligencia artificial, ChatGPT, Procesamiento del lenguaje natural

Los expertos en ciencias sociales, en general, y en educación, en particular, trabajan para mejorar la sociedad. Pero existe un gran problema: evaluar o medir los avances en nuestro campo no resulta sencillo. Los métodos que empleamos para recoger información tienen sus limitaciones. Por ejemplo, métodos de recogida cerrados como los cuestionarios de opción múltiple nos proporcionan información muy básica y no nos cuentan toda la historia. Por otro lado, los métodos como las entrevistas o las respuestas abiertas en las encuestas nos aportan una gran cantidad de información, pero requieren un tiempo considerable para entenderla y analizarla. Aquí es donde la inteligencia artificial, y más específicamente el procesamiento del lenguaje natural, puede ser de gran ayuda.

Continuar leyendo “El rol de la inteligencia artificial en la evaluación educativa: retos y oportunidades”

Reflexiones sobre el rechazo de los artículos de investigación en Educación

Por Cynthia Martínez-Garrido

Editora de REICE. Revista Iberoamericana sobre Calidad Eficacia y Cambio en Educación

Palabras clave: REICE, Claves, Publicación, Revisión, Evaluación, Rechazo

Ya en 1983 la UNESCO dejó por escrito “La finalidad esencial de un artículo científico es comunicar los resultados de investigaciones, ideas y debates de una manera clara, concisa y fidedigna” y continuaba señalando “la publicación es uno de los métodos inherentes al trabajo científico” (p. 2). Parece, por tanto, que la tarea de escribir artículos es consustancial a la tarea de publicarlos. Si esto es así, ¿por qué a veces resulta tan complicado publicar?

Continuar leyendo “Reflexiones sobre el rechazo de los artículos de investigación en Educación”

La difícil tarea de ser decente y docente en la universidad de hoy

Por Katia Caballero^[i]y Marina García-Garnica ^[ii]

Universidad de Granada

Palabras clave: PROFESORADO, identidad profesional, neoliberalismo, evaluación, investigación y docencia universitaria

Desde que se inicia el proceso de Bolonia y con la máxima de crear un Espacio Europeo de Educación Superior competitivo, se han ido adoptando fórmulas de la Nueva Gestión Pública y sistemas de rendición de cuentas que están tambaleando los valores y desafíos sociales de la Universidad. Los sistemas de evaluación, así como la burocratización de los procesos se convierten en instrumentos al servicio de políticas neoliberales. Bajo el argumento ético de garantizar la calidad, se ha ido justificando lo que en realidad es un control férreo progresivo de la capacidad de decisión y acción del profesorado, produciéndose así una transformación de las identidades académicas.

Continuar leyendo “La difícil tarea de ser decente y docente en la universidad de hoy”

La competencia investigadora en los estudiantes universitarios

Por Jesús Miguel Rodríguez-Mantilla ^[i]

Director Adjunto de Bordón. Revista de Pedagogía

Universidad Complutense de Madrid

Palabras clave: BORDÓN, competencia investigadora, estudiantes, universidad, evaluación

En el contexto actual del siglo XXI, es indudable que la educación presenta cambios notables y desempeña un papel que va más allá de su carácter formativo. En este contexto, y dentro del marco del Espacio Europeo de Educación Superior (EEES), la universidad resulta un elemento clave para la innovación y la transformación. Ante esta responsabilidad, la universidad ha tenido que adaptarse y establecer cambios sustantivos en los enfoques pedagógico-curriculares, entre otros aspectos, haciendo hincapié en la necesidad de atender a problemas reales, en el desarrollo de competencias (no solo de estudiantes, sino también de docentes) y en la investigación formativa como una estrategia didáctica fundamental que ayude a resolver dichos problemas.

Continuar leyendo “La competencia investigadora en los estudiantes universitarios”

Una evaluación educativa en construcción digital

Por Elena Barberà-Gregori. Universitat Oberta de Catalunya y Cristóbal Suárez-Guerrero. Universitat de València

Palabras clave: Evaluación digital; evaluación híbrida; tecnologías de la información y la comunicación; educación digital de emergencia, COVID-19, feedback.

Era un día claro como pocos. Esa claridad dejaba ver nítidamente lo cercano y hasta lo más lejano en el campo de la evaluación educativa de la mano de la tecnología digital. A corto plazo se corrobora como se consolida lo digital en la mayor parte de procesos implicados en dicha evaluación (metodologías completamente digitales, rúbricas interactivas, clases híbridas, Apps de gestión de calificaciones,…) y, a largo plazo, se vislumbran aplicaciones sobre los últimos avances tecnológicos usados en el campo de la evaluación educativa (medios inmersivos, analíticas de aprendizaje para una evaluación adaptativa, robótica evaluativa,…). Pero nadie cuestiona que la luz solar ilumina al mismo tiempo que proyecta sombras al alcanzar los seres y los objetos situados en la faz de la tierra. Para los primeros, los seres vivos, esas sombras están en movimiento variable, hecho que resulta difícil de predecir en ciertas ocasiones; para los segundos, los objetos, las sombras dibujan una rutina constante regida bajo la ley solar. Para unos y otros, y con el fin de contribuir a esclarecer algunas de estas sombras, RIED ha publicado un monográfico sobre contribuciones que tienen como base la relación entre la evaluación educativa y la tecnología digital. Continuar leyendo “Una evaluación educativa en construcción digital”

Coronavirus, RIED y otras aportaciones

Por Lorenzo García Aretio.

Editor de RIED. Revista Iberoamericana de Educación a Distancia.

Palabras clave: educación a distancia, educación digital, COVID-19, confinamiento, evaluación, RIED, blog contextos.

Se ha cumplido ya un mes desde que en España se decretó el confinamiento de la mayor parte de la población en sus casas. Es decir, llevamos algo más de un mes con todos los centros educativos cerrados. Unos días antes ya Madrid se había adelantado a dicho cese de actividad.

Continuar leyendo “Coronavirus, RIED y otras aportaciones”

Un perfil más flexible del profesorado y de su evaluación: Actualización de criterios del ACADEMIA (ANECA) para Titular de Universidad

José Sánchez-Santamaría (UCLM. Editor adjunto de RELIEVE) y Francisco M. Aliaga (UV. Director de la revista RELIEVE)

“Cuando teníamos las respuestas nos cambiaron las preguntas”

(Adoum, en una calle de Quito, Ecuador)

Ante la publicación de los nuevos criterios de acreditación de los cuerpos docentes (Titular y Cátedra) de la ANECA en diciembre de 2019, con implantación a partir del 15 de enero de 2020, nos ha parecido oportuno realizar una entrada en la que llevar a cabo un análisis sobre los cambios que afectan al campo de Ciencias de la Educación, con las limitaciones propias de esta mirada y siguiendo el rastro de trabajos previos como el de Galán (2017).

Continuar leyendo “Un perfil más flexible del profesorado y de su evaluación: Actualización de criterios del ACADEMIA (ANECA) para Titular de Universidad”

El ranking de la FECYT frente a las revistas con Sello de Calidad: una herramienta en la dirección equivocada

Por Marta Ruíz Corbella* y Arturo Galán**

*Editora de Aula Magna 2.0. Editora Jefe de Educación XX1

**Editor de Aula Magna 2.0. Editor Jefe de Bordón. Revista de Pedagogía.

Facultad de Educación (UNED).

Palabras Clave: evaluación, ranking, Sello de Calidad, FECYT

Hace unos meses corrió un rumor sobre la existencia de un nuevo ranking de revistas científicas españolas que estaba manejando la ANECA en la evaluación del profesorado universitario (tanto para los sexenios como para las acreditaciones). Hace años que se viene oyendo que la CNEAI utiliza listados secretos, haciendo gala de una opacidad inexplicable que ya hemos criticado tanto en este blog como en artículos (Galán y Zych, 2011, Galán 2017a, 2017b, 2018). Como en España somos muy dados a la rumorología y nadie facilitaba este presunto listado, los editores de revistas no dimos mayor importancia a este asunto y sí a continuar trabajando en la mejora de nuestras revistas.

Continuar leyendo “El ranking de la FECYT frente a las revistas con Sello de Calidad: una herramienta en la dirección equivocada”