¿Cuánto oro hay entre la arena? Minería de datos con los resultados de España en PISA 2015

Por Inmaculada Asensio Muñoz*, Elvira Carpintero Molina*, Eva Expósito Casas** y Esther López Martín**

*Universidad Complutense de Madrid

**Universidad Nacional de Educación a Distancia

 

Desde el inicio de las evaluaciones PISA abundan los estudios que pretenden, en lenguaje metafórico, “separar el oro de la arena”, esto es, producir, de la cantidad ingente de datos recogidos, conocimiento útil que guíe la práctica y las políticas educativas. Pero no son frecuentes las investigaciones que usan técnicas de minería de datos para la extracción de dicho conocimiento. En este trabajo publicado en el número 270 de la Revista Española de Pedagogía se analizan los cuestionarios de contexto desde una perspectiva métrica, con una metodología basada en “árboles de regresión” destinada a descubrir cuánto “oro” hay en los ítems que los componen, atendiendo a su uso como predictores del desempeño de los jóvenes españoles.

De manera más específica, centrándonos en el uso particular de los cuestionarios de contexto como instrumentos de medida de las variables explicativas del desempeño, el objetivo del presente estudio es explorar las bases de datos procedentes del estudio PISA para España con el propósito de saber cuánto conocimiento pedagógico hay en ellos y qué ítems lo aportan. En suma, considerando como unidad de análisis el ítem, se trata de encontrar argumentos de validez de las medidas obtenidas a partir de los cuestionarios de contexto de PISA, utilizando, como criterio, el desempeño en ciencias, lectura y matemáticas y, como metodología, la técnica de minería de datos con árboles de regresión. Se persigue así contribuir a avanzar en el estudio de la validez basada en evidencias de las medidas procedentes de los cuestionarios de contexto, mediante la identificación, ordenación y selección de aquellos ítems más relevantes por su valor predictivo de las competencias evaluadas en PISA 2015 en el ámbito del sistema educativo español. La muestra del estudio está constituida por los jóvenes españoles de 15 años que participaron en la evaluación (N= 39066), los padres y madres de estos alumnos que cumplimentaron el cuestionario dirigido a las familias (N= 4753) y los directores (N= 1177) y profesores (N=3894) de los centros educativos en los que estaban matriculados.

Como método de análisis se ha utilizado el procedimiento CART (Classification And Regression Trees) que aporta segmentaciones binarias y una medida de la importancia de las variables independientes, unido a ello, con el objetivo de contar con una selección de predictores se hizo uso del procedimiento CHAID (Chi Automatic Interaction Detection).

Entre los resultados más destacados podemos señalar que el cuestionario de estudiantes resulta ser el más informativo en todas las materias, mientras que los cinco cuestionarios restantes alcanzan un valor predictivo menor, siendo el destinado a docentes el que menos contribuye a la explicación de diferencias en las tres materias estudiadas. Los resultados para cada uno de los cuestionarios muestran resultados de gran interés. En primer lugar, en el análisis del cuestionario destinado a estudiantes son el grado que cursa el estudiante, seguido de su nivel de expectativas, las dos variables más importantes en las tres materias. En el cuestionario sobre la trayectoria educativa es el “cambio de programa de estudios” la variable más importante por su relación con lectura y “no necesitar clases particulares de matemáticas” la más importante por su relación con ciencias y matemáticas. En el cuestionario dirigido a las familias el interés por una carrera de ciencias ocupa la primera posición en ciencias y en lectura y los ingresos de las familias son la variable más importante por su relación con el desempeño en matemáticas. En cuanto a la escuela, la titularidad es la variable más importante en lectura, mientras que el porcentaje de alumnos que proceden de hogares socioeconómicamente desfavorecidos lo es en ciencias y matemáticas. Por último, en el cuestionario dirigido a profesores, se observa una importante consistencia para las tres materias ya que de las 11 variables seleccionadas, todas importantes en ciencias, 7 son comunes. La infraestructura de la escuela percibida por el profesor es la variable más relacionada con el desempeño medio del centro en ciencias, mientras que la estabilidad profesional del docente es la más relacionada con el desempeño en lectura y matemáticas.

La novedosa perspectiva metodológica del estudio, permite una visión global de la importancia de cada ítem de los cuestionarios respecto de los demás en cada una de las competencias evaluadas, reportando evidencias de la validez, en los seis cuestionarios de contexto aplicados en PISA 2015, aunque es el cuestionario de estudiantes el que demuestra un mayor poder predictivo. Una de las aportaciones claras derivadas del uso de la metodología CART es la asignación de valores numéricos a las variables según su importancia relativa en la explicación de la variable, lo que permite cuantificar sus “quilates”. La tasación de los ítems de los cuestionarios de contexto ofrece una panorámica global de los que más importan (y también de los que menos) en la explicación de las diferencias de desempeño. Por ello, la aplicación de las técnicas de minería de datos en el estudio de los cuestionarios de contexto de las evaluaciones a gran escala se presenta como una herramienta exploratoria previa útil para la selección informada de aquellos predictores que han de ser considerados en los análisis secundarios derivados de dichas evaluaciones, aportando argumentos estadísticos de importancia que complementan a los argumentos teóricos necesarios, mejorando la productividad de la investigación pedagógica derivada de PISA.

Fuente original:

Asensio Muñoz, I., Carpintero Molina, E., Expósito Casas, E., y López Martín, E. (2018). ¿Cuánto oro hay en la arena? Minería de datos con los resultados de PISA 2015 en España. Revista Española de Pedagogía, 76 (270), 225-245.

Cómo citar esta entrada:

Asensio Muñoz, I., Carpintero Molina, E., Expósito Casas, E., y López Martín, E. (2018). ¿Cuánto oro hay en la arena? Minería de datos con los resultados de PISA 2015 en España. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/3836


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.