PISA: Evidencias, intereses, profesionales y aficionados

Por Francisco M. Aliaga.

Director de RELIEVE. Revista ELectrónica de Investigación y EValuación Educativa. Universidad de Valencia (UV)

Como cada tres años, el informe PISA vuelve a nuestras vidas. El estudio de la OCDE sobre el rendimiento educativo de los alumnos de 15 años en una gran variedad de países permite comparar con el estado de nuestros vecinos y con cómo estábamos hace años. El impacto político y mediático es indudable: durante unos días, las noticias y los comentarios sobre educación se generalizan por periódicos, tertulias televisivas, reuniones de amigos o taxis. Es mucha la gente que piensa que hay conclusiones nuevas e importantes que se deben tener en cuenta para conseguir una sociedad mejor, y como tal, se implican en el debate. De hecho, esto es una gran noticia: la educación es noticia.

Sin embargo, el informe PISA es un análisis de gran complejidad técnica (tamaños gigantescos de las muestras, muestreos representativos por países o regiones y por competencias). Su interpretación exacta no puede limitarse a un puesto en una clasificación, pero es que eso es casi lo más fácil de transmitir y de entender. Es un análisis simple, y como tal, bastante inexacto. Si preguntamos a alguien por su estado de salud, casi nadie aceptaría como aceptable una respuesta como ‘soy el segundo con mejor salud de mi familia’. Sin embargo, esa es básicamente la información con la que se queda la mayor parte de la gente: no es culpa suya, es lo que pueden entender fácilmente, sin tener que dedicar mucho esfuerzo o tiempo (estas vidas tan ajetreadas) a análisis más detallados.

Un caso aparte es el de los periodistas que hablan sobre el informe PISA (y sobre tantas otras cosas). Alguien definió la profesión de periodista (de modo intencionadamente exagerado), como aquellos profesionales que se dedican a explicar cosas que, con frecuencia, no entienden. Más allá de la boutade, es cierto que entrar en complejidades analíticas no sirve para atraer a mucha clientela: siempre es mejor un titular llamativo, chocante, y unos pocos datos (si es posible, en formato gráfico, que puedan entenderse de un vistazo. Eso sí atrae. Eso explica titulares sobre los resultados de España en PISA del tipo “La escuela se instala en la mediocridad” o “La educación española se estanca en ciencias y matemáticas y mejora en lectura “(El País), “¿Por qué la educación española sigue estancada?” (El Mundo), “España va al test PISA anclada en la mediocridad educativa” (El Periódico), “Los alumnos españoles mantienen un mediocre rendimiento” (ABC), ”PISA 2012: una España estancada y con más diferencias internas” (El Diario). Con esos titulares tremendistas (y completamente inexactos) no es de extrañar el debate que se suscita cada trienio (y más) con el dichoso informe PISA. Quien no esté alarmado ante esa forma de presentar las noticias (que no los hechos) debe de tener poca sangre en las venas … o conocimientos técnicos suficientes para saber que no es esa la verdad. Ante tanto sensacionalismo, pasan casi desapercibidos los esfuerzo de expertos en la materia (Carabaña, 2006, 2007, 2015; Jornet, 2016 etc.) para desmentir esos comentarios.

Mención aparte merecen los interesados esfuerzos de políticos (como Wert o Gomendio) y de grupos sociales interesados en utilizar, de manera sesgada, los resultados de PISA para conseguir sus propios fines. Utilizar las puntuaciones de España en PISA para justificar un cambio legislativo (cuando con las leyes vigentes las distancias entre comunidades autónomas eran mucho mayores que con la media de la OCDE o, en términos técnicos, cuando la varianza intra grupo es mucho mayor que la varianza entre grupos) es algo bastante desorientado, por decirlo con elegancia. Pero las presiones, políticas y económicas, con frecuencia consiguen que se transmitan las ideas que interesan a los poderosos, independientemente de la verdad.

Las investigaciones y el conocimiento técnico nos señalan, con frecuencia, que la realidad es diferente de lo que nos cuentan las noticias. Los resultados de la educación en España no son “mediocres” (en el sentido de “De poco mérito, tirando a malo”, que le da la RAE) sino que coinciden prácticamente con la media de los países más desarrollados (que es el otro sentido de ese término tan ambiguo). Con frecuencia, en las noticias se toman como relevante pequeños cambios en las puntuaciones. Como indica Martínez-Rizo (2016), las personas sin el adecuado conocimiento técnico no terminan de entender hasta qué punto la precisión de toda medición es limitada, por lo que pequeñas oscilaciones en la puntuación suelen representar probablemente problemas en la media más que cambios en lo medido. También es frecuente achacar los problemas de las puntuaciones (o su cambio) a pequeñas modificaciones legislativas que, en el mejor de los casos, deberían dejar transcurrir bastantes años hasta que puedan verse realmente sus efectos reales. De este modo, buscando la explicación de las puntuaciones obtenidas en dos o tres aspectos de la realidad, muchas interpretaciones buscan soluciones fáciles a problemas sumamente complejos y multidimensionales (Martínez-Rizo, 2016). Los aspectos sociales o familiares son difíciles y lentos de cambiar. Por eso, en una cierta ilusión de control, muchos relatos de la realidad mostrada por PISA tienden a centrarse en aspectos (legislativos, organizativos) más fáciles de modificar, pero con un peso real en los resultados bastante más moderado.

Hacemos un llamamiento para que las interpretaciones planteadas se hagan de manera documentada, contrastándolas con verdaderos expertos y con los datos realmente existentes. Son las evidencias las que habrían de guiar las conclusiones, no la ideología, los intereses o las interpretaciones superficiales. Aunque queda mucho prestigio por reconocer a la buena investigación educativa y mucha pedagogía que hacer con la medición educativa.

Referencias bibliográficas:

Álvarez, P. (2016). La educación española se estanca en ciencias y matemáticas y mejora en lectura. El País, 6 de diciembre de 2010. Consultado en http://politica.elpais.com/politica/2016/12/05/actualidad/1480950645_168779.html

Aunión, J.A. (2010) La escuela se instala en la mediocridad. El País, 8 de diciembre de 2010. Consultado en http://elpais.com/diario/2010/12/08/sociedad/1291762803_850215.html

Barroso, R. (2003).Los alumnos españoles mantienen un mediocre rendimiento en lectura, Matemáticas y ciencias. ABC, 2 de Julio . Consultado en http://www.abc.es/hemeroteca/historico-02-07-2003/abc/Sociedad/los-alumnos-espa%C3%B1oles-mantienen-un-mediocre-rendimiento-en-lectura-matematicas-y-ciencias_191812.html#

Carabaña, J. (2006). El ‘Informe PISA’, mala guía para la LOE. El País, 6 de marzo. Consultado en http://elpais.com/diario/2006/03/06/educacion/1141599607_850215.html

Carabaña, J. (2007). Avisos para no quedar en evidencia comentando PISA.  El País, 3 de diciembre. Consultado en http://elpais.com/diario/2007/12/03/educacion/1196636405_850215.html

Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: Catarata

El Mundo (2013). ¿Por qué la educación española sigue estancada? El Mundo, 4 de diciembre. Consultado en http://www.elmundo.es/espana/2013/12/04/529eecf30ab74005448b459c.html

El Periódico (2015). España va al test PISA anclada en la mediocridad educativa. El Periódico, 28 de abril. Consultado en http://www.elperiodico.com/es/noticias/sociedad/espana-test-pisa-anclada-mediocridad-educativa-4137962

Fernandez-Cano, Antonio (2016). Una crítica metodológica de las evaluaciones PISA. RELIEVE, 22(1), art. M15. doi: http://dx.doi.org/10.7203/relieve.22.1.8806  

Jornet, J.M. (2016). Análisis metodológico del Proyecto PISA como evaluación internacional. RELIEVE, 22(1), art. M1. DOI: http://dx.doi.org/10.7203/relieve22.1.829

Martínez-Rizo, Felipe (2016). Impacto de las pruebas en gran escala en contextos de débil tradición técnica: Experiencia de Méxito y el Grupo Iberoamericano de PISA. RELIEVE, 22(1), art. M0. doi: http://dx.doi.org/10.7203/relieve.22.1.8244

Sánchez Caballero, D. (2013). PISA 2012: una España estancada y con más diferencias internas. El diario, 03de diciembre. Consultado en http://www.eldiario.es/sociedad/Espana-aumenta-desigualdad-resultados-educativos_0_203330371.html 

Cómo citar esta entrada:

Aliaga, F. (2016). PISA: Evidencias, intereses, profesionales y aficionados. Aula Magna 2.0. [Blog]. Recuperado de: http://cuedespyd.hypotheses.org/2311

---

---