Enlaces accesibilidad
menú principal menú principal
Preguntas para una década
Preguntas para una década

¿Cómo evaluar el rendimiento educativo? Cuestiones más allá de los ránkings del informe PISA

Definir qué se entiende por un buen resultado académico y cómo medirlo está en el inicio, centro y final del debate sobre modelos de educación. Con un protagonista, el informe PISA que elabora la OCDE, cuyo ruido mediático y político ha impedido ir más allá de sus resultados más superficiales; pero los actores educativos reclaman un cambio.

Por
Preguntas para una década: cómo evaluar el rendimiento educativo
Definir qué se entiende por un buen resultado académico es clave en el debate sobre modelos educativos.
anterior siguiente

Cada tres años, el Programa para la Evaluación Internacional de los Estudiantes (PISA, en sus siglas en inglés) evalúa el nivel de los estudiantes de 15 años —en la recta final de la educación obligatoria— en lectura, matemáticas y ciencias; y a partir de las puntuaciones medias establece un ránking de países en estas competencias básicas.

El informe PISA, que elabora desde el año 2000 la OCDE, es la herramienta más consolidada y, en España en particular, tiene un gran eco en los medios y en las propuestas de políticas educativas. En 2021 debería haberse llevado a cabo; sin embargo, la pandemia de COVID-19 ha obligado a retrasarla a la primavera de 2022, y sus resultados no llegarán hasta diciembre de 2023. Pero en medio de las nuevas reformas en Primaria, Secundaria y Formación Profesional, cabe preguntarse por el uso de este tipo de evaluaciones como termómetro de la educación.

España en los informes PISA

Un termómetro que ha ido variando. En las primeras ediciones de PISA, Finlandia ocupaba el número uno, y todos los países querían imitar sus métodos; pero en las últimas se ha visto rebasado por provincias de China, Singapur y Corea del Sur, con sistemas educativos muy diferentes. En 2018, China lideró las clasificaciones, algo controvertido por la presión a la que se somete a los alumnos para conseguir los mejores resultados.

Ahí aparece una de las primeras críticas al protagonismo de PISA: que "copiar" los modelos de educación de los primeros en la lista sin tener en cuenta las diferencias culturales de cada país no garantiza una mejora y probablemente es una mala idea.

En estas pruebas, España está históricamente cerca de la media de la OCDE, aunque casi siempre por debajo y también detrás de otros países avanzados de la Unión Europea. En el último PISA, cayó en todos los indicadores, al igual que la mayoría de los países desarrollados. De los 79 países participantes solo siete mejoraron sus resultados de manera significativa y solo uno, Portugal, es miembro de la OCDE. Ahora, Portugal obtiene mejores puntuaciones que España y el líder europeo es Estonia.

Cuando salió PISA 2018, los titulares destacaron que España había sacado sus peores resultados en ciencias y que se estancaba en matemáticas, con puntuaciones similares a las de Hungría y Lituania. Hubo otra polémica, y es que la OCDE decidió no publicar los datos de España en comprensión lectora por "anomalías" y el "comportamiento inverosímil" de los alumnos en las respuestas. No obstante, seis meses después se difundieron los resultados y España había bajado a 477 puntos, 19 menos que en 2015 y "significativamente" por debajo de la media de la OCDE.

Es una constante. Cada vez que aparecen los resultados de estos informes, se empieza a hablar de educación, se reparten culpas y los políticos reaccionan. Pedagogos e investigadores consultados por DatosRTVE critican los análisis de corto vuelo que se detienen en la consulta de las puntuaciones y la elaboración de ránkings, sea para compararse o para renegar de ellos, y que no proyectan soluciones para mejorar.

Críticas al 'resultadismo' del informe PISA

Se ha criticado que evaluaciones como PISA y similares reducen la complejidad educativa al centrarse en unos contenidos que, por fundamentales que sean, abarcan solo parte de lo que se aprende, y que terminan desplazando a otras materias menos "cognitivas" y también más difíciles de evaluar.

Sobre ello advierten expertos como Francisco Imbernón, catedrático de Pedagogía de la Universidad de Barcelona. "Los pedagogos decimos que la evaluación externa está muy bien, pero hay que prestar atención a otros resultados y la importancia de otras materias: la música, la plástica, la educación física, los valores, la ciudadanía, que no se tienen en cuenta".

Es decir, si la evaluación se centra en los rendimientos cuantitativos, tenderá a evaluar solo aquello que se pueda poner en una escala. Algo así como la llamada Ley del Martillo, que define la confianza exagerada en un instrumento que resolverá todos los problemas, pero oculta el hecho de que "si la única herramienta que tienes es un martillo, todo problema se parece a un clavo".

Peor es para los detractores de PISA que, por la obsesión de verse bien situados en un ránking, hay gobiernos que caen en la tentación de adaptar sus políticas educativas para que los alumnos saquen mejor nota en los informes.

¿Todos? No. Imbernón cita precisamente el caso de Finlandia, que cambió su sistema para transformar la educación más "tradicional" y después de eso bajó en los índices que al principio lideraba. "Decidieron incorporar otros criterios que consideraban importantes, como los valores, la ciudadanía democrática y participativa. Perdió importancia la enseñanza de matemáticas, la lengua y las ciencias en favor de otros factores educativos no cognitivos. ¿Y es muy importante para Finlandia haber bajado? Pues no, porque no cede a la idea de educar a sus alumnos para que salgan bien evaluados en el informe PISA".

En la misma línea, se critica que la presión por los resultados condicione el trabajo de los profesores. Hasta el punto de verse "proletarizados", en palabras de Carmen Rodríguez, doctora en Pedagogía en la Universidad de Málaga, para enseñar de modo que "cuanto más se ajusten a estas pruebas, mejor". Así, "se carga a los alumnos con exámenes repetitivos para que demuestren que saben hacer esas pruebas y que las hacen mejor que nadie porque se las enseñan". En consecuencia, concluye, "se pierde todo lo que es la innovación, los proyectos educativos, trabajos que son mucho más fructíferos para una educación que tenga en cuenta la atención personalizada" [Ver preguntas liberadas de PISA 2018 en la prueba de lectura].

La OCDE ha respondido a esos reproches ampliando el análisis de PISA más allá de los conocimientos instrumentales. Ahora, en cada ciclo se explora una competencia innovadora, como la resolución colaborativa de problemas (2015), la competencia global (2018) y la competencia financiera, que se evalúa desde 2012. En 2022, se estudiará de manera específica el pensamiento creativo. Y PISA también analiza factores que influyen en las destrezas de los alumnos, mediante amplios cuestionarios de contexto. Lo que ocurre es que este aparato estadístico no suele superar el listón de los medios.

Más allá de las puntuaciones y los ránkings, es posible cuantificar las brechas sociales detrás de las diferencias de resultados en un territorio. Aplicando un índice socioeconómico y cultural, al descontar su efecto, las diferencias entre las puntuaciones de centros públicos y privados se reducen siempre (ver gráfico a continuación). En el caso de España, solo en Canarias (35 puntos), Ceuta (34), Madrid (13) y País Vasco (15) los estudiantes de los centros privados obtienen una puntuación en matemáticas significativamente más alta que los de los centros públicos.

También impacta en las puntuaciones el peso de los alumnos de origen inmigrante, como recuerda el catedrático Francisco Imbernón. "En las pruebas PISA sus resultados son inferiores a los obtenidos por los nacionales. Los alumnos inmigrantes se concentran en los centros públicos, lo que repercute negativamente sobre los alumnos nativos; pero esto solo se produce cuando la concentración en las escuelas es superior al 20 %. Si hay una concentración mucho más baja, como suele haber en las escuelas concertadas, mejora el resultado de rendimiento académico". Una evidencia sobre los efectos de la segregación escolar, en la que España destaca para mal en la educación primaria.

La propia OCDE apunta a otro factor. Está comprobado que la repetición de curso perjudica al alumnado y no mejora su rendimiento, genera un gasto importante y frustración en los alumnos. Por eso, los educadores reclaman intervención temprana, especialmente en casos de mayor riesgo; un debate recurrente en España, el país desarrollado con más alumnos repetidores en Secundaria.

Por qué España es el país de la OCDE con más repetidores en secundaria
Por qué España es el país de la OCDE con más repetidores en secundaria JESSICA MARTÍN

Con una misma ley educativa, más de un curso de diferencia entre CCAA

España ha participado en todas las evaluaciones de PISA. En la última, se examinaron en todo el mundo 600.000 alumnos de 79 países y España aportó 36.000 estudiantes, una muestra que representaba al 92 % del alumnado de 15 años. Las comunidades autónomas pagan para ampliar su muestra y obtener una imagen nítida de su situación, lo que también les expone a comparaciones mutuas.

Aquí se repite la historia en clave regional. Comunidades como Castilla y León, Asturias, Galicia y Aragón destacan en los ránkings, con puntuaciones por encima de la media de la OCDE y de la Unión Europea, mientras otras como Andalucía, Extremadura y las ciudades autónomas de Ceuta y Melilla (cuya gestión educativa depende del Gobierno) están en los últimos puestos. Según los técnicos de PISA, una brecha de 30 puntos como la que separa a las primeras regiones de las últimas equivale a un curso escolar.

Así que cuando las comunidades no aprueban el examen de PISA, se desata la "tormenta". La de propuestas, ironiza el presidente de la Federación de Asociaciones de Directivos de centros educativos públicos (Fedadi), Raimundo de los Reyes. "En Murcia, con los últimos resultados PISA, la consejería hizo pública una relación de 60 medidas", cuenta a DatosRTVE.

"En el ámbito profesional —prosigue De los Reyes— querríamos que estas pruebas no sirviesen para generar polémicas. Los centros no utilizamos esto para sacar pecho ni para minusvalorar a nadie, porque entendemos las circunstancias de cada uno. Y las administraciones deberían hacer lo mismo, para ver por qué con una misma ley educativa se producen resultados tan diferentes".

Esa es la mayor crítica que se dirige al uso político que se hace de los resultados para elaborar un ránking de los niveles de los Estados, o de las administraciones regionales, que, lejos de ser palanca para el cambio, se convierten en la presentación periódica de una cuenta de resultados.

Literalmente. Porque, como afirma la profesora Carmen Rodríguez, los resultados de las evaluaciones se han filtrado para establecer ránkings en las comunidades y usado por directores de la enseñanza concertada para mostrar a las familias que buscan matricular a sus hijos. Ni PISA ni el Gobierno difunden los resultados por centros, pero en la actual "competitividad" entre la pública y la concertada y en un país "con mucha segregación entre centros", es un problema "grave", según esta profesora de Didáctica y Organización Escolar.

Muchas pruebas, poca confianza

Las de PISA no son las únicas pruebas que se realizan en España a los estudiantes. Existen más evaluaciones internacionales, las llamadas TIMSS —matemáticas y ciencias, aplicada en 4º de Primaria y 2º de la ESO— y PIRLS —comprensión lectora, en 4º de Primaria—, que se hacen cada cuatro y cinco años, respectivamente. Y además están las evaluaciones de diagnóstico, que puso en marcha el Ministerio de Educación a principios de siglo, se consolidaron en la LOE en 2006 y reaparecen en la última ley, la LOMLOE, para aplicar a los alumnos de 4º de Primaria y 2º de Secundaria, es decir, en la mitad de los ciclos de enseñanza obligatoria.

Estas evaluaciones "han funcionado bien, pero durante poco tiempo y de manera muy fragmentada", resume Lucas Gortazar, investigador y consultor especializado en educación en el Centro de Políticas Económicas de ESADE. Las dos evaluaciones nacionales en 2009 y 2010 fueron seguidas de pruebas autonómicas a todo el censo de estudiantes, pero se interrumpieron con la LOMCE para crear un nuevo tipo de evaluación, las reválidas, que generaron gran oposición y no llegaron a aplicarse. El resultado, señala Gortazar, fue "la desconfianza hacia las pruebas en general".

Reforzar estas pruebas está en el horizonte del actual Gobierno para los próximos años. En el documento estratégico España 2050, presentado este año, se plantean como objetivos transformar la carrera docente, modernizar el currículum apostando más por las competencias y menos por los contenidos "academicistas", ampliar la autonomía de los centros educativos, reforzar los mecanismos de apoyo a los colectivos más desfavorecidos y crear un sistema de evaluación eficaz, entre otros.

Una estrategia nacional y de futuro

La propuesta de España 2050 es medir "de manera sostenida en el tiempo, con evaluaciones que no ahoguen a los centros, que sean periódicas y que tengan una finalidad de diagnóstico", explica Gortazar, que ha participado en la elaboración de esta estrategia nacional.

Los objetivos fijados por el actual Gobierno para los próximos años pasarían por introducir un modelo de certificación competencial del aprendizaje al final de la ESO y rediseñar las pruebas de acceso a la universidad tras el Bachillerato (EBAU), consolidar las evaluaciones-diagnóstico, promover una evaluación continua orientada a la mejora de cada docente y del centro educativo, desarrollar un sistema estatal de indicadores para chequear en tiempo real el estado de la educación y crear una institución independiente que conecte la evidencia científica con las políticas y las prácticas educativas.

Ni opacidad ni sospecha hacia las evaluaciones en educación, sino todo lo contrario: datos abiertos, transparencia e intercambio. Gortazar defiende que la reacción ante las imperfecciones del sistema no puede ser matar al mensajero. A su juicio, hay que "consolidar una cultura de la evaluación que en el sector de la educación está bastante ausente. En España en general se evalúan poco las políticas públicas pero se evalúan todavía menos en el sector educativo". En un artículo en prensa reciente, el investigador señala que España tiene una oportunidad única para cambiar la cultura de la evaluación con el impulso de los fondos europeos de recuperación Next Generation.

Los docentes consultados por DatosRTVE coinciden en estas prioridades y en que la evaluación no es un fin en sí mismo, sino una herramienta de aprendizaje: "Cada vez se valora más la capacidad del alumno para afrontar situaciones y entonces utilizar lo que sabe. La educación obligatoria no puede consistir solo en acumular contenidos y volcarlos en un examen", afirma Raimundo de los Reyes.

Y al margen de los instrumentos de medida, estos docentes también subrayan la importancia de basar cualquier modelo educativo futuro en una mayor confianza en el profesorado y la autonomía de los centros, al margen de que se les exija rendir cuentas con la inspección educativa y las evaluaciones externas e internas, en un equilibrio más virtuoso que el habido hasta ahora.

"La sociedad está demandando que se hagan las cosas con rigor, que se sepan las cosas que funcionan, recoger información en tiempo real y ponerla no al servicio de los ránkings y la competitividad, sino de la mejora educativa y la implicación de los padres en la educación", afirma el consultor Lucas Gortazar. Para ello, está convencido de que se debe usar "la mejor ciencia disponible" para diseñar políticas con un verdadero impacto en la sociedad. "Es un imperativo".

Es noticia: