Sígueme en Twitter

    08 diciembre 2010

    Por una lectura sosegada (y compleja) de PISA



    Ayer día 7 se presentaron los resultados de PISA 2009. Es interesante (y en principio positivo) que en una semana tan plagada de noticias (los efectos de la huelga salvaje de los controladores aéreos, la detención de Julian Assange y el goteo de los documentos de Wikileaks, ...) PISA 2009 se ha hecho un hueco importante en todos los medios nacionales, regionales o locales: El País, El Mundo, ABC y el resto de periódicos se han hecho eco de los resultados y también hemos podido conocer la noticia retransmitida por radio y por televisión. Obviamente la blogosfera, la "tuitesfera" y el mundo Facebook también han recogido la publicación de los resultados.

    Sin embargo, en muchos casos la noticia que se recoge no pasa de la comparación superficial de los resultados medios en las tres "competencias" medidas. En muchos casos no se ha prestado atención a las recomendaciones de los expertos respecto a la lectura del Informe PISA ni tampoco han contrastado los datos con las expectativas previas que había sobre los resultados, como en Andalucía. En ciertos medios el titular "Madrid roza la élite del Informe PISA y Andalucía se estanca en la cola" entra simplemente en contradicción con el contenido del propio artículo:
    A pesar de estos resultados, el informe muestra que las diferencias entre resultados de comunidades autónomas es únicamente de un 4%, si se descuentan los rasgos socio-económicos y culturales.
    No quiero entrar en polémica ninguna ni provocar el típico comentario cuando se analizan las diferencias entre comunidades autónomas. Sólo quiero animarte a que eches un vistazo un poco más detallado a los resultados de PISA 2009 y a que te hagas algunas preguntas conmigo.

    Quizás podríamos empezar descargándonos el anexo B2, que detalla los resultados de las distintas regiones que solicitaron ser evaluadas de manera específica. Aquí podrás encontrar algunos datos que quizás te puedan ayudar a enriquecer tu opinión acerca de los resultados de PISA 2009. Así, por ejemplo, conocer la muestra que se ha utilizado para la evaluación es bien importante. Veamos algunos ejemplos utilizando la comparación que Expansión.com intenta hacer en su titular:
    • En la muestra andaluza el 74,5% del alumnado estudia en centros públicos frente al 60,6% madrileño; por el contrario, el 39,4% madrileño estudia en concertados o privados frente al 25,5% andaluz, un 13,9% más en el caso madrileño.
    • Un 29,8% del alumnado andaluz estudia en centros localizados en poblaciones de menos de 15000 habitantes mientras que en el caso madrileño esta cifra se limita al 13,2%; más concretamente, el 48,1% del alumnado madrileño participante en la evaluación reside en la capital.
      • La diferencia en lectura entre el alumnado madrileño que vive en la capital (518 puntos de media) y aquellos que viven en pueblos de entre 3000 y 15000 habitantes (462 puntos de media) son 56 puntos.
    • Los estudiantes andaluces que asisten a centros en poblaciones entre 3000 y 15000 habitantes tiene un índice económico, social y cultural de -0,94 y sus compañeros y compañeras madrileños tienen un índice de -0,29. En la capital este índice es 0,07.
    • El porcentaje de estudiantes con un índice económico, social y cultural bajo (menor de -1) es de 40,0% en Andalucía (el más alto de la muestra) y de 19,9% en Madrid, sólo superado en la muestra por el País Vasco (17,1%). La media andaluza es de -0,57 y la madrileña es -0,07.
    • En los niveles 5 y 6 de lectura (los "top performers") hay un 1,7% del alumnado andaluz y un 6,0% del alumnado madrileño; por debajo del nivel 2 hay un 25,6% del alumnado andaluz y un 12,7% del alumnado madrileño. Estos cuatro grupos tienen un índice socio-económico de 0,32 y 0,72 y -1,13 y -0,71, respectivamente.
    • El 85% del alumnado madrileño cuenta con dos o más centros educativos entre los cuales elegir y sólo un 4,1% no tiene elección; en el caso andaluz el 56,1% puede elegir entre dos o más centros mientras que el 28,6% no tiene elección.
    • Los equipos directivos de los centros afirman que el alumnado puede ser probable o muy probablemente transferido a otro centro si
      • tiene un bajo rendimiento académico (8,5% en Madrid, 2,8% en Andalucía)
      • tiene problemas de comportamiento (49,9% en Madrid, 32,6% en Andalucía)
      • si tiene necesidades específicas de aprendizaje (60,9% en Madrid, 47,3% en Andalucía).
        • Sumando los tres factores, en Andalucía hay un 2,8% de probabilidad de ser transferido a otro centro mientras que en Madrid hay un 20,6%, la cifra más alta de la tabla, seguida a distancia por Castilla y León (9,7% de probabilidad).
    • El índice de "inclusión académica" es de 82,6 en el caso andaluz y de 78,6 en el caso madrileño.
    Con estos enunciados no pretendo defender a la escuela andaluza pues estos datos no sirven para que la escuela andaluza esté satisfecha: la escuela está para transformar la sociedad, no para perpetuar desigualdades.

    Sin embargo, hemos de reconocer que muchas lecturas apresuradas y superficiales de PISA 2009 intentan comparar situaciones a veces incomparables, perpetuando prejuicios y visiones sesgadas de la realidad. PISA no evalúa sólo estudiantes y sistemas educativos, PISA evalúa sociedades en su conjunto y lo hace desde determinadas posiciones ideológicas y técnicas: PISA evalúa lo que quiere, lo que puede y como puede, que no es ni mucho menos toda la realidad de la escuela.

    Por tanto, cuando leas sus resultados, usa tu mirada crítica para analizarlos y, después, pregúntate qué tipo de sociedad reflejan sus datos y qué intereses hay detrás de la evaluación e, incluso, del análisis. Creo que es preferible, antes de dar ninguna opinión, pensar dos veces qué nos dice PISA sobre quién, cómo y por qué.

    Salud

    10 comentarios:

    Guida dijo...

    Gracias por ayudarnos a entender mejor. Los resultados no son ajenos al contexto, pero los buenos sistemas consiguen que el contexto no condicione: Canadá (40% inmigrantes), Shangai (barrios extraradio frente a barrios del centro) y Finlandia (contexto familiar y social). El impacto del contexto depende de la calidad del sistema y ésta a su vez del contexto.

    Manuel Jesús dijo...

    No sólo de contexto vive el hombre, digo la educación. pero es cierto que el contexto marca y no es menos cierto que si las pruebas valoran cosas que no enseñamos (CCBB), es muy difícil sacar buenos resultados ... y lo que es más importante, que nuestro alumnado aprenda.

    Fernando Trujillo dijo...

    Buenos días y gracias por vuestros comentarios.

    Ambos tenéis razón, "no sólo de contexto vive el hombre", pero el contexto es determinante para saber el grado de comparabilidad entre dos poblaciones, el tipo de medidas que hay que ejecutar, la explicación para ciertos fenómenos, etc. En realidad, llamar "contexto" al índice social, económico y cultural no deja de ser una ironía: ese índice es nuestro alumnado y su vida, no sólo "contexto".

    Por otro lado, el "contexto" no justifica nada: tenemos que conducir al éxito a todo el alumnado, viva en un contexto rural o urbano, en una pequeña población o en una gran capital, en una familia desestructurada o en una familia estructurada. Los malos resultados no se pueden justificar, hay que mejorarlos simplemente.

    Un abrazo

    Fernando

    Fernando García Gutiérrez dijo...

    Gracias, Fernando. Un gusto leer algo inteligente sobre los resultados PISA. Y a eso hay que añadir, la nada fiable situación de profesorado que evalúa competencias sin saber qué son. Y otros desajustes, creo que graves para los resultados estadísticos, que pueden hacer variar la cifra artificialmente de un año a otro y que comentamos en año pasado en el blog.

    Luis dijo...

    Totalmente de acuerdo con el comentario de Fernando.Independientemente de cómo sea y dónde esté nuestro alumnado, hay que intentar llevarlo a buen puerto a pesar de las inclemencias varias. Cuando empezamos a buscar excusas...malo.

    Juan Manuel Ortiz dijo...

    Si no me equivoco una de las finalidades del Sistema Educativo es corregir las desigualdades en el acceso al conocimiento, independientemente de la extracción social del alumnado.
    Provengo de una familia humilde, en la que mis padres no poseían más que el certificado de estudios primarios y en casa todos hemos accedido a una formación superior.
    Respecto al número de personas que habitan en los núcleos urbanos, ¿me quieres decir que un alumno de una aldea aprende de diferente manera que otro de una ciudad?. Se me olvidaba, también crecí en una aldea.
    Si el problema son las poblaciones pequeñas, eliminemoslas en aras de mejores resultados (irónicamente).
    En definitiva, los resultados PISA son malos y la diferencia entre comunidades se puede extrapolar al hecho de estudiar en algún pais de la antigua unión soviética o en Alemania.
    Para datos: http://www.fedeablogs.net/economia/?p=8117
    Aunque, con la buena fe también podemos seguir tirando del carro hasta que se pare y no avance más.
    Échale un vistazo a los resultados de Shangai y después me lo cuentas.

    Fernando Trujillo dijo...

    Gracias a todos por vuestros comentarios, me siento muy honrado por vuestra atención y por vuestras palabras.

    Amigo Juan Manuel, no acabo de pillarle el sentido a tu comentario ni por qué me pides que eche un vistazo a los resultados de Shangai (porque, aunque no lo creas, ya lo he hecho, como todo el mundo que haya leído PISA 2009, puesto que son absolutamente espectaculares). El sentido de mi entrada es pedir que todos, y yo el primero, echemos un vistazo a PISA más allá de los titulares facilones de los periódicos, evitando sobre todo comparaciones no sustentadas en datos.

    Así pues, no tengo ningún interés en que los resultados de PISA salgan bien: me interesa la educación, no los resultados de una evaluación de la OCDE. Por eso no creo que haya que ocultarlos, maquillarlos o negarlos. Esa evaluación nos da un toque de alerta y hay que aprovecharlo para ponernos en marcha, correr con más fuerzas o enderezar la ruta.

    Ahora bien, si estamos dispuestos a darle credibilidad a PISA - y es mejor hacerlo tanto por la calidad de la evaluación como por su incidencia política - es PISA, y no yo, quien dice que dan mejores resultados los estudiantes con mayor índice socio-económico, de áreas urbanas y de poblaciones de mayor tamaño. En cuanto a los antecedentes de cada uno, pues para eso están las estadísticas: para agrupar lo diverso y poder realizar análisis que nos permitan comparar y extrapolar de la muestra a la población. Esto quiere decir que en cada aldea y en cada familia humilde hay estudiantes brillantes, pero de media en estos entornos las calificaciones son más bajas: no es una cuestión de inteligencia como rasgo humano - ahí no hay diferencias ni entre rural/urbano ni España/China o tropical/polar -, es simplemente una cuestión de oportunidades. Se aprende mejor qué son las vanguardias visitando el Reina Sofía que mirando un libro de texto, por ejemplo.

    En fin, como he dicho en la entrada y en estos comentarios, no estamos para confirmar desigualdades, sino para resolverlas. Habrá que estudiar cómo.

    Saludos

    Martina Tuts dijo...

    Estupendo análisis, Fernando. Estoy totalmente de acuerdo contigo. Es más, ponerse a comparar países y realidades geopolíticas, socioculturales (y económicas) tan diferentes con los mismos parámetros "objetivos", sólo nos puede llevar a institucionalizar la desigualdad (y cierto sentido de inferioridad que algunos se encargarán de explotar desde intereses muy alejados de la educación).
    Y no se trata como proponen algunos de ir a ver cómo lo hacen en Finlandia, para aprender de ellos y rectificar lo que hacemos mal, sino de repensar el modelo de educación que queremos para participar en la sociedad. Desde la solidaridad, el trabajo cooperativo, Y exigir formación, formación inicial, formación en valores y desarrollo profesional. Y recuperar las humanidades.

    Ángel L. Montilla Martos dijo...

    Muchas gracias por el análisis. Me parece concisamente impecable.

    FP dijo...

    Los medios de comunicación siempre simplifican y además lo hacen enfatizando lo que a ellos les conviene más en función de su línea editorial. Dicho esto, lo ciento es que el nivel medio de nosotros los "consumidores" de noticias es tan bajo que aunque dieran toda la información no la entenderíamos. El aspecto clave de PISA no es comparar Madrdi con Andalucía, sino España con otors países que compiten con nosotros en el ámbito económico, puesto que es en este ámbito don de se reflejará en el futuro nuestra falta de competitividad educativa