Instituto Nacional de Evaluación Educativa
Ministerio de Educación, Cultura y Deporte, España
Introducción
PISA (Programme for International Student Assessment) es un estudio de la OCDE de evaluación internacional de los sistemas educativos dirigido a los alumnos de 15 años al final de su etapa de Educación Obligatoria. Este programa trienal se centra en tres competencias que se consideran troncales: ciencias, lectura y matemáticas. Además, en cada ciclo se añade una cuarta competencia innovadora que en 2015 fue la resolución colaborativa de problemas y en 2018 será la competencia global.
Cuando se concibió el proyecto, lo más interesante y novedoso fue que las pruebas no se centraban directamente en los currículos de cada país, sino que estaban diseñadas para evaluar competencias, es decir no solo era importante el saber qué (know what), sino también el saber cómo (know how). La pregunta que PISA quería contestar era: ¿hasta qué punto están los estudiantes preparados para aplicar su conocimiento a la vida real y participar plenamente como ciudadanos en la sociedad?
En España, este estudio ha venido suponiendo un cierto reto para la comunidad educativa, en general, y para los Gobiernos, en particular. Las principales críticas se han centrado, por un lado, en pensar que PISA se limita a un ranking entre países, en que el sesgo cultural es insuperable y en que se pretenda convertir en “la evaluación universal”. Por otro lado, se teme que los informes cíclicos se puedan convertir en un arma arrojadiza entre Gobierno y oposición, o que contribuyan a la generación de “mala prensa” sobre la educación española para la opinión pública y, sobre todo, que se pueda crear un cierto malestar entre los profesores, al preguntarse “¿qué hemos hecho mal?”.
Pero ¿qué es realmente PISA? ¿Cuáles son sus objetivos y para qué sirve a los interesados en la educación, es decir, a toda la sociedad? Podríamos comenzar recordando que es la evaluación internacional comparativa de más alcance que existe en la actualidad. PISA tiene como principales objetivos proporcionar indicadores de la eficacia, la equidad y la eficiencia de los sistemas educativos, establecer puntos de referencia para la comparación internacional y seguir la evolución de los datos en el tiempo. Además, PISA aporta un conjunto riquísimo de información para la investigación educativa, a través de sus bases de datos, de los análisis recogidos en los informes iniciales –internacional, nacionales y regionales– y en los informes secundarios o temáticos.
Para alcanzar estos objetivos, no solo se necesitan medidas fiables y válidas para evaluar el rendimiento cognitivo, sino también se precisa información sobre qué variables influyen en dichos resultados. La profesora o el profesor conoce bien el contexto individual y social de sus alumnos, en cada grupo, en cada centro escolar. Por su parte, los responsables de política educativa (policy makers) tienen que conocer el contexto de la población estudiantil que está evaluando a nivel del sistema educativo. Por eso es importante explicar los resultados cognitivos mediante variables de contexto, es decir, analizar los factores más relevantes que podamos asociar al rendimiento en las pruebas cognitivas.
La importancia del contexto
El proyecto PISA cuenta con dos cuestionarios obligatorios (core background questionnaires), que son el del alumnado, que cumplimentan los alumnos después de las pruebas cognitivas y cuya duración es de unos 45 minutos y el del centro escolar, que cumplimenta el director o la persona en la que delegue y cuya duración es de unos 30 minutos.
Las preguntas de estos cuestionarios son desarrolladas por grupos de expertos de varios países, dirigidos por el QEG (Questionnaire Expert Group). Todas las preguntas son pilotadas en la fase de campo (Field Trial), en todos los países participantes. Después, los países discuten y aprueban con la OCDE las preguntas definitivas, seleccionadas para la fase del estudio principal (Main Study). Las diversas fuentes de información a quienes van dirigidos estos instrumentos permiten la triangulación y, por tanto, un análisis más preciso y fiable de los contextos de nuestros estudiantes.
Estos cuestionarios de contexto incluyen los siguientes constructos:
- resultados no cognitivos
- antecedentes del alumnado
- cuestiones relativas a la enseñanza y el aprendizaje
- políticas escolares y gobernabilidad
Estos constructos están desarrollados en 19 módulos (Figura 1) en el marco conceptual de los cuestionarios de contexto, lo cual permite una amplia cobertura de las cuestiones de política educativa y de investigación relevantes en todos los países. Siguiendo las decisiones estratégicas del PGB (PISA Governing Board), el marco conceptual de los cuestionarios y las recomendaciones de las publicaciones de investigación, cada módulo cubre los componentes que se consideran importantes para un campo específico de la práctica educativa o de la formulación de políticas educativas.
Todos los módulos están incluidos hasta cierto punto en los cuestionarios obligatorios pero, debido a los límites estrictos sobre la longitud de los cuestionarios, solo algunos módulos o constructos se pueden enfocar con más detalle en los cuestionarios del alumno y del centro escolar. Por lo tanto, con el fin de completar y profundizar en algunos de estos módulos, PISA ha desarrollado nuevos cuestionarios de contexto que inciden de una manera más específica en algunos de estos aspectos.
Así, en el proyecto PISA, además de los dos cuestionarios obligatorios mencionados anteriormente, existen otros cuestionarios opcionales que son el cuestionario del profesor, el cuestionario de padres, y tres más breves dirigidos también a los alumnos: familiaridad con las TIC, trayectoria escolar y cuestionario del bienestar. Este último cuestionario se aplicará por primera vez en PISA 2018.
Figura 1. Módulos de los cuestionarios de contexto de PISA
Para ilustrar cómo los cuestionarios adicionales complementan la información proporcionada por los cuestionarios del alumnado y del centro, tomaremos como ejemplo una cuestión clave para entender el rendimiento de los alumnos como es la implicación de las familias en los estudios de sus hijos. Tanto el cuestionario del alumnado, como el del centro, el de las familias y el de los profesores incluyen preguntas relacionadas con este módulo (Figuras 2, 3, 4 y 5).
Gracias a todas estas preguntas las percepciones de los alumnos sobre la ayuda, interés, apoyo y ánimo de sus padres hacia los propios logros y dificultades en clase y fuera de ella, en relación con el ámbito escolar, se pueden comparar con las percepciones de los padres, de los profesores y del director obteniendo de este modo una información mucho más rica que la que se obtendría únicamente con los cuestionarios del alumnado y del centro.
Figura 3. Implicación familiar. Cuestionario de padres
Figura 4. Implicación familiar: Cuestionario del director/a
Figura 5. Implicación familiar. Cuestionario de profesores
Como puede observarse, los alumnos contestan en su cuestionario de contexto a una pregunta sobre el apoyo que reciben de sus padres en relación con los estudios con el mismo contenido a la que contestan los padres. Este tipo de preguntas similares sirven para contrastar que la información proporcionada es fiable. Sirven de “control” ya que no hay que olvidar que las respuestas tienen un componente de subjetividad. En algunas ocasiones se hace necesario descartar la información de variables porque no existe correlación entre lo que afirman las distintas fuentes. En otras ocasiones las preguntas son diferentes y nos permiten profundizar en el aspecto tratado en el módulo correspondiente, como puede verse en este caso con la pregunta del cuestionario de profesores.
Por medio de estas preguntas los países pueden conocer la implicación de las familias en la educación y dicha información les permitiría si fuera necesario, la toma de decisiones de política educativa para mejorar este aspecto que tanta influencia tiene en el rendimiento de los alumnos. En el caso de España, estas preguntas han permitido conocer a los responsables de política educativa que se trata de uno de los países donde padres e hijos conviven más estrechamente. (Figura 6). PISA preguntó a los padres la frecuencia con la que se dedican a ciertas actividades en el hogar con su hijo y si en el año académico anterior se habían entrevistado con el profesor de su hijo en el centro educativo. En el promedio de los 18 países y economías que distribuyeron el cuestionario de padres, hacer una comida principal juntos es, con gran diferencia, la actividad más frecuente según las respuestas de los padres: 93% en España y 82% en promedio de la OCDE.
Los cuestionarios de contexto también han permitido analizar las respuestas de los alumnos acerca de la percepción que tienen sobre el grado de apoyo parental, así como la propia percepción de los padres a la hora de participar en conversaciones diarias, compartir actividades con sus hijos o en los propios centros educativos.
Figura 6. Implicación familiar en la vida del estudiante. Actividades de los padres con el centro escolar y con su hijo (España, azul y verde; media-18 países, rojo y naranja)
De media en los 18 países, el 70% de los padres afirma pasar tiempo hablando con su hijo. En España este porcentaje es 9 puntos más, llegando al 79%. Poco más de la mitad de los padres en el conjunto de países, el 52%, declara que habla con su hijo sobre cómo le va en el centro. En España la proporción es mucho más alta alcanzando un 74%.
En lo que respecta a las relaciones con el centro educativo y sus profesores, la proporción de padres españoles que participa en las actividades que se mencionan es más alta en todas las cuestiones planteadas -en algunos casos mucho más alta- que la del promedio de los países que distribuyeron el cuestionario de padres. Por ejemplo, en España el 58% de los padres informa que intercambia ideas con los profesores de su hijo acerca del papel de los padres y del apoyo familiar, mientras que la media de los países es solo el 42% (INEE, 2017).
Como puede observarse, se ha podido obtener una información muy rica y completa acerca de la implicación de los padres en el proceso educativo gracias a los cuestionarios adicionales de PISA.
Cabe prestar especial atención al nuevo cuestionario opcional del bienestar de los estudiantes, que se ha concebido para ahondar en este tipo de factores no cognitivos que influyen ciertamente en los resultados académicos. Tradicionalmente, PISA consideraba las actitudes, las motivaciones, las creencias y los comportamientos como predictores del rendimiento educativo, pero en la actualidad se sabe que son fundamentales para el crecimiento personal, el éxito individual y la participación en la sociedad. Por eso, PISA presta una gran atención tanto a las actitudes y disposiciones centradas en el dominio principal como a aquellas de carácter más general.
Como muestra de estos aspectos que no miden directamente el conocimiento y las destrezas específicas de las materias escolares, PISA construye el índice de satisfacción con la vida a partir de las respuestas -categorizadas en una escala Likert- a la pregunta “Con todo, ¿hasta qué punto estás satisfecho estos días con tu vida?” (OECD, 2017).
Los estudiantes valoraron su nivel de satisfacción con la vida “all in all” en una escala del 0 al 10, redistribuidas en cuatro categorías (Figura 7): no satisfecho (0-4), moderadamente satisfecho (5-6), satisfecho (7-8) y muy satisfecho (9-10). También se recoge el valor medio del índice de los países de la OCDE. La satisfacción con la vida, como apreciación subjetiva, se considera una de las medidas del bienestar general de los estudiantes.
En conjunto, los países del GIP (Grupo Iberoamericano de PISA) presentan los valores más altos de este índice, como ocurre en la República Dominicana (8,5 puntos), México (8,3), Costa Rica (8,2), Colombia (7,9), Uruguay (7,7), Brasil (7,6), Perú (7,5), Chile (7,4), España (7,4) y, finalmente, Portugal (7,2).
El valor medio de este índice en el conjunto de países de la OCDE resulta ser de 7,3 puntos. Los estudiantes de España valoran su satisfacción con la vida en 7,4 puntos, ligeramente por encima del promedio OCDE, y con la misma valoración media que Luxemburgo, Letonia, Chile, Portugal, Alemania y Estados Unidos.
Países y regiones orientales como Corea (6,4), Taiwán (6,6), Macao (6,6) y Hong Kong (6,5) tienen los valores medios más bajos del índice de satisfacción con la vida de los estudiantes de 15-16 años de edad. Este dato es muy importante ya que aunque a nivel de rendimiento son países con una puntuación muy elevada, vemos que en los aspectos no cognitivos deben mejorar bastante. Un sistema educativo de “éxito” debe prestar atención tanto a los aspectos cognitivos como a los no cognitivos. Un ejemplo es Finlandia, país con una puntuación elevada en las pruebas de rendimiento y con un índice de satisfacción elevado también.
Los cuestionarios de contexto nos permiten no solo conocer aspectos sobre un país sino también sobre distintos grupos dentro del mismo, como los inmigrantes. Por ejemplo, hemos podido constatar que en España el índice de satisfacción con la vida es bajo para los alumnos recién llegados de otros países, pero sin embargo en el caso de los alumnos inmigrantes de segunda generación, es decir, los alumnos nacidos en España con padres nacidos en otro país, declaran tener una satisfacción con su vida (7,4) prácticamente igual a la de los alumnos nativos (7,5) y superior a la media de la los alumnos inmigrantes de la OCDE de segunda generación (7,2). Podemos concluir que la sociedad española compensa las dificultades de la primera generación en la segunda generación y por tanto es necesario que las políticas educativas se centren fundamentalmente en conseguir que los alumnos inmigrantes de primera generación se equiparen a los nativos en relación con su índice de satisfacción.
Figura 7. Distribución del índice de satisfacción con la vida de los estudiantes de 15-16 años (Valor medio del índice junto al nombre de cada país)
¿Qué cuestionario de contexto de PISA se realizan en España?
A lo largo de los diversos ciclos de PISA, España se ha interesado en profundizar y extender el análisis de sus resultados con la incorporación de los siguientes cuestionarios de contexto opcionales:
- Familiaridad con las TIC
- Trayectoria escolar: Incluye preguntas sobre la experiencia escolar en educación infantil, primaria y secundaria, así como sobre aspiraciones futuras.
- Bienestar de los estudiantes: es el cuestionario más reciente y se centra en aspectos no cognitivos.
- Familias: trata la perspectiva de casa. En 2015 hubo dificultades para su recopilación.
- Profesores: es el pilar que faltaba en PISA. En 2015 tuvo una buena acogida entre el profesorado español. Incluye preguntas sobre horarios, tiempo de docencia y tiempo de formación e investigación, evaluación y rendición de cuentas.
En general, las tasas de respuesta en este estudio en su edición de 2015 fueron altas, con la excepción del cuestionario de familias (Figura 8). El porcentaje de alumnos participantes es de un 88%, de directores, un 97%, de profesores, un 91% y de padres, un 70%.
Figura 8. Tasas de respuesta a los cuestionarios en España (PISA 2015)
Los cuestionarios son fundamentales para conocer qué variables influyen en el rendimiento pero no podemos soslayar los límites de un instrumento como es la encuesta o cuestionario. En primer lugar, el tiempo es limitado: no se puede preguntar todo a todos los alumnos. En segundo lugar, las respuestas son percepciones subjetivas, y toda la información recogida es parcial, establecida desde un punto de vista. En tercer lugar, existe el riesgo de deseabilidad social, por el que muchas personas contestan lo que creen que se espera de ellas, aunque esto se intenta atenuar con marcadores específicos.
Pese a todo ello, la información proporcionada por los cuestionarios es muy valiosa para comprender los resultados de la evaluación y, sin ellos, no podríamos tener –aunque sea aproximada- la profundidad de campo de visión que poseen los profesores y los alumnos trabajando juntos en las aulas.
Referencias
INEE. El bienestar de los estudiantes, Madrid, Ministerio de Educación, Cultura y Deporte, 2017.
INEE. PISA 2015, Programa para la Evaluación Internacional de los Alumnos. Informe español, Madrid, Ministerio de Educación, Cultura y Deporte, 2016.
OECD. Pisa 2015 Results (Volume I): Excellence and Equity in Education, PISA, Paris, OECD Publishing, 2016.
OECD. Pisa 2015 Results (Volume II): Policies and Practices for Successful Schools, PISA, Paris, OECD Publishing, 2016.
OECD. Pisa 2015 Results (Volume III): Students’ Well-Being, PISA, Paris, OECD Publishing, 2017.
