Este trabajo resume el sentido, el origen y las características de la Prueba PISA para Centros Educativos —PISA for Schools—, junto con una descripción del proceso que se está llevando a cabo en España para su implementación y las perspectivas de futuro.
Cuando cada tres años se hacen públicos los resultados de la evaluación internacional PISA (Programa para la Evaluación Internacional de Alumnos) de la OCDE, su repercusión en los medios de comunicación y en los ámbitos políticos es muy importante. Esta relevancia se deriva del conocimiento de que el futuro social, económico y cultural de los países depende, en una gran medida, del nivel educativo de su población que condiciona las capacidades profesionales de la población y, en consecuencia, el desarrollo general de los países que está determinado por su capital humano. El PISA proporciona datos a los responsables de las políticas de educación sobre hasta qué punto los estudiantes de cada país están preparados para enfrentarse a los retos del futuro y sobre el grado de eficacia con el que pueden analizar, razonar y comunicar sus ideas, es decir, el grado en el que han desarrollado el conocimiento y las destrezas esenciales para su participación con éxito en el mundo del siglo XXI.
La prueba PISA para Centros Educativos supone una expansión del PISA, en cuanto amplía y modifica esencialmente la audiencia a la que están dirigidos los resultados de la evaluación.
La prueba PISA para Centros Educativos (PISA for Schools) se ha diseñado para poder responder a estas mismas preguntas sobre la preparación y las capacidades de los estudiantes en los centros educativos, de tal modo que los docentes y las familias de los alumnos conozcan el nivel de competencias y habilidades alcanzado por estos últimos en cada centro. La prueba PISA para Centros Educativos supone una expansión del PISA, en cuanto amplía y modifica esencialmente la audiencia a la que están dirigidos los resultados de la evaluación. El PISA principal está dirigido a los políticos responsables de la educación y al debate político, para lo que proporciona resultados nacionales agregados que servirán a las comparaciones internacionales.
Sin embargo, el PISA para Centros Educativos está dirigido a los centros educativos (directores, profesorado y otro personal educativo) así como a las familias de los alumnos que asisten a los mismos, y hasta a los propios estudiantes; y su objeto es la mejora de la calidad educativa en términos de rendimiento académico.
La Prueba PISA para Centros Educativos (PISA for Schools)
La prueba PISA para Centros Educativos es una evaluación del rendimiento promedio de los alumnos de los centros educativos que está fundamentada en el conocimiento acumulado por el PISA. Como en las evaluaciones PISA, la prueba PISA para Centros Educativos mide y proporciona resultados y análisis sobre el conocimiento aplicado y las competencias en lectura, matemáticas y ciencias de estudiantes de quince años. La evaluación no solo pretende determinar si los alumnos saben reproducir el conocimiento adquirido, sino que también examina el grado en el que saben extrapolar lo que han aprendido y en el que saben aplicarlo en situaciones no familiares, tanto dentro como fuera del centro educativo. También permite a los centros evaluar y comparar la competencia de sus alumnos así como contrastar su rendimiento frente al de otros centros de su país y del mundo, dado que los resultados de la prueba PISA para Centros Educativos son comparables con las mismas escalas que se usan en la evaluación PISA, que incluye a alumnos y centros educativos de más de 70 países. Asimismo, suministra información sobre la implicación de los estudiantes y sobre los entornos de aprendizaje en los centros educativos.
El propósito de la Prueba PISA para Centros Educativos es proporcionar a los centros educativos individuales, o a agrupaciones de centros educativos, datos fiables del rendimiento académico del conjunto de sus alumnos al final de la educación obligatoria. En España podrá proporcionar información sobre su rendimiento académico en comparación con el resto de los centros españoles participantes en el PISA, así como con los de su región, con los de los países participantes en el PISA y con el promedio de los países de la OCDE, con objeto de fomentar la mejora de la calidad los centros y la investigación educativa. Asimismo, puede ser una herramienta útil para las autoridades educativas.
Por otro lado, esta herramienta de evaluación educativa: a) no es una prueba estandarizada obligatoria; b) no pretende alinear sus contenidos de evaluación con el currículum de un país específico, aunque puede haber solapamiento entre ambos; c) no intenta influenciar por sí misma las prácticas cotidianas de enseñanza; d) no es una alternativa a la participación nacional o regional en el PISA; e) no es una herramienta para establecer listados comparativos ordenados (rankings o league tables) de centros educativos.
La prueba PISA para Centros Educativos surge como respuesta a demandas de la comunidad educativa. En primer lugar, la demanda y el interés de los centros por disponer de resultados fiables sobre su rendimiento académico y otras variables educativas. En segundo lugar, el interés por parte de las administraciones educativas en disponer de datos individualizados de los centros que permitan determinar la situación relativa de los centros en comparación con los resultados promedio nacionales e internacionales, y con otros centros de similares características, con el fin de tener datos para decidir qué centros requieren una intervención especial. Y, por último, la necesidad por parte de los investigadores en educación de disponer de un instrumento fiable, válido y contrastado, de investigación del rendimiento educativo de los alumnos y de los centros que permita hacer comparaciones tanto nacionales como internacionales.
El propósito de la Prueba PISA para Centros Educativos es proporcionar a los centros educativos individuales, o a agrupaciones de centros educativos, datos fiables del rendimiento académico del conjunto de sus alumnos al final de la educación obligatoria.
La Prueba PISA para Centros Educativos intenta responder a estas demandas dado que el estudio PISA actual está diseñado para obtener resultados fiables del conjunto de los países (en los que se evalúa a 35 alumnos de quince años de, al menos, 150 centros educativos), o de unidades regionales —en España, Comunidades Autónomas—, pero no está diseñado para proporcionar datos fiables de cada uno de los centros o alumnos participantes, por lo que no permite obtener datos suficientemente precisos, fiables y estables de cada uno de ellos.
La Prueba PISA para Centros Educativos se centra en la evaluación de las áreas de Lectura, Matemáticas y Ciencias. Examina a un número suficientemente grande de estudiantes de quince años de los centros educativos que participan con el objeto de que las medidas resultantes sean fiables.
Las evaluaciones PISA actuales no pueden satisfacer estas demandas debido a las características especiales de su diseño y al requisito estrictamente necesario de preservar la confidencialidad de las pruebas, sin el que no sería posible el mantenimiento y desarrollo del proyecto PISA.
El proyecto PISA para Centros Educativos en España
La viabilidad de la Prueba PISA para Centros Educativos ya ha sido probada con éxito durante 2012, en lengua inglesa, mediante una prueba piloto en la que participaron, Canadá, Estados Unidos y Reino Unido.
Objetivos
El objetivo del proyecto PISA para Centros Educativos en España es adaptar y establecer en este país (en castellano, catalán, gallego, valenciano y vasco), la Prueba PISA para Centros Educativos, desarrollada por el Directorado de Educación de la OCDE 1 . Para ello, es necesario constituir los fundamentos técnicos y operativos de la evaluación y establecer las condiciones para su desarrollo, implantación y utilización adecuada en el futuro.
Un resultado adicional del proyecto consiste en poner los materiales de evaluación a disposición de otros países hispano-hablantes que participan en PISA y de otros países con otras lenguas oficiales que deseen tener acceso a los materiales en castellano, así como a los procedimientos y otros materiales desarrollados por el proyecto, mediante acuerdos escritos entre el Ministerio de Educación, Cultura y Deporte (MECD) español con el Directorado para la Educación de la OCDE y con las correspondientes autoridades de los países interesados.
Características de la prueba
La Prueba PISA para Centros Educativos se centra en la evaluación de las áreas de Lectura, Matemáticas y Ciencias. Examina a un número suficientemente grande de estudiantes de quince años de los centros educativos que participan con el objeto de que las medidas resultantes sean fiables. Mantiene, por el momento, la evaluación con pruebas impresas de papel y lápiz, así como el estilo de diseño de pruebas del estudio PISA actual —en el que gran parte de los alumnos responden a preguntas de dos de las tres áreas evaluadas y su rendimiento en el área en la que no son evaluados se estima mediante procedimientos probabilísticos, por lo que no pueden obtenerse puntuaciones fiables para cada uno de los alumnos—. Su contenido se ajusta, en un grado muy alto, al diseño de las pruebas del PISA en cuanto a su encaje con las competencias y habilidades incluidas en los marcos de evaluación, las propiedades psicométricas y los tipos de respuesta que se utilizan.
Dedica alrededor de 276 minutos —cuatro horas y media— a la evaluación de competencias (unos 92 minutos para cada una de las áreas, de modo similar a las áreas que evalúa el PISA y que no son el área principal de cada edición trianual del PISA). La prueba consta de 62 unidades de evaluación con 141 ítems distribuidos en 7 cuadernillos con base en un diseño balanceado, de tal modo que cada estudiante responde, durante aproximadamente 40 minutos, las preguntas de contenido de la evaluación. Asimismo, se utilizan cuestionarios del estudiante y del centro, similares a los utilizados por el PISA.
La implementación del proyecto PISA para centros Educativos en España se ha llevado a cabo gracias a la colaboración del Directorado para la Educación y Destrezas de la OCDE, el Instituto Nacional de Evaluación Educativa — INEE— del MECD y las autoridades educativas de las Comunidades Autónomas españolas.
La prueba piloto 2013-2014
La prueba piloto se ha diseñado de modo que permita analizar la precisión de las medidas (tanto de rendimiento como de las variables del contexto del aprendizaje) que se pueden obtener para cada centro educativo, así como la relación del número de alumnos examinado en cada centro con el grado de precisión de dichas estimaciones. Asimismo, el diseño de la prueba piloto está dirigido a analizar las diferencias de resultados de los centros educativos en función de la administración de las pruebas por edad (a los alumnos de quince años del centro) o por curso (a los alumnos de 4º curso de la ESO —grado 10 internacional—).
El muestreo se ha diseñado como un muestreo de conveniencia no proporcional mediante el que se seleccionaron los 224 participantes — de entre el grupo de centros que participó en el PISA 2009 2— en función su tamaño, su titularidad y su nivel de rendimiento en el PISA 2009. Por ello, los resultados globales únicamente son representativos de cada centro educativo considerado individualmente y, en ningún caso son representativos los datos agregados de los mismos ni en su totalidad ni cualquier otra desagregación que pudiera realizarse. Este diseño muestral permite explorar las propiedades de las pruebas en un rango de centros educativos de características muy diversas.
La administración de las pruebas se realizó en los meses de noviembre y diciembre de 2013. Participaron 224 centros en los que se evaluó a más de 15.500 estudiantes. Está previsto llevar a cabo el análisis de datos antes del verano de 2014, elaborar los informes durante el último trimestre de 2014 y hacer llegar los resultados a los centros al inicio de 2015.
Con el objeto de tener el máximo de puntos de referencia con los que valorar los resultados de la prueba piloto, la muestra de conveniencia se extrajo del marco muestral inicial conformado por los centros que participaron en la prueba PISA 2009 y para los que se dispone de los datos, tanto de rendimiento como de contexto, obtenidos en el año 2009 con los que comparar los resultados.
Los informes individualizados de los centros educativos
La definición de los contenidos y modos de presentación de los informes de resultados de los centros educativos constituye un elemento central del proyecto. Los informes para los centros educativos incluirán, al menos, cuatro elementos:
- Una introducción que facilite la comprensión de las características de la Prueba PISA para Centros Educativos y la interpretación de sus resultados.
- Una descripción de lo que saben y de lo que saben hacer los estudiantes del centro en lectura, matemáticas y ciencias.
- La situación de los resultados del centro en el contexto de los resultados regionales, nacionales e internacionales en el PISA.
- Resultados sobre el entorno de aprendizaje y sobre la implicación de los estudiantes en el contexto regional, nacional e internacional en el PISA.
Normas de utilización y estándares técnicos
Con el objeto de asegurar un uso adecuado y legítimo de la prueba en España se establecerán unas normas de utilización españolas, respetando en todo caso las normas generales internacionales establecidas por la OCDE. Incluirán, entre otros temas, las especificaciones necesarias sobre los objetivos con los que debe administrarse la prueba y las entidades que pueden ser promotoras de la realización de la prueba en los centros.
Perspectivas de futuro
De cara al futuro, el proyecto PISA para Centros Educativos en España incluye la administración de las pruebas mediante computadoras en formato digital. Lograr este objetivo es de enorme importancia ya que la computarización de la prueba contribuiría muy significativamente a reducir el coste de realización de la misma al desaparecer los costos asociados a la impresión, reducir los de transporte y manejo de materiales, y automatizar la corrección de pruebas y grabación de datos.
Con el objetivo de que la prueba PISA para Centros educativos sea aplicable en el futuro con ordenadores portátiles o tabletas y comparable con la prueba PISA principal, es necesario llevar a cabo una segunda prueba piloto —programada para el período 2014-2015— que supone la evaluación de los estudiantes tanto con pruebas impresas como en formato electrónico, de modo que se pueda realizar un estudio de equivalencia entre estas modalidades de aplicación de pruebas.
Por otro lado, con la finalidad de poder utilizar la prueba durante un período amplio del año escolar —y no solamente en las fechas en las que se realiza el estudio PISA principal— es necesario realizar un estudio adicional que permita el cálculo de la ganancia de aprendizaje de los alumnos (en términos de puntos en las escalas PISA) en los cursos de 9º y 10º grado internacional.
En términos más generales, se puede pensar que en el futuro el impacto social de la Prueba PISA para Centros Educativos será aún mucho mayor que el de las evaluaciones PISA principales…
En términos más generales, se puede pensar que en el futuro el impacto social de la Prueba PISA para Centros Educativos será aún mucho mayor que el de las evaluaciones PISA principales, dado que la audiencia se extendió a educadores, directores de los centros educativos, profesores, padres y alumnos, y a la mayor relación de todos ellos con los resultados que proporciona.
