C
En este artículo, tras definir y describir brevemente las evaluaciones externas estandarizadas, se analizan los diferentes estudios que comprueban las numerosas ventajas que estas evaluaciones proporcionan a los sistemas educativos donde se están introduciendo cada vez con mayor intensidad.
1. Las distintas formas de evaluación
La evaluación es un elemento fundamental dentro del sistema educativo, ya que la enseñanza de conocimientos y competencias a los alumnos por parte de los profesores, debe ser controlada o evaluada para comprobar en qué medida los alumnos han adquirido dichos conocimientos y competencias. Junto a las evaluaciones internas, en las últimas décadas se han desarrollado en todo el mundo las evaluaciones externas. La definición más simple de evaluación externa es aquella evaluación cuya planificación, desarrollo y aplicación se realiza o al menos se controla desde fuera del centro educativo. Otra característica importante de las evaluaciones externas, frente a las internas, es que suelen ser estandarizadas, lo que permite la comparación entre alumnos o centros.
Las evaluaciones externas son muy variadas y buscan diferentes objetivos. Difieren en cuanto a cuál es el agente al que se evalúa (estudiantes, profesores, centros, equipo directivo, o las administraciones educativas), su carácter censal (se evalúa a todos los alumnos y a todos los centros) o muestral (se elige una muestra representativa), si miden competencias o contenidos curriculares, si tiene consecuencias académicas en los estudiantes, o el momento educativo en el que se hace la evaluación (inicial, de proceso, finales, y pruebas de actitud).
2. Las ventajas de las evaluaciones externas
Las evaluaciones externas producen numerosos efectos positivos en la calidad del sistema educativo, al influir y afectar a los diferentes agentes involucrados en la educación. Así, en primer lugar, los estudiantes se esfuerzan más en aprender, sobre todo si las evaluaciones tienen consecuencias directas para ellos (Bishop 2006; Fuchs y Woessmann, 2007).
Los profesores también reciben un incentivo adicional a través de las evaluaciones, ya que les brinda la oportunidad de que su esfuerzo y buen hacer quede reflejado a través del progreso del aprendizaje de sus alumnos. Además, estas pruebas externas y estandarizadas les proporcionan una herramienta de comparación entre sus objetivos docentes y los resultados obtenidos, y entre los resultados de sus alumnos y los de otros centros en el mismo país e incluso en otros países (OECD 2016, p. 129).
Los centros educativos también reciben incentivos de las evaluaciones, junto con los profesores y los directores, al proporcionar una información muy útil para que los centros asignen mejor sus recursos económicos y educativos. Esta información también es muy útil, evidentemente, para la administración educativa, en su tarea de asignar recursos entre los centros educativos y establecer prioridades en sus políticas. Las evaluaciones son una forma de que el sistema educativo rinda cuentas por la financiación que recibe todos los años por parte de la sociedad, y para que esta conozca de forma transparente los resultados que se alcanzan con esos recursos.
Por último, los padres de los alumnos también se benefician de los resultados de los exámenes y las evaluaciones, siempre que se hagan públicos. Las evaluaciones constituyen un elemento más para tomar la decisión sobre la elección del centro de sus hijos. Aunque la mayoría de los padres de alumnos que ya se encuentran realizando sus estudios en el centro, probablemente no cambiarán de colegio o de instituto a sus hijos por un mal resultado en las pruebas externas y estandarizadas, es posible que sí reaccionen implicándose en mayor medida en el centro, acudiendo a más tutorías o participando en la AMPA.
Por todo lo anterior, en la mayoría de los países de la OCDE existe una prueba externa y estandarizada, y la mayoría de los alumnos de los países más desarrollados se encuentra en sistemas educativos en los que se realizan este tipo de pruebas. Y la tendencia a introducir estas pruebas está en alza.
3. Las críticas a las evaluaciones externas
Las principales críticas a las evaluaciones se agrupan en dos, el “teaching to the test” y los efectos sobre centros desfavorecidos. La primera crítica indica que las evaluaciones generan un incentivo a que los profesores se concentren en entrenar a sus alumnos a obtener buenos resultados en los exámenes estandarizados, el denominado “teaching to the test”, descuidando otros objetivos educativos. Este incentivo perverso tiene efectos negativos, no solo por reducir los objetivos educativos de los profesores, sino también por provocar que estos concentren sus esfuerzos en aquellos alumnos cercanos a los resultados medios y presten menor atención a los alumnos que están muy por encima o muy por debajo de los resultados medios (Neal y Schanzenbach, 2010).
No obstante, varios estudios han mostrado que este efecto no es muy importante en la práctica. Hanushek y Woessmann (2011), revisando los artículos de investigación que han analizado la relación entre la existencia de las evaluaciones externas y el rendimiento académico de los alumnos, señalan que aquellos países o regiones en donde existe un examen nacional externo y estandarizado obtienen también mejores resultados en pruebas internacionales muy diferentes a ese examen nacional, como son PISA, TIMSS y PIRLS. La evidencia es concluyente: los test externos y estandarizados mejoran los resultados académicos de los alumnos entre un 20% y un 40% de la desviación típica, una mejora equivalente a que cada alumno hubiese estudiado medio curso escolar más al llegar a 4.o de la ESO. Estos autores muestran también que la autonomía de los centros combinada con la existencia de pruebas externas y estandarizadas es la combinación que proporciona mejores resultados. La segunda mejor combinación es pruebas externas sin autonomía, seguida de ausencia de autonomía y ausencia de pruebas, y la peor combinación es la existencia de autonomía sin pruebas externas y estandarizadas.
Deming et al. (2013), por su parte, han analizado la evolución de los estudiantes que realizaron pruebas de evaluación hasta su inserción laboral, comprobando que los jóvenes que estudiaron en centros que corrían el riesgo de ser catalogados de “bajo rendimiento” aumentaron la probabilidad de acudir a la universidad en un 1% y mejoraron su salario a los 25 años en otro 1%. Este efecto es aún mayor entre los alumnos rezagados de los centros con peores resultados. Es decir, que la mejora de resultados en las pruebas externas y estandarizadas tiene efectos duraderos en el medio y largo plazo en el sistema educativo y en el mercado laboral, lo que solo se explica si reflejan una mayor adquisición de competencias. Otro estudio que confirma lo anterior es el de Piopiunik, Schwerdt y Woessmann (2012), quienes muestran que, controlado por los demás factores, los jóvenes en regiones alemanas con pruebas externas y estandarizadas tienen un salario un 6,4% superior y una probabilidad de un 2,4% inferior de desempleo a los jóvenes en regiones alemanas sin este tipo de pruebas.
En el mismo sentido, Antonio Cabrales, Catedrático de la Carlos III y de la University College London, en su comparencia ante el Congreso de los Diputados el 10 de julio de 2013, mostraba cómo las pruebas externas y estandarizadas no reducen otras actividades no evaluadas como leer por placer o ver programas científicos, a la vez que aumentan actividades como hacer experimentos, que no “entran en el examen”. Para tratar de evitar el posible impacto negativo del “teaching to the test”, las propias evaluaciones realizadas en la mayoría de los países se están volviendo cada vez más diversas (Hooge, Burns y Wilkoszewski, 2012).
La segunda de las críticas a las pruebas externas y estandarizadas es que la publicación de los resultados perjudica a aquellos centros que se encuentran en zonas desaventajadas. Por eso es importante que el rendimiento medio alcanzado por los centros se ponga en relación con la situación social, económica y cultural de sus alumnos. Las evaluaciones ofrecen una forma sencilla de aproximar el valor añadido de un centro, al compararle consigo mismo en los años anteriores, dado que la situación socioeconómico de un colegio o instituto no cambia significativamente entre un año y otro. De este modo, todos los centros tienen las mismas oportunidades, e incluso tendrían más margen de mejora aquellos que parten de peor situación.
Woessmann (2005) encuentra que todos los alumnos se benefician de la existencia de pruebas externas y estandarizadas, independientemente de su nivel socioeconómico. Y la evidencia empírica analizada por Hanushek y Woessmann (2011) concluye que las pruebas externas y estandarizadas mejoran en mayor medida a los centros y alumnos con peor rendimiento académico. Education at a Glance de la OCDE de 2012 (página 527) indica que “la existencia de pruebas externas y estandarizas no perjudica la equidad”, y la edición de 2016 (página 227) afirma que “cuando la autonomía y la rendición de cuentas se combinan de forma inteligente, se produce una mejora en los resultados de los alumnos”.
Numerosos autores destacan la importancia de la publicación de los resultados de esas evaluaciones. Según el Informe PISA 2007 (Volumen I, páginas 243 y 265), los estudiantes de centros educativos que publican sus resultados obtienen resultados que son significativamente mejores que los de los alumnos de centros educativos que no lo hacen. En concreto, la mejoría es casi equivalente a medio curso escolar, y la asociación positiva entre la publicación de las notas medias y los resultados de los escolares permanece significativamente positiva incluso cuando se tienen en cuenta otros factores que afectan al rendimiento de los alumnos, como los determinantes socioeconómicos. Burguess, Wilson y Wort (2013) muestran que cuando Gales dejó de publicar los resultados de sus pruebas externas y estandarizadas en 2001, el rendimiento académico de sus alumnos se redujo en un 9% de la desviación típica de los estudiantes en comparación a Inglaterra, que continuó haciéndolos públicos. Este efecto se produjo exclusivamente por la no publicación de los resultados de las pruebas externas y estandarizadas, y fue aún más negativo en los centros de zonas desfavorecidas. Por tanto, publicar resultados de las pruebas es beneficioso sobre todo para los colegios e institutos en zonas más desaventajadas.
Varios estudios de Estados Unidos señalan que las evaluaciones son un instrumento muy útil para la igualdad de oportunidades, puesto que mejoran en mayor medida el aprendizaje de los centros situados en zonas desfavorecidas y, dentro de estos, entre los alumnos rezagados. Deming et al. (2016) muestran que la introducción de pruebas externas y estandarizadas en Texas en la década de 1990, provocó que los centros educativos que corrían el riesgo de ser catalogados de “bajo rendimiento” mejorarán su rendimiento en un 4% de la desviación típica. Este incremento en el aprendizaje de los centros desfavorecidos fue aún mayor, del 7% de la desviación típica, entre sus alumnos rezagados y de las minorías hispana y negra.
TODOS LOS ALUMNOS SE BENEFICIAN DE LA EXISTENCIA DE PRUEBAS EXTERNAS Y ESTANDARIZADAS, INDEPENDIENTEMENTE DE SU NIVEL SOCIOECONÓMICO.
Vidgor y Ahn (2014) analizan el caso de la introducción de incentivos y sanciones a los centros educativos que durante varios años alcanzan resultados en pruebas externas y estandarizadas por debajo de lo que les correspondería de acuerdo al contexto socioeconómico en el que se encuentran sus alumnos y que además no logran mejorar su situación. Este sistema en Carolina del Norte consiste en que cuando un instituto no alcanza los indicadores de valor añadido y progreso predeterminados tiene una serie de sanciones graduales. Analizando la discontinuidad en los puntos de corte que deciden si el centro es sancionado, comprueban que los institutos que reciben la sanción por escaso margen (han estado a punto de superar los resultados requeridos pero no lo han logrado) mejoran sus resultados hasta en un 5,5% de la desviación típica con respecto a los que sí alcanzaron el umbral exigido pero también por escaso margen. Los estudiantes rezagados de centros que por segundo año no han superado los criterios establecidos, en el último curso por escaso margen, incrementan su rendimiento en un 11% más de la desviación típica que los alumnos rezagados de centros que el primer año también fueron sancionados pero el segundo superaron por poco el umbral.
En suma, como concluyen Figlio y Loeb (2011) en su análisis de los sistemas de evaluación de los Estados de EE. UU., el efecto de esta herramienta de transparencia es significativamente positivo, y entre todas las áreas, particularmente en matemáticas. Esta mejora del aprendizaje de los alumnos que producen las pruebas externas y estandarizadas es aún mayor en los alumnos rezagados y permanece en el tiempo, con más tasas de graduación y mejor desempeño laboral.
Para que las evaluaciones alcancen su potencial positivo en el rendimiento y la calidad educativa, hay que cuidar su diseño y aplicación. Así, es importante acompañar los resultados de las pruebas con indicadores de tasas de graduación y absentismo (para incentivar que se presente el mayor número de alumnos). También es muy relevante que estas evaluaciones sean percibidas por la comunidad educativa como justas y que en su elaboración se tengan en cuenta las consideraciones de los docentes, alumnos e investigadores.
Finalmente, al valorar los resultados de las pruebas hay que estar atentos a la posibilidad de que se produzca un “score inflation”, una mejora artificial de las notas de los alumnos. Por ello, es importante participar en pruebas internacionales educativas como PISA, TIMSS, PIRLS, y contrastar si las posibles mejoras en los resultados en las pruebas externas y estandarizadas nacionales se traducen también en progresos en comparación con otros países.
