Cada vez que vemos los resultados de alguna medición tenemos la tendencia a compararlos directamente para crear ordenamientos. En el sector educativo, muchas veces ese ordenamiento no tiene sentido.
Hace algún tiempo escuché a un importante gurú de las comunicaciones que cuando una página H63 dejaba de generar tráfi co can tidad de visitas) deseado, una estrategia común para aumentarlo era la publicación de rankings. Escuchamos, vemos y leemos de rankings día a día: los 10 lugares más exóticos para ir de vacaciones, los 50 libros que debe leer antes de morir, las sv mejores películas del siglo, e incluso ranZings de los mejores colegios o de los países con mejores desempeños en las pruebas PISA. Lo cierto es que nos fascinan los rankings y los ordenamientos. Sin embargo, en el sector educativo, muchas veces ese ordenamiento no tiene sentido.
La evaluación de la educación es un proceso que se basa en muchos criterios Aor ejemplo, crite rios cognitivos propios del estudiante, criterios no cognitivos del estudiante y su entorno, criterios asociados al ambiente escolar, a la calidad de la infraestructura de la escuela, a la motivación de los maestros en el sistema educativo, entre otras. En particular, los institutos que miden la calidad de la educación utilizan la evaluación estandarizada como una herramienta que les permite dar cuenta de algunos aspectos básicos del sistema educativo. En los últimos años hemos querido analizar qué factores se asocian con el desempeño educativo para que, al fi nal, la califi cación que recibe el estudiante pueda ser considerada como integral, abarcando aspectos cognitivos y no cognitivos. Sin embargo, la evaluación estandarizada no puede remplazar la evaluación en el aula y las buenas prácticas de los maestros.
Por tanto, la evaluación de la calidad del sistema educativo tiene como insumo la evaluación estandarizada que, en muchas ocasiones, no abarca la medición exhaustiva de toda la población de interés. Aor ejemplo, las pruebas A:DA toman una muestra de la población de estudiantes en Colombia y, con base en esta selección aleatoria, se realiza el proceso de inUerencia que al fi nal induce un puntaje 4on base en esos puntajes la sociedad, muchas veces infl uenciada por los medios, se apresura a realizar ordenamientos descuidando un elemento imprescindible en la teoría estadística: la incertidumbre.
Y es que en la puesta en marcha de cualquier tipo de medición que involucre un proceso de muestreo, las cifras resultantes deben ser leídas siempre con rigurosidad y pertinencia técnica. Aunque efectivamente es posible resumir el desempeño de una población de millones de estudiantes en una muestra de unos cuantos miles, el resultado fi nal debe ser interpretado como una cifra con un cierto error de muestreo (comúnmente llamado margen de error 6sto signifi ca que el verdadero 1 valor se encuentra en un intervalo, que es inducido por el nivel de precisión de la medición. Generalmente, la incertidumbre generada por el muestreo se pasa por alto al momento de realizar los rankings. Por ejemplo, suponga que después de haberse seleccio nado una muestra en un país cualquiera, se obtiene una puntuación promedio de 45 puntos con un error de muestreo de 2 puntos. Esto quiere decir que, en realidad, cualquier valor entre 43 puntos y 47 puntos sería una estimación técnicamente correcta para el puntaje promedio del país si la prue ba hubiese sido realizada de forma censal).
Más aún, al hacer comparaciones entre países, secretarías de educación, establecimientos educativos, etc., se debe prestar mucha más atención, no solo a las puntuaciones específi cas, sino también al error de muestreo que, por lo general, no es igual para cada uno Aor ejemplo, consideremos dos paí ses, A y B, con promedios de 45 puntos y 44 puntos, respectivamente. En principio, el ordenamiento ingenuo nos haría pensar que A es mejor que 3 Sin embargo, suponga que los errores de muestreo son de 2 puntos para A y 3 puntos para B. Entonces, al tener en cuenta la incertidumbre de la medición, podemos afi rmar que el valor promedio de A está entre 43 y 47 puntos, mientras que el de B está entre 41 y 47 puntos. En realidad se trata de dos países que son estadísticamente similares y no tiene sentido afi rmar que uno es mejor que otro
6sto se ve refl ejado con mayor claridad en la fi gura 1, que muestra los intervalos estadísticos para un grupo de países. Recuerde que cuando se realiza la selección de una muestra, cualquier valor contenido entre estos intervalos puede ser considerado como una estimación precisa 6l gráfi co muestra que rea lizar ordenamientos sin tener en cuenta la incertidumbre de las cifras no es pertinente. Sin embargo, del gráfi co también se concluye que sí es plausible realizar agrupaciones que tengan en cuenta tanto la estimación puntual como la incertidumbre.
9ablar de agrupaciones es mejor que hacer ranZings Al defi nir grupos es posible especifi car con mayor claridad las debilidades y fortalezas propias de la dinámica del sector educativo 6s posible defi nir nue vas rutas encaminadas a un mejoramiento continuo de los integrantes del grupo, con base en las oportunidades de mejora 6n términos de mejoramiento es más favorable tener referentes claros para que la política pública educativa llegue con más fuerza.
Por otro lado, en el campo de la educación queremos medir qué tan competente es un estudiante frente al sistema educativo, así como el desempeño de los establecimientos. Pero medir este componente no es sencillo y tiene componentes psicométricos que deben ser tenidos en cuenta a la hora de interpretar los resultados. En educación, los parámetros de interés son latentes, no observables y, por tanto, cada intención de medición tiene un error interno. Más aún, las pruebas estandarizadas no abarcan la totalidad de la realidad del sistema educativo. Es posible encontrar establecimientos con altos niveles de desempeño académico cuyos estudiantes están rodeados por entornos emocionales, afectivos y familiares adecuados. Pero, por otro lado, también es posible encontrar establecimientos con altos niveles de desempeño cognitivo, pero cuyos estudiantes soportan altísimos niveles de estrés, que pueden desencadenar cuadros depresivos, etc. Un ordenamiento de escuelas no tiene en cuenta estos factores asociados a las vivencias diarias de los estudiantes, maestros y directivos.
Al fi nal, desincentivar el uso de los ranZings es una responsabilidad compartida entre el mundo académico, los medios de comunicación, el gobierno y el núcleo familiar de los estudiantes.
- Nótese que el verdadero valor se conoce siempre y cuando se haga una medición censal a toda la población.
