La unión de las bases de datos de TALIS y PISA nos permite comparar la diferencia de rendimiento del mismo estudiante en distintas competencias y observar qué relación guarda esta diferencia con las prácticas docentes, así como con otras variables relacionadas con los procesos de enseñanza y aprendizaje.
Desde que somos seres humanos, el análisis y valoración de hechos y experiencias han sido la condición fundamental del progreso. Esta práctica se convirtió con Ralph Eyler, al fi nal de los años veinte del siglo pasado, en un ejercicio siste mático y basado en evidencias.
Desde entonces, la “evaluación”, más allá de ser una costumbre, un capricho o una moda, se ha convertido en una disciplina, en un verdadero sistema experto que posee una estructura conceptual y unas reglas o pasos metodológicos que deben seguirse para producir conocimiento y evidencias que expliquen un fenómeno y, a la vez que realiza un monitoreo y control, facilita y permite el dise- ño de planes de mejoramiento Aor consiguiente, se ha convertido en la actualidad en el factor más importante en materia de mejoramiento y asegu ramiento de la calidad.
Du objeto de estudio e investigación no es solo la educación, aunque fue en esta área donde tuvo su origen como disciplina, sino que comprende, en general, los diversos campos de la acción humana, no solo del sector productivo y de servicios, campos en los cuales paradójicamente ha tenido mayores avances, sino de las diversas áreas de conocimiento.
Los diversos conceptos de la evaluación
Desde su creación, el concepto de “evaluación” ha adquirido múltiples signifi cados y Uunciones y, en su relativa corta historia como disciplina científi ca, no solo han existido diversos paradigmas y enfoques metodológicos, sino verdaderas generaciones en evaluación (Guba y Lincoln, 1991) y auténticas revoluciones, hasta convertirse en una meta-disciplina paradigmática (Scriven, 2012).
En sus orígenes, evaluar fue sinónimo de “medir”, particularmente el logro de unos objetivos prees tablecidos o el desempeño de sus agentes, enfoque que ha venido predominando, aunque desde fi na les de los años sesenta, se ha buscado superar esta identidad y se han producido importantes avances metodológicos.
Con Michael Scriven (1967), pasó a reconocerse que la función fundamental de toda evaluación es encontrar evidencias científi cas para emitir jui cios sobre el mérito y valor” no solo sobre los resultados (evaluación sumativa), sino sobre los procesos (evaluación formativa), con el propósito de emitir recomendaciones para la toma de decisiones que conduzcan a mejoramientos de lo que se evalúa (el evaluando). Evaluar es desde entonces un proceso científi co, una triada de interrelaciones entre inUormación científi ca juicios de valor de cisiones para el mejoramiento de la calidad
Aunque al respecto hay total consenso, sin embargo, desde los años setenta, en evaluación como a nivel de las demás disciplinas científi cas, se dio un intenso debate en torno al paradigma científi co a utilizar: el cuantitativo propio de las ciencias naturales o el cualitativo propuesto por las ciencias sociales. Los avances en esta materia también han incidido positivamente en la evaluación en tanto uno y otro método se complementan. Empero, no se ha tratado de ir más allá de los números, como se indicó en Cambridge en 1972 1 o de los tests. De hecho, el problema no está en los instrumentos, sino de obtener, interpretar y analizar de manera cada vez más integral la información, de lograr que las evaluaciones tengan un carácter participativo incorporando activamente a los agentes implicados en el asunto que se evalúa (sin duda uno de los stakeholders fundamentales), y lograr recomendaciones, decisiones y mejoras que em poderen a los actores de los asuntos evaluados a realizar auténticos planes de mejoramiento que, como los precursores de los métodos “responsivos” en evaluación lo propusieron (Stake, 1975; y Guba y Linconln, 2001), permitan resolver las reivindicaciones (intereses), preguntas y problemas (RPP) inmersas en la situación que se evalúa (en el evaluando), superando así las funciones y percepciones de que evaluar sea sinónimo de control, sino sobre todo de mejoramiento de la calidad de los procesos y resultados, que es fi n último de toda evaluación. Es decir, los desarrollos en evaluación han corrido parejos con los avances en materia de calidad. Un recorrido en este último tema muestra claramente esta relación.
Evaluación y mejoramiento de la calidad en colombia
4olombia estuvo relativamente ajena de los de sarrollos tanto en materia de evaluación como de calidad, si bien desde 1968 se creó en el ICFES el Servicio Nacional de Pruebas (SNP), pero este se concentró en los “exámenes del ICFES” para el ingreso a las universidades.
Es en la década de los ochenta, declarada por Naciones Unidas como la década de la calidad de la educación, cuando se realizaron las primeras investigaciones al respecto 2 ; y en la década de los noventa del siglo pasado, cuando se inician diversas evaluaciones sobre el rendimiento escolar y se participa en evaluaciones internacionales: la Determinación del logro educativo, realizada en 1991 por el Instituto SER de Investigación conjuntamente con el >inisterio de Educación Nacional y el SNP; desde 1995, en las pruebas TIMMS, Estudio Internacional de Tendencias en Matemáticas y Ciencias; desde 1997, en las pruebas del Laboratorio Latinoamericano sobre 4alidad de 6ducación ==646, de la F?6D4@ desde 1999, en el Estudio Internacional de Cívica y Ciudadanía; desde el 2001, en las pruebas PIRLS (Estudio Internacional del Progreso en Competencia Lectora), y desde el 2006 en las pruebas PISA, Programa Internacional de Evaluación de Estudiantes, de la @4D6 J, fi nalmente, en el s{{z, se transforma el ICFES en un instituto encargado de las evaluaciones, realizando las denominadas pruebas SABER 3,5, 9, 11 y Saber PRO, estas últimas realizadas desde el 2003 en sustitución de los Exámenes de Calidad de la Educación Superior – ECAES.
Di bien, desde hace décadas se identifi có la necesi dad de realizar esfuerzos en evaluación, especialmente de los aprendizajes, diversas son las razones por las cuales estos desarrollos se dieron relativamente tardíos. Entre otras, la falta de una cultura evaluativa y no cierta resistencia a las evaluaciones, así como bandazos en la política educativa.
De una parte, la Ley General de Educación reconoció, en el artículo 77, la autonomía escolar otorgando a las instituciones libertad para adoptar los métodos de enseñanza y organización de las actividades formativas, libertad no siempre adecuadamente utilizada. De otra, el MEN, buscando promover el derecho a la educación (pero sobre todo mejorar los índices nacionales de escolaridad), generó con el Decreto 230 de 2002 un desinterés en las evaluaciones, al proponer un máximo de reprobación del 5% de los estudiantes. Y, si bien en el 2009 corrige esta situación con el Decreto 1290 y se crea el Sistema Institucional de Evaluación, los resultados de las evaluaciones del ICFES han incidido hasta el presente poco en planes de mejoramiento, objetivo último de las eva luaciones, en tanto éstos son facultad de los establecimientos educativos.
Sin duda, durante las dos últimas décadas se han venido haciendo importantes avances en evaluación con miras a mejorar la calidad de la educa ción. Con todo, un estudio publicado el mes pasado por el Banco de la República acaba de concluir que, de acuerdo con los resultados de las pruebas SABER 11 del 2013 y las últimas pruebas PISA en matemáticas, “se evidencia que no se están alcanzando los logros esperados del Sistema Nacional de Evaluación, pues no se observa que la estrategia de mejorar la calidad de la educación a través de la evaluación esté dando resultados positivos. La calidad no mejora en las instituciones educativas y las brechas de género no se reducen”.
Más aún, con base en los disímiles resultados de una y otra prueba (Saber 11 mostraba que la mayoría de los bachilleres alcanzaban el nivel medio o alto de competencias de las pruebas de matemá- ticas, mientras los resultados de PISA indican que la mayor parte de los estudiantes colombianos llegan al fi nal de la secundaria sin haber desarrollado las competencias básicas para desempeñarse en la sociedad), estarían sugiriendo que deberíamos evaluar nuestros propios estándares de competencias Al parecer indicaba el autor del estudio en el país estamos sobreestimando el logro académico de los estudiantes con niveles de competencias menos exigentes, situación bajo la cual sería muy difícil alcanzar los estándares de los países pertenecientes a la OECD a través de la evaluación y del mejoramiento continuo Ayala8arcía, s{rv
Es decir, pese a los avances, debemos lograr aún evaluaciones más afi nadas, que nos permitan pro nosticar el logro, no solo de las competencias cognitivas globalmente consideradas como básicas, sino de las competencias psico-sociales que hasta el presente no han sido objeto prioritario de eva luación y que, tanto o más que las competencias cognitivas, son predictores del desempeño en la sociedad actual.
Es precisamente en estas últimas competencias, por ejemplo en la capacidad para planifi car, para manejar agendas y cumplir citas o términos, para asumir responsabilidades, para perseguir con tenacidad objetivos o para trabajar en equipo, en las cuales los colombianos tenemos nuestras principales debilidades. Baste para ello, traer a cuento una anécdota del profesor Yu Takeuchi, uno de los egregios matemáticos de la Universidad Nacional, quien pasó más de la mitad de su vida dedicado a la enseñanza en nuestro país y quien por su dedicación y méritos no solo recibió varios doctorados honoris causa, sino la nacionalidad colombiana. Al preguntársele en una entrevista por qué si Japón hace 50 años era tan pobre como Colombia, nuestra patria no había logrado superar esa situación, manifestó: “es que un colombiano es mucho más inteligente que un japonés pero dos japoneses son mucho más inteligentes que dos colombianos”. Es decir, nosotros no hemos desarrollado aún la capacidad de trabajar en equipo
De igual forma y pese a los esfuerzos realizados en la divulgación de los resultados de las pruebas SABER y PISA y que se han dado guías para la elaboración de planes de mejoramiento, este es otro de los retos a enfrentar, puesto que, insisto, son el objetivo último de toda evaluación
Finalmente, y no obstante que desde los noventa tenemos en educación superior la acreditación de alta calidad de programas e instituciones (de la cual se adolece en la educación básica, no obstante algunas experiencias particulares), mi conocimiento como par académico me indica que, en ocasiones, apenas si cumplimos formalmente con las auto-evaluaciones e incluso con la evaluación externa, porque adolecemos de una sólida formación para la realización de evaluaciones basadas en evidencias científi cas, es decir, hechas con rigor y objetividad, de cuyas evi dencias científi cas se deriven auténticos planes de mejoramiento que permitan construir instituciones académicas más sólidas y una aprendizajes de mejor calidad. Estos son tres retos fundamentales a enfrentar.
Los avances recientes en evaluación
He realizado esta rápida excursión histórica, porque quiero contextualizar la importancia de los esfuerzos que se están produciendo actualmente sobre estos tres desaUíos específi cos, reUeridos es pecífi camente a la evaluación de aprendizajes la construcción de evaluaciones de competencias cognitivas y socioaUectivas de planes de mejora miento como producto natural de las evaluaciones; y la formación de auténticos evaluadores profesionales o mejor aún, de investigadores evaluativos
Sobre el primer avance no necesito extenderme, puesto que está con nosotros Koyi Miyamoto, quien en la OECD ha sido el promotor de la evaluación de competencias socio-afectivas, ese gran predictor del desempeño. Baste decir, que desde mediados de los sesenta, 3enjamín 3loom y su equipo, discípulos directos de Eyler, buscaron identifi car al igual que los objetivos de aprendizaje en el domi nio cognitivo, también los de la dimensión afectiva y psico-motora. Éstos últimos no tuvieron, sin embargo, los sufi cientes desarrollos, debidos a proble mas en la conceptualización y operacionalización.
Con las crecientes demandas de nuestra sociedad contemporánea, cada vez se exige a la educación, 12 Ruta maestra Ed.12 como lo indica la UNESCO, el desarrollo de aprendizajes en las diversas dimensiones del ser, del convivir, del conocer y del hacer, que implican el desarrollo de competencias cada vez más complejas, es decir de esa tríada indisoluble entre conocimiento, actitudes y valores, y la capacidad para aplicar e innovar. Pues bien, la evaluación de los aprendizajes ha de evidenciar los avances en los procesos y logros en dichas dimensiones.
A nivel global, pero específicamente en nuestro país, la experiencia diaria nos muestra dolorosamente que no bastan los avances en materia de conocimiento, si no vienen aparejados de mayor responsabilidad individual y social en nuestras acciones. Por consiguiente, con gran complacencia saludamos los avances que en materia de las pruebas PISA se han venido cuidadosamente preparando en materia de evaluación de competencias socio-afectivas, y que próximamente conformarán la batería de evidencias sobre nuestros aprendizajes Sin lugar a dudas, ellas han comenzado ya a impactar igualmente a las diversas pruebas SABER. En esa misma dirección, es motivo de gran esperanza el anuncio reciente por re-conceptualizar las evaluaciones del desempeño docente.
Un segundo esfuerzo, es el Índice Sintético de Calidad Educativa (ISCE), recientemente propuesto por el Ministerio de Educación (MEN) de Colombia, como instrumento para utilizar mejor las pruebas SABER y fomentar el desarrollo de planes de mejoramiento en instituciones educativas, por ahora en aquellas de jornada única Din lugar a dudas, un propósito loable ya que ese es precisamente el objetivo último de toda evaluación. Al respecto, apenas comienza a decantarse un análisis más detallado y profundo sobre sus alcances y limitaciones. Con todo, algo que debe ser valorado y bien recibido.
E ISCE toma en consideración otros construidos tanto por el MEN, por las Secretarías de Educación de Bogotá y de Medellín, así como de Brasil y Chile 3 . Se basa fundamentalmente en las mediciones de las pruebas SABER, para determinar el progreso anual de los estudiantes de un establecimiento educativo, observado en el porcentaje de estudiantes que abandonan el quintil más bajo el desempeño, analizado en los promedios obtenidos en las pruebas SABER por los estudiantes de la institución la eficiencia determinada en las tasas de aprobación y promoción en los diferentes grados; y el ambiente escolar, en los resultados de las encuestas de Uactores asociados que se aplican junto con las pruebas SABER de 5º y 9º grados.
En relación con el ISCE se ha señalado la existencia de debilidades en la conceptualización, en la socialización, validación previas de la información publicada, en los pesos dados a cada uno de los diversos factores, pero sobre todo en la consideración de los diversos entornos en que operan las distintas instituciones educativas y las disimiles condiciones en las cuales ingresan los diversos estudiantes 4 , que sin duda han ser objeto de discusión y afinamiento, para evitar comparaciones y clasificaciones institucionales invalidas, pero sobre todo para asegurar la plena aceptación social para este importante instrumento. Valga anotarse al respecto que, aunque el MEN ha insistido en que no se trata de un Ranking institucional, desafortunadamente los medios de comunicación lo han publicado como si fuera un ranking, lo cual es un gran obstáculo para que pueda cumplirse la función primordial y, yo diría exclusiva, de establecer planes de continuo mejoramiento institucional que es lo que se persigue con este índice.
Finalmente, pero no menos importante, debemos destacar los esfuerzos, todavía incipientes, que realizan algunas universidades, para superar la pobre cultura evaluativa y escasa formación profesional en materia de evaluación. Éstos se evidencian en los usos escasos o distorsionados que en el país se han realizado y realizan de los resultados evaluativos. Esta situación reclama un masivo e intenso proceso de formación en materia de evaluación como disciplina científica, para suplir este urgente requerimiento que, no solo es una necesidad en el sector educativo, sino igualmente en el sector productivo y de servicios 5 , así como en los diferentes campos del conocimiento. Una formación especializada y rigurosa en evaluación es sin lugar a dudas- el primer desafío a enfrentar, si el país efectivamente quiere avanzar en el mejoramiento de la calidad a todo nivel. Al respecto, por fortuna, han comenzado a darse ya los primeros pasos.
=a evaluación no solo es una disciplina científica que requiere una rigurosa Uormación científica, sino que se ha convertido en un requerimiento de las demás disciplinas, en una meta-disciplina, en una disciplina revolucionaria, en tanto es el instrumento por excelencia para garantizar el progreso y el desarrollo, con equidad social.
- En 1972, en Cambridge (Inglaterra), se realizó la conferencia para analizar los «Métodos no tradicionales de evaluación de currículo». En ella participaron destacados investigadores evaluativos, entre ellos Robert Stake, David Hamilton, Malcoln Parlett y Barry MacDonald, y en las conclusiones, denominadas «Más allá de los números», se plantearon diversos modelos siguiendo el paradigma socio-antropológico de las ciencias sociales.
- Cfr. Facundo, A. y C. Rojas (1982). La calidad de la educación. Lo que dice la investigación. Bogotá: MEN/Fondo Editorial. Y, Facundo, A. y C. Rojas (1990). La calidad de la educación: cómo entenderla y evaluarla. Cali: FES/Programa Alegría de Enseñar.
- Entre otros, el Índice de Desarrollo de la Educación Básica (IDEB), creado por el MEN en 2007; el Indicador Multidimensional de la Calidad de la Educación – IMCE, desarrollado por la Secretaria de Educación de Bogotá; el Sistema de Medición de la Calidad de las Instituciones Educativas – SIMCIE, de la Secretaría de Educación de Medellín; el Índice del Derecho a la Educación; el Índice de Desarrollo de Educación Básica (IDEB) de Brasil; o el Sistema Nacional de Evaluación del Desempeño (SNIED) de Chile.
- Cfr., entre otras críticas, Zambrano, Marco Fidel (2015). Alcances e inconsistencias del Índice Sintético de Calidad Educativa (ISCE), diseñado y aplicado por el Ministerio de Educación de Colombia en el año 2015. Bogotá: Fundación IQ Matrix – Iniciativas para la sociedad del conocimiento.
- Valga anotarse que, desde 1963 Colombia viene participando, con ICONTEC, en las políticas y normas internacionales para aseguramiento de la calidad en el sector industrial y, desde 1991, incursionó en instituciones de servicios. No obstante los avances realizados, también aquí se ha venido señalado la necesidad de afinamientos conceptuales y metodológicos que permitan mayores mejoramientos en la calidad.