Andrés Gutiérrez, Director de Evaluación ICFES, presenta en este artículo un breve repaso por el ámbito de la evolución de la calidad educativa del país en el que se puede observar cómo los instrumentos de evaluación diseñados por el Icfes, en compañía de expertos internacionales reputados, han sido calibrados para evidenciar las habilidades de los estudiantes en términos de sus competencias de comunicación en el idioma inglés.
La misión del Icfes es evaluar la calidad de la educación en Colombia. Esta tarea no es sencilla en un país que goza de autonomía curricular y que no se adhiere a ningún modelo pedagógico, pues los acepta a todos como válidos. Sin embargo, a la hora de evaluar la habilidad de los estudiantes con respecto a su dominio de otro idioma, es necesario adherirse a un marco conceptual que reúna hasta el últimos de los pormenores en términos de las competencias comunicativas bajo distintos contextos, ámbitos y condiciones. Es así como el Icfes ha adoptado los parámetros del Marco Común Europeo de Referencia (MCER) para evaluar las competencias de los estudiantes bachilleres, técnicos, tecnólogos y universitarios.
Teniendo en cuenta las estrategias que se han definido para el sector educativo, el Icfes ha incluido desde hace varios años la evaluación del inglés en los exámenes de Estado mediante una prueba de inglés. El objetivo general de esta prueba, en el examen de Saber 11, es evaluar a los estudiantes desde el nivel Pre A1 hasta el nivel B1 del MCER, con base en la evaluación del componente de Lectura y uso del lenguaje. De la misma manera, en los exámenes Saber TyT y Saber PRO el propósito específico de la prueba de inglés es evaluar a los estudiantes desde el nivel A1 hasta el nivel B2 del Marco Común Europeo, con base en la evaluación del componente de Lectura y uso del lenguaje. Lo anterior, con el fin de responder a las políticas de enseñanza y aprendizaje de lengua extranjera propuestas por el Ministerio de Educación Nacional para la formación en educación media y superior en el país.
En términos del diseño de la prueba de inglés, los coordinadores que gestionan la construcción de los ítems que conforman la prueba han sido entrenados directamente por expertos en diseño de instrumentos de evaluación alineados al MCER, pertenecientes a Cambridge English Language Assessment, organismo que forma parte de la Universidad de Cambridge. En los inicios de los exámenes de Estado, las pruebas de idiomas eran electivas. Posteriormente, en 1999, estas pruebas tomaron un carácter obligatorio optativo (inglés, francés y alemán). Finalmente, en 2004, se decidió ofrecer la prueba de inglés como única prueba de idiomas.
Puesto que las poblaciones son diferentes, la prueba de inglés tiene diferentes características en cada examen. Por ejemplo, en Saber 11 la prueba se conforma de 45 preguntas, organizada en 7 partes; mientras que en Saber TyT y Saber PRO la prueba se conforma de 35 preguntas organizadas en 5 partes. La primera parte contiene cinco avisos para decidir dónde se encuentran seleccionando entre las opciones A, B o C. La segunda parte consta de una lista de ocho palabras para relacionar con su correspondiente descripción seleccionando entre las opciones A a H. La tercera parte es un conjunto de cinco conversaciones para ser completadas seleccionando entre las opciones A, B o C. La cuarta parte es un texto con 8 espacios, los cuales se deben llenar seleccionando la palabra correcta, para cada espacio, de las tres opciones A, B o C. La quinta parte define un texto seguido por siete preguntas, en las cuales se debe seleccionar la respuesta correcta entre tres opciones A, B o C. La parte sexta es un texto seguido por cinco preguntas, en las cuales se debe marcar A, B, C o D. La séptima parte es un texto con 10 espacios que se deben llenar seleccionando la palabra correcta, para cada espacio, de las cuatro opciones A, B, C o D. De esta manera, el evaluado es clasificado en los siguientes niveles de desempeño:
|
A- |
* El estudiante promedio clasificado en este nivel no supera las preguntas de menor complejidad de la prueba. |
|
A1 |
|
|
A2 |
|
|
B1 |
|
|
B2 |
* * * El estudiante es capaz de entender las ideas principales de textos complejos que traten de temas concretos abstractos, incluso si son de carácter técnico, siempre que estén dentro de su especialización. Puede producir textos claros y detallados en torno a temas diversos, así como defender un punto de vista sobre temas generales indicando los pros y los contras de las distintas opciones. |
A continuación se resalta la distribución de los resultados de las últimas aplicaciones del examen Saber 11. La figura 1 muestra que, tanto para los colegios oficiales como para los no oficiales, el nivel de desempeño predominante es A- (insuficiente). Sin embargo, a medida que los estudiantes avanzan en sus ciclos de estudio, la distribución de los niveles de desempeño se mueve hacia la derecha, siendo el nivel predominante el A1 (principiante). La figura 2 muestra que hay una mayor proporción de estudiantes universitarios que están clasificados en niveles altos, en comparación con los estudiantes que cursan estudios técnicos o tecnológicos.
En este breve repaso por el ámbito de la evolución de la calidad educativa del país se puede observar que los instrumentos de evaluación diseñados por el Icfes, en compañía de expertos internacionales reputados, han sido calibrados para evidenciar insesgadamente las habilidades de los estudiantes en términos de sus competencias de comunicación en el idioma inglés.
Evaluating the quality of bilingual education in Colombia
The ICFES mission is to assess the quality of Education in Colombia. This is not an easy task for a country that enjoys curricular autonomy and that does not follow any teaching model, accepting them all as valid. However, when it comes to assessing students’ ability regarding their mastery of another language, it is necessary to use a conceptual framework that includes every detail from the communicative competences, bearing in mind different contexts, areas and conditions. This is how ICFES came to adopt the parameters of the Common European Framework of Reference (CEFR) to assess the skills of secondary school students, technicians, technologists and academics.
Taking into account the strategies that have been defined for the educational sector, ICFES has been including English in the national exams by means of a test for several years. The main objective of the English section within the Saber 11 test is to assess students from Pre A1 level to B1 of the CEFR, based on the reading and language use component. Similarly, the specific purpose of the English section in the T & T and Saber PRO examinations is to assess students from level A1 to B2 of the CEFR, also based on the reading and language use component. This was done in order to respond to the policy proposed by the Ministry of National Education for training in secondary and higher education, regarding teaching and learning foreign languages.
In terms of the English test design, coordinators who manage the construction of test items have been trained directly by material design experts. These trainers, who work for one of the Cambridge University organisms known as Cambridge English Language Assessment, design assessment tools aligned to the CEFR. In the early state examinations, language tests were optional. Later, in 1999, these tests became mandatory, with the choice of English, French or German. Finally, in 2004, it was decided to offer the English test as the only language examination.
Since the populations are different, the English section has different characteristics in each test. For example, the Saber 11 exam is made up of 45 questions, organized into 7 parts; while the Saber T & T and Saber PRO exams are made up of 35 questions organized into 5 parts. The first part contains five notices, and students need to recognize the context in which they may appear, by selecting option A, B or C. The second part consists of a list of eight words that must be matched with their corresponding options from A to H. The third part is a set of five conversations, to be completed by selecting from options A, B or C. The fourth part is a text with 8 blanks, which must be completed with the correct word from the three options provided. In the fifth section, students must answer seven literal information reading comprehension questions. Part 6 is a text composed of five inference questions, which should be answered by marking A, B, C or D. The seventh part is a text with 10 spaces to be completed by selecting the correct word for each space. For this last section, students have four options to choose from: A, B, C or D. The candidate is classified using the following performance levels:
|
A- |
* The average student classified in this level cannot answer the test’s non complex questions. |
|
A1 |
|
|
A2 |
|
|
B1 |
|
|
B2 |
|
The distribution of the latest Saber 11 test results can be found below. Figure 1 shows that, for both public and for non official schools, the predominant performance level is A- (insufficient). However, as students progress through their study cycles, the distribution of performance levels moves to the right, level A1 (beginner) being predominant. Figure 2 demonstrates that a greater proportion of college students are classified at high levels, compared to those who undertake technical or technological studies.
In this brief review of the evolution of the quality of the country ́s education, it can be seen that the assessment instruments designed by ICFES, together with renowned international experts, have been calibrated reliably to demonstrate students’ skills in terms of their English language communicative competences.
Figure 1. Saber 11 English test students’ evaluation distribution. The non public schools distribution is in the upper part of the table, while the public school information can be found in the lower section.
(Check the figures at the end of the spanish version above this text).
