El largo camino que recorre una pregunta para llegar al cuadernillo de la PAES
Entre dos y tres años tarda una pregunta en llegar al folleto oficial que se entrega a las y los postulantes que rinden las pruebas de admisión, que, como sabemos, a contar de noviembre serán las nuevas Pruebas de Acceso a la Educación Superior (PAES). Cada una de estas preguntas debe pasar por un extenso proceso de validación que certifica que son adecuadas para las personas que rendirán estos test de altas consecuencias. Acá te contamos los detalles de ese paso a paso.
“Nada es al azar. Todo está planificado, probado y revisado por expertas y expertos internos y externos del DEMRE”. Así responde Ingrid Oyarzún a la frecuente consulta sobre cómo se construye el cuestionario que deben responder quienes se inscriben para dar las pruebas de acceso a la educación superior.
La jefa de la Unidad de Construcción de Pruebas del Departamento de Evaluación, Medición y Registro Educacional (DEMRE) de la Universidad de Chile, explica que este es “un trabajo que se realiza con dos o tres años de anticipación” y que comienza con la conformación de los equipos de constructores de ítems, que “son profesores de educación media, académicos, estudiantes de postgrado e, incluso, expertos de distintas áreas, como geógrafos o ingenieros, interesados en participar de este proceso que termina, recién, cuando las preguntas aparecen en los cuadernillos de la PAES”.
¿Qué sigue después? Acá se detalla el minucioso proceso que permite que una pregunta llegue al folleto oficial.
Paso 1: Creación de preguntas
Los equipos de constructores y constructoras son los que crean las preguntas PAES y están conformados por personas capacitadas para realizar esta labor. Ellos tienen como referencia los Manuales de Construcción de Ítems, en los que se establecen los lineamientos de las preguntas que se construirán, y los protocolos que este tipo de trabajo requiere.
Para confeccionar las preguntas, los integrantes de estos equipos tienen que seguir una serie de indicaciones entregadas por el DEMRE, las que se relacionan con los Marcos de Evaluación de las pruebas. En estos se precisa lo que se quiere evaluar y cómo se evaluará, para lograr, así, un conjunto de preguntas pertinentes y con distintos niveles de dificultad. También, “deben considerar la seguridad con la que se trabaja, porque nada se puede filtrar”, enfatiza Oyarzún.
Una vez que las preguntas están listas, pasan a un proceso de revisión. Luego, a un “banco de ítems” (como formalmente se le llama al lugar donde se guardan las preguntas) y, por último, a un proceso de ensamblaje de pruebas piloto. Esto último consiste “en armar las pruebas, es decir, seleccionar las preguntas y darles un orden de acuerdo con sus respectivas especificaciones”, señala Ingrid Oyarzún.
Las preguntas ensambladas serán nuevamente revisadas por expertos que no fueron parte de la creación de estas. Lo mismo hará el área de Inclusión del DEMRE.
Paso 2: Pilotaje
La segunda etapa comienza con la gestión y realización de pruebas pilotos, las que permiten “calibrar las preguntas y determinar si son adecuadas a la población, ya sea en sus dificultades como en los distintos parámetros psicométricos requeridos en instrumentos de altas consecuencias”, detalla Oyarzún.
Los pilotajes se llevan a cabo una o dos veces al año y entregan datos estadísticos cercanos a la realidad, que ayudan a determinar cuáles preguntas se aprueban y cuáles se rechazan, según una serie de criterios técnicos que determina la Unidad de Análisis de Datos del DEMRE.
Así, las preguntas aceptadas quedarán en el estado de “Disponibles para ser usadas en una prueba oficial”, para que, posteriormente, se incluyan en las PAES de Competencia Lectora, Competencia Matemática 1 (M1) y Competencia Matemática 2 (M2). Además, de las de Ciencias e Historia y Ciencias Sociales.
Pasos 3 y 4: Impresión y Prueba
Después de este largo camino de análisis, por fin las preguntas visadas, gracias a “muchos ojos expertos” y datos psicométricos, pasarán al folleto oficial que irá a impresión y llegará a las manos de las y los inscritos en el proceso de admisión. No sin antes, eso sí, ser examinadas nuevamente por académicos e investigadores que nunca antes las habían chequeado.
“Hay que ser enfáticos: como DEMRE nunca aplicaremos una prueba oficial con preguntas que no hayan sido piloteadas previamente y que no cumplan con los estándares de calidad preestablecidos. Es importante que quienes vayan a rendir la PAES no piensen que por ser una prueba nueva no ha pasado por pilotajes anteriores y todos los estudios correspondientes”, sostiene Ingrid Oyarzún.
Leonor Varas, directora del DEMRE, se suma a lo anterior, al explicar que “todos los cambios en las pruebas que se han estado implementando, se han basado en estudios, que entregan datos sobre cómo se comportan estos instrumentos en la población, y en extensos análisis con expertos externos y actores relevantes. Esto ha permitido que el Comité Técnico de Acceso del Subsistema Universitario (formado por 7 rectores y rectoras y el(la) Subsecretario(a)) haya podido tomar decisiones que aporten a un sistema de admisión más justo y de mayor calidad.”.
Varas finaliza citando un ejemplo que, en su opinión, resulta paradigmático al respecto: “Si el DEMRE no hubiese iniciado en 2017 un proyecto FONDEF para desarrollar nuevas pruebas de admisión, habría sido muy difícil, hasta imposible, poner fin a la PSU cuando por otra parte el rechazo de la población tampoco permitía mantenerla. En esto también se ve la anticipación con la que debemos trabajar. No hay atajos posibles. Incluso teniendo pruebas desarrolladas con tiempo y harto estudio, lo prudente es transitar con cuidado, evaluando los resultados en aplicaciones nacionales, de verdad, así como se hizo este camino de transición con la PDT, para llegar finalmente a la PAES, que se aplicará por primera vez en noviembre. Estamos muy contentos por ello”, finaliza.
