Leonor Varas, directora del Demre: “No les puedes pedir a las pruebas que eliminen las brechas, pero sí que no las expandan”

La primera implementación de la Prueba de Acceso a la Educación Superior (PAES) tuvo un sabor más que especial para Leonor Varas, directora del Departamento de Evaluación, Medición y Registro Educacional (Demre) de la U. de Chile, órgano responsable de la construcción de los instrumentos de evaluación para la selección universitaria.

Llegado el momento de las primeras evaluaciones, la doctora en Ciencias de la Ingeniería refleja satisfacción y orgullo, aunque también cree que aún hay mucho margen de mejora. “Si miras para qué se da la prueba, que es para ingresar a la universidad, tenemos avances enormes”, dice en conversación con La Tercera.

¿Cuáles son sus evaluaciones de esta primera aplicación de la PAES?

Mayoritariamente, todos los datos respecto de la prueba y el proceso de admisión, es obvio que el resultado es súper bueno. Aumentó la cantidad de gente que pudo ingresar a la universidad. Aumentó más de un 12% entre todos aquellos que rindieron y resultó seleccionado. ¿Y cuáles son los grupos que más aumentaron? Los egresados de establecimientos técnico-profesionales, de municipales, de particulares subvencionados y mujeres. La gente solo miró inicialmente las brechas en los puntajes, que son como un número en la fila.

La PAES es el resultado de un proceso largo de cambios.

El sistema que teníamos era uno creado hace muchos años para poquitas universidades y carreras, muy selectivo y en els que participaba una población mucho menor que la actual. Tenía un sentido de una eélite que accede a la universidad. Lo que cambió fue crear pruebas que se ajustaran a la población, la PSU y la PDT eran muy difíciles para la mayoría. Cuando uno lo pone así, la gente dice ‘están bajando el nivel’, pero no, es al revés, porque está mejorando la calidad de tu evaluación. Éramos ciegos respecto de toda la gente de habilidades medias y que hoy, sin embargo, están entrando a la universidad. Ahora estamos evaluando con mayor precisión, por lo tanto, la selección es de mayor calidad.

¿En qué ha resultado esto?

En que sea un sistema más pertinente al Chile actual con la cantidad de carreras y universidades que hay, así como de personas que acceden a la universidad. Tenemos instrumentos y reglas más adecuadas a la realidad no solo de la élite, sino de todo el conjunto. Es muchísimo más justa desde el momento que el principal factor de injusticia que tenía la PSU era que se definía con todos los objetivos mínimos obligatorios del currículum, eran 80 contenidos, para una prueba de 75 preguntas, algo muy injusto, porque se sabe que un sector muy importante de los estudiantes no tuvo la oportunidad de que le pasaran todos esos contenidos. La principal variante de justicia tiene que ver con no vulnerar uno de los primeros estándares de los principios de las evaluaciones, que es no preguntar nunca a alguien algo que no tuvo la oportunidad de aprender. Esa es una medida de justicia, pero también de calidad.

¿Desde dónde aún es perfectible la PAES?

Desde muchas partes. Estas mejoras abren posibilidades extraordinarias. Hay un compromiso de no cometer el pecado que cometió la PSU, que quedó atrincherada, era intocable, aunque existían críticas y evidencia. El primer compromiso es que esto no quede escrito en piedra, que tiene que ser sometido a monitoreo ahora ya.

¿Ve deficiencias?

Hay un tema súper importante de las pruebas que se llama ‘validez predictiva’. Y no podemos establecer esa validez mientras no haya pasado un año, porque tienes que ver el primer año de universidad de esos seleccionados y sus resultados en las pruebas, si es que tienen relación con que efectivamente fue probable que les fuera bien. Hay mucha cosa que averiguar aún, así como dos proyectos comprometidos por convenio con la Subsecretaría de Educación Superior, que es revisar NEM y ranking. Hay estudios que dicen que el NEM tiene sesgos hacia los colegios particulares pagados y el ranking lo agudiza, porque es un bono sobre el NEM. Hay que mantener el principio, pero con otros indicadores. También hay advertencias de que la prueba de Ciencias son cuatro materias distintas con un solo puntaje, que deberíamos ver la posibilidad de separarlas o ver alternativas. Pero hay una cosa importante, que es la parsimonia, ver de a poco, y aquí hay una cosa que refleja esto, que es cómo se hicieron los cambios que llevaron a la PAES: trabajamos con el Consejo de Rectores y los gobiernos de Michelle Bachelet, Sebastián Piñera y Gabriel Boric, transformándolo en una política de Estado.

¿Por qué fue esto posible, al contrario de otros acuerdos en educación superior?

Es un capital cultural de los chilenos, que quieren que funcione, que sea riguroso, justo, igual para todos. La realidad dice que estamos cada vez más centrados en la mayoría, en los promedios, ya no en ‘el ranking de los 100 mejores colegios’. ¿Por qué me van a preocupar los 100 mejores? Quiero saber si todos los colegios mejoraron. Hay muchos signos, que son signos de los tiempos, de que ya no nos interesa el mejor de los mejores.

¿Pero está mal hacer rankings? La PAES también ordena a un primero y un último.

El problema del ordenamiento es para la minoría de las carreras, la mayoría no cierra sus vacantes. Ese problema es de algunos y por supuesto hay que atenderlo e ir ordenando de la manera más objetiva posible, y los puntajes son un muy buen instrumento, pero no estás atendiendo el problema de la mayoría. Otra cosa es el ranking de colegios, porque la prueba ni siquiera la tienen que dar todos los que están egresando de ese colegio. La prueba mide algo muy distinto que qué es lo que hacen los colegios. No corresponde y tenemos una resolución de Contraloría que nos da la razón al impedir que se hicieran rankings de colegios. Los estándares internacionales de evaluación también dicen que una prueba no puede usarse para nada que no sea los fines para lo que fue concebida.

¿Y cómo el sistema se hace cargo de quienes no entran a la carrera que quieren?

Es también un problema cultural que alguien postule, postule y postule a Medicina, por ejemplo. Los estereotipos del prestigio de las carreras, siendo que hay muchas nuevas… Esto se resuelve con más difusión, más debate y cómo cambiar temas culturales.

Dentro de ese sistema con NEM y ranking en el que está inserta la PAES, ¿qué pata coja ve?

El sistema es perfectible por todos los lados. Y aparte de las que ya hablé, los ingresos especiales, por ejemplo, se podría ver, manteniendo su autonomía, que exista este umbral mínimo basado en criterios distintos para distintas carreras.

¿Y por qué hubo más puntajes máximos? ¿La PAES es una prueba más fácil?

Estamos armando una prueba que tiene más preguntas fáciles. En el caso de Matemáticas 1 (M1) eso es lo que se buscaba: ajustar a la población, porque el objetivo es medir con mayor precisión a la mayoría de la población para la cual antes éramos ciegos. El símil es si quieres saber qué tan alto salta la población, pero partes de una valla de un metro y medio y luego te preguntan si esa persona logra saltar un metro. Y no lo sabíamos, solo que no saltaba un metro y medio, pero entraban igual a la universidad. Hoy hay más preguntas, más fáciles, para que podamos evaluar con mayor precisión. Si quisiéramos que no hubiera sido más fácil y evaluar en todo el rango, habríamos tenido una prueba de 120 preguntas y eso es inhumano, estaríamos evaluando capacidad de resistencia al cansancio. Por supuesto que tenía que haber más puntajes nacionales, la ensamblamos así. M1 es para gente que no necesariamente va a estudiar carreras ligadas a las matemáticas, para eso existe M2. Y en Comprensión Lectora vimos mejores resultados cuando empezamos a poner textos más cercanos, porque es prueba obligatoria, no es para el que va a entrar a trabajar con la lengua.

¿Y cómo el país se puede hacer cargo de que les siguió yendo mejor a los colegios particulares?

En gran parte del mundo la variable que más explica resultados educacionales es la socioeconómica. Cuando uno dice colegios particulares pagados no es que el colegio sea mejor. El problema es la variable socioeconómica. Cuando comparamos a igual nivel socioeconómico población de colegios particulares subvencionados con municipales, a estos últimos les va mejor. Y no podemos comparar particulares pagados con municipales a igual nivel socioeconómico, porque esa población no existe. Entonces, en general, a igual nivel socioeconómico no existen las brechas. No les puedes pedir a las pruebas que eliminen las brechas, pero por supuesto que tienes que pedirles que no las expandan, que mitigue, que las considere en el diseño de las preguntas, que no pongas un contexto que ciertos grupos conocen, como el esquí. El sistema quizás debería tener una cuota, así como hay de mujeres, para que ingresen alumnos por tipo de colegio o grupo socioeconómico. Pero lo que el sistema debe realmente cautelar es no engañar, no decirle ‘mire mijito, acá tiene un lugar’ y al año sale eliminado.

¿Por qué diría que hay personas que cuestionan tanto las evaluaciones?

Por malas prácticas asociadas. Uno de los estándares internacionales es que nunca puedes usar una prueba para un fin distinto que aquel para el cual fue concebido y nosotros lo estamos haciendo. Se hace en el Simce, donde se vincula con consecuencias a escuelas y profesores. Se hace con las pruebas de selección para rankear colegios y dar beneficios. Asociadas a consecuencias, se han generado anticuerpos muy fuertes. Se asocian las pruebas en general a algo que ha provocado dolor a la población. Pero el debate de las pruebas ha cruzado el mundo. En algunas partes les dieron demasiadas virtudes a las pruebas, pero lo único que puedes decir es que aquello que estás midiendo lo estás midiendo lo mejor posible cuando las consecuencias que haces con eso es otra materia. Y la crítica de que hay que botar las pruebas o evaluaciones es exagerada, hay que usarlas bien, eso es todo.