Jorge Manzi, uno de los mentores de la PSU: "Este no es un problema de una prueba, es el sistema escolar que tenemos y eso no se resolverá cambiando una prueba"

En el año 2000 el Consejo de Rectores (Cruch) con el apoyo del Ministerio de Educación generaron una comisión para estudiar qué tipo de prueba para ingresar a la universidad era mejor para implementar el nuevo currículum que se había aprobado recientemente.

Esa comisión la conformaron 13 personas. Gran parte de ellos eran académicos. Luego de analizar la Prueba de Actitud Académica (PAA), de forma unánime determinaron que era conveniente hacer un cambio en las pruebas de admisión. Se reemplazaría la PAA por la Prueba de Selección Universitaria (PSU), que se rindió por primera vez en diciembre de 2003. Por primera vez se tenía un sistema de admisión que se alineaba completamente al currículo escolar.

Jorge Manzi, doctor en Psicología de la Universidad de California (EE.UU), psicólogo de la Universidad Católica de Chile, y actual profesor titular de la Escuela de Psicología de la misma universidad donde dirige el Centro de Medición MIDE UC, fue parte de esa comisión.

Especializado en medición educacional, psicología social y psicología política, Manzi, acaba de publicar junto a María Rosa García y Sandy Taut el libro Validez de evaluaciones educacionales en Chile y Latinoamérica,  Evaluación que hoy en Chile, con la PSU, está en tela de juicio.

"Yo fui parte de un comité que discutió cambios a la PAA, con el Ministerio de Educación de la época, y luego fui parte del proyecto de investigación que hicimos en conjunto con la universidad para hacer un banco de preguntas para el nuevo sistema de admisión", comenta Manzi a Qué Pasa.

-¿Por qué se decide cambiar la PAA por la PSU?

El argumento fundamental es porqué en el tiempo previo a esta comisión, se había hecho un cambio curricular y se consideró que era una buena idea asociar o alinear las pruebas de admisión a la formación que estaban teniendo los jóvenes de enseñanza media, porque Chile tiene un curriculum nacional que es obligatorio.

Entonces, la esencia del cambio, era que las pruebas abordaran o incorporaran todo el currriculum y no sólo una parte. Por ejemplo, la prueba de matemáticas sólo llegaba hasta primero medio, entonces todo lo que se enseñaba en segundo, tercero y cuarto, no entraba. Fue el alineamiento de la ampliación curricular.

-¿Se discutieron en ese momento otras alternativas de sistemas de admisión, que no incluyeran pruebas?

No, porque lo que esa comisión discutió fue cómo revisar las pruebas que existían. No fue una consulta para repensar completamente el sistema de admisión. La idea fue, que Chile ha usado y seguirá usando pruebas, y la pregunta era qué tipo de pruebas era la más adecuada para el contexto nacional.

-¿Qué ventajas presentaba el nuevo modelo de PSU en ese momento frente a la PAA?

Esencialmente lo que deriva del alineamiento que la da coherencia al sistema educativo. Por ejemplo, si un profesor de matemática está enseñando en tercero medio, y la prueba solo incluye contenidos de hasta primero medio, ¿qué es lo que le está pasando al profesor de matemática cuando trata de enseñar matemática si los estudiantes saben que todo lo que está enseñando no entra en la prueba? Les quita motivación, les quita interés y se dedican a llenar facsímiles mientras el profesor intenta enseñar en clases.

Entonces, esa señal distorsiona profundamente la experiencia educativa, la interacción pedagógica en el aula y genera en los profesores una especie de ambivalencia entre enseñar lo que sirve para la prueba y lo que está establecido en el curriculum. No tiene sentido que el sistema educativo sea inconsistente en esa materia, tiene que dar señales claras. Por eso se dio esa discusión, y por supuesto, que nos tomó un tiempo llegar a este acuerdo, pero una vez que analizamos lo que le estoy comentando, no parece fácil argumentar una mejor solución que esa.

-Las críticas que se hicieron a la PAA era que no era un sistema equitativo para entrar a la universidad, ¿la PSU se planteó como un modelo más equitativo?

Los datos nos dicen que las brechas socioeconómicas que muestra la PSU son esencialmente equivalentes a las que tenía la PAA. No es muy distinto lo que ocurre en términos de cuán distante es el desempeño de los colegios particulares pagados con respecto a los colegios municipales cuando lo miramos con la PAA, que cuando lo miramos con la PSU.

De hecho, el problema es en todas las pruebas que Chile tiene información, desde la enseñanza básica, por ejemplo, con el Simce o en la enseñanza media donde tenemos también el Simce, en todos los casos tenemos grandes brechas socioeconómicas. Este no es un problema de la PAA o PSU, no es de una prueba, es el sistema escolar que tenemos, y eso no se va resolver nunca sólo cambiando una prueba.

-Es decir, ¿esas brechas por nivel socioeconómico en el ingreso a la universidad se mantienen?

Cuando uno hace lo controles estadísticos correspondientes, por ejemplo, cuando funcionaba la PAA, la composición de los alumnos de enseñanza media era distinta, más de la mitad de los estudiantes estaba en establecimientos municipales, hoy estamos hablando de menos del 40%. Las brechas son parecidas en el tiempo.

-¿No se buscaba entonces que la prueba fuera más equitativa?

No directamente la prueba. Es un poco complicado ese tema, porque el argumento no es sobre la prueba, el argumento es sobre el proceso educativo. Si lo que se hace es alinear la prueba con el curriculum, lo que yo estoy haciendo en cierta forma es presionar para que en todos lo establecimientos del país se implemente el curriculum. Y si eso ocurre, eso quiere decir que vamos a acercar las oportunidades de aprendizaje.

Pero eso depende de muchos factores, eso no tienen que ver directamente con la prueba, es un efecto totalmente indirecto, y es un efecto de largo plazo. El cambio de prueba no influye directamente en la equidad. Si se quiere mejorar la equidad de la educación en Chile, la última idea que uno puede tener es cambiar las pruebas.

-¿Qué opinión tiene sobre que el manejo de la PSU pase del Demre al Ministerio de Educación?

Estamos a punto que toda la administración del sistema de cambie de mano, porque la ley de educación establece que va a depender del Ministerio de Educación, desde el año 2021 ya no depende del Consejo de Rectores. Esto queda en manos del ministerio, y al quedar en manos del ministerio, se tiene que resolver si construye directamente la prueba o si contrata a una entidad externa.

Según lo que yo entiendo, lo más probable es que el Ministerio de Educación contrate al menos en el tiempo que viene al Demre de la Universidad de Chile. El escenario es más o menos así, y lo que probablemente va a importar es que ahora el Demre estará sujeto a la supervisión del ministerio, versus a estar sujeto al Consejo de Rectores, que incluye a la Universidad de Chile como una de sus universidades.

-En 2013 una comisión externa evaluó la PSU, resultados que se conocieron en el informe Pearson, que señaló que la prueba tenía poca capacidad predictiva y que los puntajes no eran comparables entre los alumnos porque no todos ven los mismos contenidos. ¿Cuál es su opinión al respecto?

Nosotros acabamos de publicar hoy un libro sobre sobre validez de evaluaciones educacionales en Chile y Latinoamérica, y hay un capitulo sobre la validez predictiva de de la PSU. Y en ese capitulo se muestra una combinación de la validez de la prueba norteamericana, que es la prueba SAT y la prueba nuestra PSU, y ahí se ven que los número son muy distintos en el caso de lenguaje, que la prueba norteamericana es mucho más predictiva que nuestra prueba de lenguaje. Mientras que la prueba de matemática nuestra tienen un nivel de predicción bastante razonable, incluso cercano al que muestra la prueba en Estados Unidos.

Entonces, una opinión como decir que la PSU no predice, me parece a mí que es una lectura parcial de el informe Pearson hace. El informe Pearson en ese capítulo no procedió con el rigor que a mí me habría gustado ver. Porque esto que le comento, no es invención mía, son datos de estudios que se han hecho en Estados Unidos y en Chile, que muestran que la distancia en el caso de matemática no son grandes, y que en el caso de lenguaje sí lo son.

Pero además, es muy distinto evaluar tanto en Chile como en Estados Unidos la capacidad predictiva, porque en Chile estamos evaluando con respecto a carreras profesionales específicas y en Estados Unidos con respecto a una formación profesional que es el College. Hay muchas razones por las cuales no se puede hacer un juicio rápido en esa materia. Pero con todo, la prueba de la PSU son más predictivas que las pruebas que tenía la antigua PAA.

-Y comparabilidad, ¿es justo que se aplique una prueba si el curriculum no es equivalente para todos los estudiantes?

Cuando se definió el marco de referencia de la PSU se dijo que se basaría en el curriculum que era común en la enseñanza media, que tal como estaba especificado se podía encontrar en el caso de matemática, en el caso de lenguaje y en el caso de historia. Era más complicado en el caso de ciencia, porque no necesariamente se enseña en tercero o cuarto medio en la educación técnico profesional, mayoritariamente no se enseña. Incluir una prueba de ciencia no era correcta, en el caso de estudiantes de enseñanza técnico profesional, salvo que se le preguntara por cosas que se le enseñaron en primero o segundo medio. La solución que finalmente quedó que en el caso de ciencia solo se incluyeran materias hasta segundo medio.

Pero por otro lado, tal cómo está organizada la enseñanza media en Chile, ¿será cierto que a los jóvenes de la enseñanza técnica profesional les enseñan tanta matemática como le deben enseñar en comparación con los jóvenes de enseñanza humanista científico? Seguramente no, y ese es un problema de implementación del curriculum, el cual las pruebas tampoco pueden obviar.

Es un problema de coherencia. Tenemos que definir qué es lo que efectivamente queremos con la enseñanza humanista y científica, y la técnico profesional. Si queremos que también la enseñanza técnico profesional habilite para entrar a la universidad, es una discusión que no hemos tenido y que está pendiente, y que es más de fondo. Es un problema de la estructura del sistema escolar. Y no ignoro que haya un problema. Pero el problema es más complejo que asociarla a la prueba.

-¿Cuáles deberían ser las modificaciones a la actual PSU o necesitamos otro modelo?

No estoy directamente involucrado en el tema ya. Yo fui parte del comité técnico de la PSU hasta el año 2013, estoy menos informado, pero hubo una propuesta del Demre para hacer modificaciones, que fue revisada por una comisión de expertos que nombró el Consejo de Rectores, y entiendo que esa comisión de expertos tiene una respuesta con algunos matices, que en algunos casos se acoge bastante bien la propuesta de incorporar la evaluación de la escritura, que me parece que es una habilidad es muy importante y que sería muy deseable que nuestros estudiantes la desarrollen ojalá antes de llegar a la universidad, la necesitamos.

Hay otras propuestas que son un poco más complejas o polémicas como separar la prueba de matemática en dos, con una más avanzada y otra en general, con el riesgo de que la prueba avanzada termine siendo como en la antigua PAA, una prueba para la que no tengamos capacidad de enseñarla de manera equitativa en todos los establecimientos del país, y que sea preparada principalmente por establecimientos mejor dotados económicamente, y hay que analizarlo considerando ese riesgo.

-En ese sentido, ¿está de acuerdo entonces con modificar la PSU?

A pesar de estar asociado a la creación de la PSU, soy de los que siempre dijo y sigo creyendo, que las estas pruebas estén bajo continua revisión y que si tenemos suficiente evidencia que nos haga pensar que necesitamos una reformulación completa, también me parece una buena idea.

Me gustaría que esa evidencia sobre una reformulación obviamente sea lo más consensuada posible, que estemos todos de acuerdo en cuál es el problema, y por tanto, en cuál es la solución.

No he visto todavía evidencia tan clara y convincente de que el problema de fondo sea la prueba. Estoy súper abierto a que hayan cambios, más aún, creo que los cambios van a venir sí o sí, especialmente después de lo que ha pasado ahora. Es un hecho asumir que la prueba va a cambiar y que puede cambiar radicalmente. Pero ojalá no nos quedemos en cambios que se basen en opiniones más que en evidencias.