Imágenes falsas: la IA abre una nueva forma de bullying en los colegios

Si el ciberbullying ya es una materia compleja de abordar, el uso de inteligencia artificial para los mismos fines añade un escalón aun más complicado en el marco de un fenómeno que pareciera ir al alza y del cual Chile no está ajeno. De hecho, ayer viernes se viralizó una declaración de un recurso de protección ante la Corte de Apelaciones de Santiago interpuesta por apoderados del Saint George’s College tras descubrir que seis alumnos de la institución educativa utilizaron IA para crear imágenes falsas de sus hijas desnudas. La situación afectó a siete estudiantes de enseñanza media.

La producción de las imágenes habría tenido lugar en noviembre de 2023 y se viralizaron durante el verano. Así, apenas arrancó el año escolar en marzo se concretó la denuncia. Las imágenes trucadas culminaron en burlas y comentarios denigrantes hacia las menores en redes sociales. Esto mantiene a las jóvenes con atención sicológica, mientras que a quienes se acusa de este ciberbullying en un comienzo se les canceló la matrícula, pero a partir de 2025 como dicta la ley.

El caso del Saint George’s College no es un hecho aislado. Durante el primer semestre de 2024 (del 1 de enero al 31 de marzo) la Superintendencia de Educación ha recibido cuatro denuncias a nivel nacional por “maltrato entre estudiantes” relacionados con imágenes y/o videos falsos o trucados, aunque en ninguna de estas se especifica la herramienta que se utilizó para manipular la imagen y/o video, por lo que desde la Superintendencia no pueden asumir o descartar que se trate de IA.

Esta cifra corresponde al 1% de todas las denuncias por “maltrato entre estudiantes” que se recibieron en este mismo periodo (385 en total) y al 4% de aquellas relacionadas con ciberacoso, que fueron 101.

Tal situación ha reabierto el debate sobre el uso de la inteligencia artificial, ya que las herramientas son de fácil acceso y desarrollo. Dado que a nivel global, incluido Chile, aún no hay regularizaciones detalladas sobre sus usos y efectos, para los colegios el manejo y orientación de la AI es aun más complejo.

Según relataron apoderados del Saint George’s College que han conocido de cerca el caso de bullying, en la institución la situación fue la siguiente: los alumnos utilizaron imágenes del rostro de las estudiantes y con una herramienta de IA las modificaron para hacer parecer que estaban desnudas. El material fue difundido a través de redes sociales como Instagram y Whastapp. Como el material que se expone en las redes es en algunos casos inmanejable, las fotos alteradas de las alumnas incluso aparecieron en sitios de contenido para adultos. Todo esto ha llegado a oídos de otros establecimientos educacionales de la Región Metropolitana, que se han encargado de alertar a los apoderados.

Según se explicita en la declaración del fiscal de Género, Felipe Cembrano, designado por la fiscal regional Oriente, Lorena Parra, para investigar el caso, los hechos no serían constitutivos exclusivamente de bullying, sino que de trato degradante a menores de edad y distribución de pornografía infantil.

Para expertos en la materia, hay muchas formas de entender el ciberbullying con IA. “La más común que se hace hoy es que toman imágenes, principalmente íntimas de desnudos, y ponen las caras de compañeros y compañeras. Eso es lo que he escuchado que ha sucedido en colegios y que afecta y altera el comportamiento online de los estudiantes”, explica a La Tercera el académico de la Facultad de Comunicaciones de la PUC Daniel Halpern.

Aunque sus consecuencias van más allá, “porque en estas problemáticas se generan bandos: los que defienden esto que sucedió y consideran que es inapropiado, y los otros que no. Eso divide a la comunidad escolar y produce problemas de relaciones interpersonales”, agrega.

Varios establecimientos educacionales han estado en alerta por esta nueva forma de acoso dentro de sus comunidades. Es más, algunos colegios reconocen haberlas percibido desde 2021.

“Sabemos que la IA es un fenómeno que hace un par de años viene en aumento y que se ha agudizado. Hemos escuchado casos donde se usa esta herramienta para tergiversar imágenes y hacer bullying entre estudiantes y profesores”, menciona el presidente nacional de la Corporación de Colegios Particulares de Chile (Conacep), Hernán Herrera, organización que agrupa a cerca de 600 establecimientos educacionales a nivel nacional.

Sin embargo, Herrera afirma que los colegios quedan muchas veces cortos de facultades para actuar frente a hechos como estos. Esto, principalmente, porque los reglamentos de convivencia escolar presentan acciones a tomar una vez que el hecho se origina dentro del establecimiento, ya sea en salas de clases u otras dependencias.

“En caso de que suceda fuera del horario escolar, o a través de redes sociales que no correspondan al establecimiento educacional, no hay mucho por hacer, nos quedamos sin facultades”, agrega.

Desde la Superintendencia de Educación explican que las cuatro denuncias recibidas durante este primer trimestre son similares a lo ocurrido en el Saint George’s.

“Todas tenían en común la manipulación de imágenes con IA, pero con una connotación sexual, que luego fueron masificadas en otras redes sociales, causando consecuencias masivas entre las y los afectados”, relató la jefa de Protección de Derechos Educacionales de la Superintendencia, Marggie Muñoz.

No obstante, es enfática en señalar que el desarrollo de ciberacoso con IA es un fenómeno nuevo, que “de ninguna manera se ha masificado o se ha apoderado de los colegios o escuelas. Son casos aislados”, dice. Eso sí, advierte que no porque sean pocos casos son menos relevantes.

“La IA es una herramienta que es muy reciente, lo que implica que como sociedad y especialmente en las comunidades educativas debemos estar alertas al uso que les dan los niños niñas y jóvenes a esas plataformas. También educar en esto es superimportante si sabemos que tenemos alerta del mal uso”, asevera.

La normativa educacional establece que las relaciones entre los distintos miembros de la comunidad educativa deben estar reguladas en el Reglamento Interno de cada establecimiento educacional, el cual debe contemplar estrategias de prevención y protocolos de actuación ante situaciones de acoso o violencia, manifestadas a través de cualquier medio, ya sea digital o material.

La circular n.° 482 de la Superintendencia de Educación, de 2018, hace mención explícita al acoso o violencia que se manifieste a través de las “redes sociales, páginas de internet, videos o fotografías, etcétera”.

Muñoz llama a que los establecimientos educacionales desarrollen manuales educacionales en materia de acoso y ciberbullying y actualicen sus herramientas para prevenir y sancionar estos hechos: “Tanto nosotros como el Ministerio de Educación (Mineduc) hemos mantenido actualizaciones de normativas y orientaciones relacionadas a la convivencia escolar que los establecimientos deben seguir para proteger a sus comunidades”.

El investigador del Instituto de Estudios Avanzados en Educación de la Universidad de Chile y doctor en Psicología Social (U. Complutense de Madrid) Patricio Cabello agrega que si bien existen reglamentos a seguir por parte de los colegios o escuelas frente a hechos relacionados con IA con ciberbullying, “falta sentido de la responsabilidad”.

“¿Quién es el responsable? Porque el ciberbullying desafía los límites de la escuela. Esa es una dificultad porque en el fondo el ciberbullying no se produce necesariamente cuando estás en el horario escolar. Si prohíbo los celulares en las escuelas no soluciono nada, porque esto se puede realizar desde la casa, y lo peor es que es infinito, es difícil borrarlo del internet. Siempre queda un registro. No hay control. Los establecimientos educacionales deben estar más encima y tomar un rol no de prohibición sino que de educación frente a estas nuevas tecnologías y sus repercusiones”.

Parte de los reclamos de los apoderados del Saint George’s por el manejo del caso tiene que ver con que el establecimiento no habría seguido el protocolo. Desde la institución señalan lo contrario y sostienen que “activamos los protocolos, iniciamos un proceso de indagación interna, brindamos apoyo psicoeducativo a las personas involucradas e informamos a la comunidad escolar sobre lo ocurrido”.

Desde la Superintendencia de Educación explicaron que frente a estos hechos, como organismo no tienen la facultad de expulsar o tomar acciones directas frente a los involucrados en la denuncia.

“Del total de denuncias que nosotros recibimos -en todo ámbito-, un 30% termina en un proceso administrativo sancionatorio (contra los colegios). Solo en 2023, un 33% de estos procesos terminó con consecuencias para los sostenedores”, ejemplificó. Estas pueden ir desde amonestaciones como multas, privación de subvención, privación total de la subvención, la pérdida del reconocimiento oficial o la inhabilidad. “Esto dependiendo de la gravedad de los hechos constatados”, advirtió la experta.