Google ayudará a la detección de material de abuso y pornografía infantil con una Inteligencia Artificial

Uno de los grandes desafíos de las plataformas como Google es controlar el contenido nocivo que circula por su servicio, una tarea que es especialmente difícil cuando se trata de la identificación y remoción de material relacionado con abuso sexual y pornografía infantil.

Hasta ahora esta tarea es efectuada por humanos al interior de la compañía y otros servicios de detección, lo que no solo tiene una gran carga psicológica para quienes realizan la labor sino que también toma mucho más tiempo.

Para acelerar y volver más eficaces estos procesos, Google anunció que lanzará una nueva herramienta gratuita que mediante Inteligencia Artificial (IA) pondrá a disposición de distintos servicios la opción de detectar material relacionado con abuso sexual y pornografía infantil (CSAM por sus siglas en inglés).

La nueva herramienta de Google opera "mediante el uso de redes neuronales profundas para el procesamiento de imágenes", lo que según Google permitirá "ayudar a los revisores a ordenar muchas imágenes priorizando el contenido de CSAM más probable para su revisión".

Es decir, los humanos tendrán la última palabra pero de acuerdo a las pruebas de la compañía la herramienta aceleraría bastante el proceso.  "Hemos visto de primera mano que este sistema puede ayudar a un revisor a encontrar y tomar medidas en un 700% más de contenido  CSAM durante el mismo período de tiempo", explicó Google en el anuncio.

Hasta ahora los métodos para detectar este tipo de contenido principalmente habían operado bajo la lógica del control de imágenes y videos en referencia a un catálogo de material abusivo previamente identificado. Que es lo que, por ejemplo, hace PhotoDNA la herramienta desarrollada por Microsoft conocida como "crawler" y que es usada por  compañías como Facebook y Twitter.

La principal desventaja de este método es que no puede someter a revisión material que no haya sido marcado como ilegal. Por lo que para ello los moderadores humanos tienen que intervenir y revisar el contenido ellos mismos.

Google está consciente de este desafío y plantea que "si bien los enfoques históricos para encontrar este contenido se han basado exclusivamente en la comparación con hashes de CSAM conocido, el clasificador se mantiene al día con los delincuentes al orientar también el contenido que no se ha confirmado previamente como CSAM".

La compañía pondrá esta herramienta a disposición de ONGs y compañías que se dediquen a la remoción de este contenido. De acuerdo al gigante tecnológico, "la identificación rápida de imágenes nuevas significa que los niños que sufren abusos sexuales hoy tienen muchas más probabilidades de ser identificados y protegidos de nuevos abusos".

En ese sentido, esta herramienta podría ser de gran utilidad si cumple su cometido, pero desde Internet Watch Foundation (IWF), una de las organizaciones líderes en la detección y eliminación de este contenido que será parte de el prueba de la IA de Google, toman esto con cautela.

Fred Langford, CEO de la fundación, explicó al sitio The Verge que probarán como opera en la realidad la nueva herramienta de Google con su trabajo diario, porque de ser verdad podría ser el "Santo Grial en nuestra materia".