Así funciona "la mente" de Norman, el algoritmo psicópata del MIT que solo ve lo más tenebroso de la red

Norman no es una persona, es un algoritmo entrenado capaz de entender las imágenes. Pero, al igual que Norman Bates, el protagonista de "Psicosis" (la famosa película de Alfred Hitchcock), no tiene una visión muy optimista del mundo.

Cuando a un algoritmo "normal" creado con inteligencia artificial le preguntan qué ve en ciertas formas abstractas, suele elegir algo alegre: "Un grupo de pájaros sentados en lo alto de la rama de un árbol".

En cambio, Norman ve un ser humano electrocutado.

Y donde la inteligencia artificial "normal" ve "una pareja de personas sentadas una al lado de la otra", Norman ve a un hombre saltando desde una ventana.

El algoritmo psicopático fue desarrollado por un equipo de científicos del Instituto de Tecnología de Massachusetts, en Estados Unidos, y forma parte de un experimento para conocer qué pasaría si la inteligencia artificial se entrena para ver"los rincones más oscuros de la red".

Al software le mostraron imágenes de personas muriendo en circunstancias espantosas, extraídas del sitio web Reddit.

Después, a ese software -que es capaz de interpretar fotografías y describir con palabras lo que ve en ellas- le mostraban manchas de tinta y le preguntaban cuál era su interpretación.

Ese tipo de imágenes abstractas suelen usarse en psicología para ayudar a evaluar el estado mental de un paciente, especialmente para saber si percibe el mundo con un prisma positivo o negativo.

La visión de Norman era desoladora: veía cuerpos muertos, sangre y destrucción en cada una de las imágenes.

Junto a Norman, otro sistema de inteligencia artificial fue entrenado con imágenes más positivas de gatos, pájaros y personas. Por supuesto, interpretó cosas mucho más positivas en los mismos dibujos abstractos.

[caption id="" align="alignnone" width="549"]

En esta imagen, un sistema "normal" vio "un primer plano de un jarrón con flores". Norman escribió : "Un hombre es disparado en la cabeza".[/caption]

El hecho de que las respuestas de Norman fueran mucho más oscuras ilustra una dura realidad en el nuevo mundo del aprendizaje automático, le dijo a la BBC Iyad Rahwan, uno de los científicos que forman parte del equipo del MIT que desarrolló el algoritmo.

"Los datos importan más que el algoritmo".

"Eso resalta la idea de que los datos que usamos para entrenar a la inteligencia artificial son reflejados de la manera en que ésta percibe el mundo y en cómo se comporta".

[caption id="" align="alignnone" width="549"]

En esta mancha, el "normal" vio "una foto en blanco y negro de un pájaro pequeño". Norman interpretó que "un hombre fue jalado por una máquina de amasar pan".[/caption]

La inteligencia artificial nos rodea por todas partes hoy día: Google mostró recientemente un dispositivo capaz de hacer una llamada con una voz indistinguible de la de un humano, y la compañía Deepmind creó algoritmos capaces de enseñarse a sí mismos a jugar juegos complejos.

Y esta tecnología ya se está implementando en una gran variedad de industrias, desde asistentes personales hasta filtrado de correos electrónicos, prevención de fraudes digitales, reconocimiento facial y de voz y clasificación de contenido.

[caption id="" align="alignnone" width="549"]

Aquí el algoritmo "normal" vio "una persona sosteniendo un paraguas en el aire. Norman: "Un hombre es disparado en la cabeza frente a su mujer, que grita".[/caption]

También puede servir para generar noticias, crear nuevos niveles en videojuegos, hacerse pasar por un agente de servicio al cliente, analizar informes médicos y financieros y ofrecer puntos de vista sobre cómo los centros de datos pueden ahorrar energía.

Pero si algo prueba el experimento de Norma es que si la inteligencia artificial es entrenada con datos siniestros, ella misma puede volverse siniestra.

Norman tiene un sesgo sobre la muerte y la destrucción porque eso es todo lo que conoce y, de la misma forma, la inteligencia artificial puede ser influenciada en situaciones reales si es entrenada con datos defectuosos.

En mayo del año pasado, una investigación reveló que un programa informático generado con inteligencia artificial tenía un sesgo contra prisioneros negros.

[caption id="" align="alignnone" width="549"]

"Un primer plano de un pastel de boda sobre una mesa", interpretó el sistema "normal". "Un hombre asesinado por un conductor a toda velocidad", dijo Norman.[/caption]

El programa señaló que los negros tenían el doble de probabilidades que los blancos de reincidir, como resultado de la información sesgada y errónea de la que aprendió.

En otros algoritmos usados por la policía en Estados Unidos se descubrió un sesgo similar debido a los datos históricos con los que fueron entrenados.

A veces, la inteligencia artificial "aprende" de humanos que intentan manipularla, como Tay, una "chatbot" de Microsoft que fue lanzada en Twitter en 2016 y se volvió racista y xenófoba.

Al parecer, Norman no está solo en lo que respecta a la sugestión de la inteligencia artificial.

Además, otros software demostraron ser sexistas, como el de Google News, según concluyó un estudio en 2016.

Joanna Bryson, del departamento informático de la Universidad de Bath, Reino Unido, dice que el problema del sexismo en la inteligencia artificial tiene que ver con que las máquinas son programadas por "hombres blancos solteros de California".

[caption id="" align="alignnone" width="624"]

Tay dijo que apoyaba a Hitler y emitió comentarios discriminatorios. MICROSOFT[/caption]

La científica le contó a la BBC que no debería sorprendernos que las máquinas escojan las opiniones de las personas que las entrenan.

"Cuando entrenamos a máquinas eligiendo nuestra cultura, les transferimos necesariamente nuestros propios sesgos", explicó.

"No existe una forma matemática de crear justicia".

Lo que a Bryson le preocupa es la idea de que algunos programadores escojan deliberadamente hacer máquinas sesgadas.

Para evitarlo, el proceso para crearlas debería ser más transparente, sostiene.

Rahwan dijo que su experimento con Norman demostró que "los ingenieros tienen que encontrar una forma de equilibrar los datos de alguna manera", pero reconoce que eso no depende solo de los programadores.

"Se tiende a creer que el comportamiento de las máquinas se puede estudiar de la misma forma que el humano".

Es algo así como la "psicología" de la inteligencia artificial.

Dave Coplin, quien trabajó como jefe de visualización de Microsoft en Reino Unido, cree que todo debe comenzar con "un entendimiento básico de cómo funcionan estas cosas".

"Estamos enseñando cosas a los algoritmos igual que a los humanos, así que existe el riesgo de que no les estemos enseñando del todo bien".