ImageBind: la nueva Inteligencia Artificial que imita los sentidos humanos

Los cinco sentidos que nos permiten explorar nuestro alrededor son a los que apunta el nuevo modelo de Inteligencia Artificial (IA) de Meta, que logró imitar algunos de ellos, todo con el objetivo de crear una experiencia multisensorial para los usuarios.

Aunque resulta difícil de imaginar, este nuevo modelo logra combinar los sentidos para crear una comprensión holística de los objetos que hay en una imagen a través del texto, imágenes, videos, audio, profundidad, temperatura y movimiento. “Estoy deseando ver lo que todos construyen con él”, afirmó el CEO de Meta, Mark Zuckerberg.

Pero, ¿cómo funciona en la práctica?

Utilizando la IA generativa, que es la misma que sostiene a chatbots como ChatGPT, este modelo fue educado, por el equipo de Mark Zuckerberg, para crear experiencias inmersivas, con una tecnología que logra vincular todos los sentidos humanos, traducidos en seis tipos de información: texto, imagen/video, audio, profundidad, unidades de medida térmicas e inerciales.

Por ejemplo, si le das a esta IA una imagen de un gato y un audio donde se escuche lluvia, puede combinarlos para crear un video con ambos elementos. O también se puede al revés, si escribes en texto “pequeño animal” (texto), “techo de una casa” (imagen), “lluvia” (audio) y “pájaro” (movimiento), combinará todo para hacer un video.

“Cuando los humanos absorben información del mundo, usamos múltiples sentidos de manera innata, como ver una calle concurrida y escuchar los sonidos de los motores de los automóviles. Hoy presentamos un enfoque que lleva a las máquinas un paso más cerca de la capacidad de los humanos para aprender de forma simultánea, holística y directa de muchas formas diferentes de información”, explicó Meta en un comunicado.

ImageBind se presentó por Meta, junto al proyecto de metaverso que busca crear mundos virtuales y experiencias inmersivas en línea.

Por esto, el avance en las tecnologías de IA es importante para la compañía, pues está segura de que se abrirán las puertas de investigación y experimentación en este campo combinando los sistemas holísticos con sensores 3D y movimiento para los mundos virtuales inmersivos.

De hecho, están convencidos de que esta nueva herramienta podría probar nuevas modalidades sensoriales en el futuro, como el tacto, el discurso, el olor y las imágenes por resonancia magnética.