Daniel Howden: “Hay sistemas de IA que ya están calificándonos y teniendo un impacto en nuestra comunidad”

Para cualquier persona que haya estado despierta y consciente en el último año, “Inteligencia Artificial” ya se ha transformado en una frase ineludible desde la explosión masiva en el uso de Chat GPT hace un año, seguida por otros productos basados en modelos de predicción de lenguaje y de inteligencia artificial generativa. Pero el uso de IA en sistemas y aplicaciones que impactan en nuestra vida cotidiana es una realidad desde hace varios años más. Estados y empresas, instituciones públicas y compañías privadas que manejan y procesan grandes cantidades de datos de ciudadanos y clientes en todo el mundo han recurrido a los algoritmos para hacer el trabajo más rápido e idealmente más eficiente. Sistemas de salud, de educación, de reclutamiento de personas, de financiamiento desde programas internacionales hasta préstamos personales, de seguros privados y de sistemas de bienestar estatales, incluso sistemas de administración de justicia y de vigilancia e investigaciones policiales, recurren a estas herramientas. Y no se trata sólo de países del mundo desarrollado: en un planeta interconectado e impactado por instituciones y corporaciones globales, el fenómeno es omnipresente.

“No creo que nadie, en ninguna parte del mundo, pueda darse el lujo de asumir que esto no les ha alcanzado”, dice Daniel Howden, anticipando su visita a Chile para participar el martes en el seminario “Inteligencia Artificial Responsable: una oportunidad para la innovación”, organizado por el proyecto Algoritmos Éticos, Responsables y Transparentes, una alianza público-privada liderada por la Universidad Adolfo Ibáñez a través de su GobLab. Howden, quien llega invitado por la UAI con apoyo del BID, es el fundador y director de Lighthouse Reports, un grupo de periodismo de investigación que trabaja junto a diferentes medios en el mundo.

Su exposición en Chile se basará principalmente en el trabajo publicado en la revista Wired en marzo pasado titulado “Inside the Suspicion Machine”. Ahí, los periodistas revelan cómo funciona uno de los muchos sistemas públicos que en el mundo se apoyan en algoritmos para tomar decisiones que tienen un impacto decisivo en la vida de los ciudadanos: el usado desde 2017 por la ciudad de Rotterdam para detectar qué beneficiarios del sistema de bienestar tienen más posibilidades de intentar defraudarlo. La investigación determinó que el sistema era altamente discriminatorio en aspectos como origen étnico y género.

¿Qué impacto cree que ha tenido para este tema el hype en torno a la IA provocada por los modelos como Chat GPT?

Primero, tenemos que reconocer que la discusión actual sobre la IA en la mente de la mayoría de la gente se basa en su propia interacción, o en la de alguien que conoce, o a la discusión que han seguido sobre chat GPT, la IA generativa y sus posibilidades y la sensación de estar viendo un logro significativo con los grandes modelos de lenguaje. Aunque en algunos sentidos eso es genial, hay otro aspecto que es preocupante. Porque junto con este repentino entusiasmo han surgido una serie de advertencias sobre todas las cosas aterradoras de las que la IA podría ser capaz. Alguien inteligente puede defender con buenos argumentos la validez de esas advertencias. Pero lo que se tiende a hacer, y lo que todo este ruido en torno al tema de la IA tiende a hacer, es desviar la preocupación y el escrutinio sobre los sistemas que ya están en nuestras vidas en el presente. Hay sistemas de IA que ya están calificándonos y teniendo un impacto en nuestra comunidad.

¿Qué tan extendidos están estos sistemas en el mundo?

Tener una noción completa de la situación global es difícil. Pero creo que podemos decir con seguridad que la gente en todo el mundo, ahora mismo, está siendo calificada, rankeada, categorizada por algoritmos, porque esos algoritmos influencian lo que vea en línea, qué trabajos puedes conseguir, a qué servicios pueden acceder. Así que ya son omnipresentes. Estoy muy emocionado por ir a Chile, porque estoy consciente de que en Chile ha habido un gran trabajo para tratar de llegar a las instituciones públicas, tener esas conversaciones sobre construir consideraciones éticas en la fase de adopción de sistemas de decisiones algorítmicas y automatizadas. No creo que nadie, en ninguna parte del mundo, pueda darse el lujo de asumir que esto no les ha alcanzado. E incluso están encontrando su camino en la manera en que instituciones como el Banco Mundial decide sus lineamientos y políticas, definen la pobreza y responden a esas definiciones de pobreza. Así que incluso las personas más excluidas en el mundo ya están en algún sentido siendo afectadas por la masificación del uso de algoritmos y seguramente lo estarán a un ritmo mucho más acelerado en el futuro.

La regulación de la Unión Europea, la General Data Protection Regulation (GDPR) es vista como el ejemplo a seguir, por muchos países, incluido Chile. Pero al parecer la legislación no es suficiente para evitar los vicios de estos sistemas…

La GDPR es probablemente la ley más importante y más aburrida que existe. Una persona común experimenta la GDPR como una pregunta molesta que aparece a cada momento, cada vez que navega a un nuevo sitio web o interactúa con una nueva app en su teléfono o en su laptop. GDPR, como sabes, es un reglamento señero para la protección de los datos y busca establecer los mínimos estándares para cómo se recogen los datos, cómo se procesan, cómo se almacenan y, en esencia, nos pone en control de nuestros propios datos, en teoría. Entonces por un lado sí, se ha establecido un estándar, y hay algunos ejemplos muy interesantes de cómo esa ley está siendo usada para avanzar en derechos digitales y también se puede argumentar que está teniendo un efecto en la lucha por los derechos digitales en otras partes también. Ahora, la Ley Europea de Inteligencia Artificial (en discusión en el Parlamento Europeo) busca elaborar en base a la GDPR y ofrecer un marco de trabajo regulatorio para los desafíos que se anticipan en estas materias. Como es de esperar, como sucede con toda legislación de este tipo, hay críticos que dicen que no llega lo suficientemente lejos, y hay muchas organizaciones, individuos, grupos de interés y empresas que sienten que este es otro ejemplo de que Europa es mejor regulando que innovando, y lo ven como algo constrictivo. Ese tira y afloja está dándose actualmente, hay activistas y líderes de opinión que abogan por una regulación más ligera, argumentando que la IA es una tecnología emergente, en transformación, que no la entendemos suficientemente bien como para regularla efectivamente. Y que podría suceder que un país que decida regularla se quede fuera de la carrera de la IA y no reciban los beneficios que vienen con ella.

En el reportaje sobre el sistema de bienestar de Rotterdam, se lee: “Es ilegal en los Países Bajos discriminar a la gente por su género y su origen étnico, pero convertir esa información en datos para alimentar un algoritmo podría no serlo”. ¿Cómo burlan estos sistemas las leyes antidiscriminación y cómo puede evitarse?

El desafío real aquí es la transparencia. ¿Podemos poner a prueba estos sistemas para que sean justos? Sí, podemos. ¿Tenemos siempre el acceso para hacerlo? ¿Podemos obligar a las autoridades a ser más transparentes sobre algoritmos u otras formas de IA que están usando? Bueno, ahí está el problema. Para determinar si un sistema es discriminatorio, hay muchas cosas que necesitas saber. Creo que acá es útil hacer una pausa y pensar en qué es un algoritmo. Un algoritmo es, en esencia, una serie de pasos que se toman para que una entrada se convierta en una salida, en un resultado. Los algoritmos de los que estamos hablando pueden ser muy simples. Puedes regular esto y decir: “no puedes tomar decisiones basadas en el origen étnico o en el género”. ¿Cómo sorteas eso? Lo más común es usar un proxy, una manera de hacer una pregunta indirectamente sin admitir lo que estás buscando. Entonces, si quieres adivinar la etnia de alguien, uno de los proxys más efectivos es el idioma. En un algoritmo de detección de fraude de Rotterdam había más de 20 variables relacionadas con el idioma. Y eso permitía que ese algoritmo tomara una serie de decisiones. ¿Es su primer idioma? ¿Qué otros idiomas habla? ¿En qué otros países tiene familiares? Puedes inferir el propósito de estas preguntas si accedes a las variables.

Se suele argumentar que hay una diferencia entre los servicios privados y públicos o estatales en esto. Pero en casos como estos vemos que ambos sectores interactúan: por ejemplo, una compañía privada le vende el algoritmo a una institución pública. Y cuando demandas esa información te pueden decir que es una información comercial sensible. ¿Cómo podemos resolver eso y demandar mayor transparencia?

Hay dos aspectos acá. En primer lugar, hay pasos muy razonables que puedes tomar. Por ejemplo, tener un registro público de algoritmos. Eso significa que las empresas privadas, antes de vender tecnología a cualquier institución, sepan desde el principio que cierta información debe estar disponible. La mayoría de los argumentos de propiedad intelectual en esto son una mentira. Es una defensa usada comúnmente, pero la idea de que transparentar esta información va a revelar secretos comerciales no se sostiene. En segundo lugar, es importante tener y fortalecer las leyes de acceso a la información y establecer precedentes. Los ciudadanos tienen el derecho a saber cómo toman sus decisiones las instituciones públicas que se financian con el dinero de los contribuyentes y que influyen en su vida. Y eso significa que ese derecho debe tener primacía sobre las preocupaciones de las empresas privadas sobre propiedad intelectual.