El próximo reto de los algoritmos: discriminar menos que las personas

• La sociedad está llena de sesgos; el desafío ahora es conseguir que la inteligencia artificial los corrija en lugar de agravarlos

¿La inteligencia artificial ha llegado para corregir nuestros sesgos o para agravarlos?

El efecto de la inteligencia artificial no es una inquietud del futuro, sino de hoy. Los algoritmos complejos ya cambian nuestro día a día, con decisiones poco trascendentales como la siguiente serie que verás en Netflix, pero también en temas fundamentales como tu límite de crédito bancario, que un programa descuidado puede reducir solo porque seas mujer.

Los algoritmos ya hacen nuestra vida mejor en muchos aspectos. Sirven para optimizar las rutas de reparto del correo, para detectar un posible cáncer antes que tu radiólogo, o para que nuestras centrales eléctricas produzcan la cantidad de energía justa cada día. Pero los algoritmos también incorporan sesgos. En un mundo ideal, las máquinas desarrollan lógicas precisas, objetivas y perfectas. En el mundo real, la tecnología a menudo reproduce -y a veces amplifica- los prejuicios que existen en la sociedad. No parece sorprendente: ¿por qué esperar máquinas perfectas a partir de humanos imperfectos? Pero tampoco es algo inevitable. De hecho, la promesa es hacer algoritmos que no solo no sean peores que nosotros, sino que sean mejores.

Quienes diseñan algoritmos tienen ahora un reto: liberar a la inteligencia artificial de los prejuicios humanos y evitar que adquieran otros sesgos por el camino. Como tantas veces antes, un creador quiere liberar a su creación de sus peores defectos.

Los algoritmos que no querían a las mujeres

Uno de los casos más conocidos de sesgo algorítmico es el de Amazon que se hizo público a finales de 2017: un intento de automatizar la contratación de personal resultó en una selección que discriminaba a las mujeres.

Los algoritmos suelen partir de la necesidad de mejorar un proceso ya existente; en este caso, agilizar la criba de candidatos. En su descripción más básica, un algoritmo es un conjunto de instrucciones que dan lugar a un resultado. Y el modelo que opera para transformar lo que entra en lo que sale puede estar definido —a distintos niveles— por humanos o ser aprendido por el propio algoritmo.

En el caso de Amazon, este fue entrenado para identificar los perfiles deseables mirando dentro de la empresa: ¿Qué debía tener un candidato? Lo que tenían los empleados de Amazon. Una de esas cosas es que la mayoría eran hombres, dada la brecha de género común en las grandes tecnológicas. Resultado: el modelo se enseñó a sí mismo que eran preferibles los candidatos masculinos y que lo relacionado con las mujeres debía ser penalizado. Sus recomendaciones iban a perpetuar un sesgo ya existente en la empresa.

El algoritmo era nuestro reflejo. “Es como si al levantarnos por la mañana y mirarnos en el espejo empezáramos a percibir todo eso de lo que a veces, por lo rápido que vamos, no nos damos cuenta”, explica Idoia Salazar, presidenta y cofundadora del Observatorio del Impacto Ético y Social de la Inteligencia Artificial (OdiseIA). “Hablamos de sesgos algorítmicos, pero los primeros que estamos sesgados somos los seres humanos”, insiste Salazar.

Los humanos tenemos prejuicios, tomamos decisiones basadas en ellos y eso moldea las sociedades en las que vivimos. Los algoritmos que toman decisiones humanas, si no lo evitamos, perpetúan esos errores. “Los humanos tenemos nuestros propios sesgos cognitivos, tenemos hambre, sueño, somos susceptibles a la corrupción, tenemos amigos, enemigos, etcétera”, incide la ingeniera de telecomunicaciones Nuria Oliver, co-fundadora y vicepresidenta del Laboratorio Europeo para el Aprendizaje y los Sistemas inteligentes (ELLIS, por sus siglas en inglés).

En 2019, Apple tuvo que dar explicaciones porque su sistema de créditos daba mejores asignaciones a los hombres. Su justificación incluía el hecho de que el algoritmo evaluador era ciego a efectos del género. El problema es que es posible discriminar por género, aunque esa información no esté en la ecuación.

Como explica Nuria Oliver, para cuidar el impacto de los ‘atributos sensibles’ -como el género- en un algoritmo no vale con eliminarlos, porque puede haber patrones asociados -por ejemplo, la estatura al género- que igualmente acaben por producir un sesgo. Más bien al contrario: es necesario medirlos e incorporarlos adecuadamente. Registrarlos permite la posterior auditoría del algoritmo.

Esta es una de las razones para que los algoritmos los desarrollen equipos multidisciplinares. El objetivo, señala Oliver, es analizar los proyectos, trabajar con expertos en el campo y con aquellos a quienes impacta, aumentar la diversidad de los equipos, hacer activismo por las buenas prácticas y “buscar sesgos permanentemente”.

¿Cómo fiscalizar una caja negra?

“Es fundamental entender cómo se toman las decisiones con inteligencia artificial y compararlo con cómo se tomaban antes para entender si estamos mejorando o empeorando al apoyarnos en algoritmos”, razona Oliver. “El estudio de los sesgos es clave”, añade. El problema es que, en muchos casos, esto no es posible.

El primer problema es la opacidad habitual (un caso paradigmático es el de la aplicación del Gobierno para conceder o no el bono social, que Civio está peleando para obtener). Al que se suma una barrera aún mayor: muchos modelos de inteligencia artificial de última generación son cajas negras a la que los humanos no tenemos fácil acceso. Las redes neuronales, por ejemplo, se configuran por entrenamiento, en gran medida solas. A veces se utilizan sin entender exactamente qué hacen.

La legislación está en camino. Mientras tanto, una parte del sector tecnológico trabaja en mejoras como la inteligencia artificial explicable. “Se trata de diseñar sistemas que no solo funcionen muy bien sino que además podamos explicar cómo funcionan”, detalla Oliver, que además echa en falta más movilización social en pro de una mayor transparencia algorítmica.

Salazar, por su parte, alude a la responsabilidad individual. “Debemos informarnos debidamente, porque esto tiene un impacto real ahora”, insiste. Y añade: “No se trata de aprender a programar, sino de preguntar. De pedir explicaciones”.

Algoritmos para ayudar a las mujeres

Recientemente, nueve medios internacionales -entre ellos AFP, Reuters y La Nación- se unieron en un programa piloto que usaba una IA para detectar sesgos en sus contenidos. El resultado se llamó AIJo. Su algoritmo podía, por ejemplo, revisar miles de artículos de un periódico y señalar que solo el 21% de las personas citadas eran mujeres. En otro caso, detectó que las citas de fuentes femeninas eran más cortas. La promesa de estas herramientas es que actúen como vigilantes: pueden avisarte de los sesgos que tiene tu redacción, tus guardias de tráfico o tus agentes de seguros.

AIJo es un ejemplo del dilema clásico de cualquier nueva tecnología: traen problemas nuevos, pero también muchas posibles aplicaciones.

La clave para que se impongan los usos virtuosos de los algoritmos es que se diseñen con nuestro bienestar como función objetivo. Como recuerda Salazar, “bien usados, una vez eliminados esos sesgos, nos pueden ayudar a tomar decisiones mucho más acertadas como humanidad”.