La discriminación algorítmica no es algo nuevo, aunque sí la preocupación por darle respuesta. Lo cierto es que ha convivido con las personas desde el inicio de los algoritmos porque, para sorpresa de nadie, todo algoritmo, por básico que sea, incluye sesgos y estos discriminan.
A menudo los sesgos son sutiles e intrascendentes, como recibir una publicidad y no otra, y en ocasiones son enormes y condicionantes, como que por vivir en determinado barrio el seguro salga más caro. ¿Cuáles fueron las primeras historias de discriminación algorítmica? ¿Cuál es su solución?
Discriminación algorítmica en el colegio St. George
A finales de la década de 1970 la escuela de medicina St. George de Londres (Reino Unido) tenía un gran problema. La demanda de alumnos era tal que las matriculaciones desbordaban a los encargados de las admisiones. Es por ello que Geoffrey Franglen, vicedecano, escribió un programa informático que ‘imitaba’ el comportamiento de los asesores humanos. Era un plan perfecto, sin fisuras, ¿no?
Franglen razonó que al estar todos los matriculados auditados por el mismo algoritmo, no había proceso más justo. Como es obvio, se equivocaba: había olvidado el componente humano del proceso. Que el algoritmo imitase el comportamiento humano en un 90 % a 95 % de las veces no lo hacía más justo: lo hacía tan injusto como cuando dependía de las personas, pero menos transparente y con cero posibilidad de reclamar.
Años después de su uso, un análisis del algoritmo descubrió que, en efecto, el programa de Franglen descartaba a personas no europeas como candidatos debido a su nombre, y que en ocasiones había sesgos más sutiles como el lugar de nacimiento. El programa discriminaba a las personas de color y a las mujeres, porque, menuda ironía, funcionaba tan bien que replicaba el comportamiento que los asesores humanos habían tenido hasta entonces.
[INSERTAR TUIT]
<blockquote class=»twitter-tweet»><p lang=»es» dir=»ltr»>VIDEOANÁLISIS | HAL 9000 ha resultado ser nazi<br><br>"Un experimento sobre el aprendizaje moral de la inteligencia artificial fracasa tras comprobar que la máquina se convirtió en racista y machista: la gran metáfora de la democracia digital", explica <a href=»https://twitter.com/pvallin?ref_src=twsrc%5Etfw»>@pvallin</a><a href=»https://t.co/9CWlrEdcKI»>https://t.co/9CWlrEdcKI</a> <a href=»https://t.co/SPOAzQNaNU»>pic.twitter.com/SPOAzQNaNU</a></p>— La Vanguardia (@LaVanguardia) <a href=»https://twitter.com/LaVanguardia/status/1461607719304052738?ref_src=twsrc%5Etfw»>November 19, 2021</a></blockquote> <script async src=»https://platform.twitter.com/widgets.js» charset=»utf-8″></script>
En aquel momento se descubrió un pensamiento clave que aún acompaña el análisis de sesgos en algoritmos: el algoritmo es tan bueno como lo sean los datos de entrada, y tan justo como lo hayan sido estos. Si hasta entonces los asesores habían descartado por racistas a las personas de color, el algoritmo haría lo propio. Ofreciendo los peores resultados posibles desde el punto de vista ético, el programa había funcionado a la perfección. Tan mal como un humano.
Profecía autocumplida debido a la discriminación algorítmica
A los humanos se nos da muy mal aprender de los errores, tanto como a las máquinas que los heredan. Hace unos años la policía de Nueva York (NYPD, en Estados Unidos) diseñó un algoritmo para optimizar sus recursos. La idea original, de nuevo, era brillante y resolutiva: en lugar de patrullar de forma aleatoria por la ciudad, se concentrarían operativos policiales allí donde más se delinquía. Tenía sentido.
El problema, por descontado, es que para enviar las primeras patrullas se echó mano del histórico previo de detenciones a décadas vista. Como durante bastante tiempo algunos policías racistas habían ido a barrios pobres de personas de color a detener a personas, fue justo ahí a donde envió a los nuevos policías el algoritmo.
Al patrullar más, también veían más delitos, así que el sistema se retroalimentó y hubo días con una cantidad absurda de policías en algunas zonas. Se produjo un ‘efecto Pigmalión’ o de profecía autocumplida: la enorme presencia de policías en las zonas deprimidas generó revueltas y, claro, más detenciones.
El algoritmo se corrigió de forma acertada e inteligente varios meses después. En lugar de tener en cuenta las detenciones sin más, se tuvo en cuenta aquellas detenciones que dieron lugar a condenas, y además se introdujo cierto grado de aleatorización para evitar el ‘Pigmalión’. Aunque el sistema no es perfecto, sin duda es más justo que dejarlo en manos de las patrullas. Se empezó a ver la luz al final del túnel.
Cajas negras: cuando a la discriminación algorítmica ni se la entiende
Otros túneles son tan profundos y oscuros que la luz no les llega. No puede. Es el caso de lo que Cathy O’Neil llama ‘armas de destrucción matemática’ o ADM. Hay muchos ejemplos, pero uno de los últimos se ha hecho conocido en España porque apareció en el Congreso de los Diputados. Fue el caso de la empresa rusa con sede en Los Ángeles (Estados Unidos) Xsolla, que despidió a 150 trabajadores usando un algoritmo. Con ironía: era una empresa de software.
Aunque la comunicación de la empresa apuntaba su improductividad o falta de competencias, lo cierto es que es imposible determinar bajo qué paradigma la máquina ‘decidió’ despedir a estas personas. Al usar un algoritmo de caja negra, no hay modo de establecer una ruta o desplegar el razonamiento del sistema. Que el CEO y fundador de la empresa, Alexander Agapitov, manifestase su desagrado al despido y confesase no poder hacer nada tampoco alivió la situación.
¿Qué se puede hacer si los algoritmos siguen teniendo los mismos sesgos hoy que hace unas décadas? La discriminación algorítmica no nació ayer. Llevamos conviviendo con ella varias décadas. Sin embargo, es la primera vez que se plantea la posibilidad de establecer mecanismos de verificación, transparencia y regulación. Es una diferencia importante.
Una regulación algorítmica, esperanza para el futuro
No queda claro cómo sería esa regulación, ni quiénes tendrían que cumplirla, ni cómo y cuándo, ni quién sería la autoridad de asegurarse de su cumplimiento. Sin embargo, que se esté hablando del tema en instancias políticas indica que la sociedad ha llegado a un grado de maduración suficiente como para reconocer el problema y querer darle solución.
Las auditorías son frecuentes en el mundo industrial. Sellos de calidad en fábricas, normativa de tratamiento de alimentos, código informativo para los medios, etcétera. Los algoritmos tienen un enorme papel en nuestra vida, y necesitamos herramientas de revisión para comprobar que no hemos sido discriminados por ellos o actuar en el caso de que sí.
Redactado por M. Martínez Euklidiadas
Imágenes | Michael Dziedzic, Jack Finnigan
