Algoritmos que discriminan

El procesamiento masivo de datos, lo que comúnmente ese denomina con el término inglés big data, trae indudables beneficios en los más diversos ámbitos como, por ejemplo, el sanitario. Sin embargo, es preciso extremar la precaución sobre el uso que se realiza de ello, puesto que se pueden llegar a vulnerar algunas libertades civiles. Así lo pone de manifiesto un reciente informe de la Agencia Europea para los Derechos Fundamentales (FRA).

Un mal uso de las técnicas big data, en donde los algoritmos juegan un papel esencial, sería una amenaza para la privacidad. En este sentido, el Parlamento Europeo adoptó en 2017 una resolución en la que se remarcaba la necesidad de vigilar las implicaciones de big data en el ámbito de los derechos fundamentales. Uno de los puntos en los que aquella resolución ponía más énfasis era el peligro de discriminación mediante el uso de determinados algoritmos.

¿Cómo puede producirse esta discriminación? Un ejemplo de ello sería un proceso de selección. El big data sustenta ahora buena parte de las decisiones de negocio basándose en la información que se destila al cruzar ingentes cantidades de datos. En la actualidad, no resulta en absoluto descabellado que las personas seleccionadas para un puesto de trabajo fueran elegidas automáticamente por un sistema cuyos algoritmos pronosticaran qué persona será más productiva. En realidad, no es un hecho constatado, pero servirá para apear del proceso a un buen número de candidat@s.
En realidad, como hemos señalado en otras ocasiones, el problema reside en el diseño de los algoritmos, que han de ser cuidadosamente depurados para evitar el riesgo de discriminación.

Imaginen de nuevo la situación de un proceso de selección:  si el sistema, que gracias a los algoritmos va realizando un aprendizaje automático, detecta que las personas que viven en determinada zona deprimida de la ciudad tienen un peor rendimiento, el riesgo de que ni siquiera acepte las solicitudes de la gente que reside allí para acceder a la entrevista se multiplica.

En este mismo espacio hemos referido casos en los que los sistemas informáticos discriminaban a las personas por el color de su piel. Una de las causas de esta situación viene dada por el modo en que se nutrió de información a la máquina para que después cruce datos y depure resultados. Ante la imagen de un bebé blanco, el registro en la máquina queda como “bebé”; sin embargo, la introducción de la fotografía de un bebé negro se introduce como “bebé negro”. ¿Por qué esa diferenciación? Este sistema, sino se depuran los algoritmos, está llamado a caer en prejuicios étnicos.

La solución más sencilla para resolver esta problemática es desarrollar los algoritmos correctamente desde el inicio, lo que suele llamarse “por diseño y por defecto”. Dado que esto no siempre se da, es precioso recurrir a una auditoría de algoritmos, para tratar de detectar si se está produciendo algún tipo de discriminación, algo que no resulta sencillo. Esto se debe a que, incluso accediendo a los millones de líneas de código –que por lo general no es posible por estar sujetos a copyright-, puede estar dándose la discriminación sin que ésta esté directamente codificada en la sintaxis del software.

En este sentido, uno de los métodos más extendidos de auditoría es el de la repetición sistemática de diferentes perfiles para analizar la respuesta que tiene el software. Para ello, en muchas ocasiones, se trabaja sobre una réplica del sistema pues, de hacerlo con el que está en producción, podríamos incurrir en una denegación de servicio debido al bombardeo masivo de información al que lo sometemos.

Con todo, la FRA destaca la necesidad de que empresas y organismos sean más transparentes a la hora de permitir el acceso a su código, a sus algoritmos. Pese a la complejidad que entraña, esa sería la mejor solución paa poder auditar correctamente este software y evitar la vulneración de derechos fundamentales. Algo, sin embargo, que se antoja casi imposible, pues cuando no son los derechos de propiedad intelectual (los algoritmos pueden ofrecer ventajas competititivas sobre los rivales del mercado), puede llegar a ser la seguridad nacional la que se encargue de dar al traste con esta necesaria transparencia.