Cuando una organización incorpora la automatización de procesos o la analítica del dato en las tareas diarias puede beneficiarse de mejoras en productividad, ahorro de costes o eficiencia operativa. Pero con la implementación de la inteligencia artificial (IA) también se asumen ciertos riesgos. En concreto, los problemas que más preocupan a las compañías tienen que ver fundamentalmente con la ciberseguridad, el uso indebido de los datos y la ética.
La tercera edición del informe ‘Estado de la IA en la empresa’, que Deloitte publicó en julio, revela que el 56% de las organizaciones encuestadas ha ralentizado su adopción de la IA debido a los riesgos asociados a la gobernanza, la confianza y los sesgos no intencionados de los algoritmos.
“El sesgo es un tema de extrema actualidad en la inteligencia artificial”, explica Macarena Estévez, socia de Analytics & Cognitive de la consultora. Y lo que generan estos sesgos es, a grandes rasgos, “falta de equidad en las decisiones, perpetuación de la exclusión de determinados colectivos o aumento de las posibles discriminaciones históricas”, completa Juan Pedro Gravel, socio de Estrategia Tecnológica y Arquitectura de Deloitte.
Cuestión de género
Esto tiene que ver, por ejemplo, con el hecho de que Amazon tuviera que despedir por sexista a la herramienta basada en Inteligencia Artificial que se encargaba de seleccionar personal. Sucedió en 2018, tras reconocer que su intento de agilizar el proceso de reclutamiento online descartaba por defecto aquellos currículums que contenían la palabra mujer.
Otro caso conocido de discriminación, en este caso racial, es el de Compas, un software que se utiliza en varios estados de Estados Unidos como asesor de los jueces en sus sentencias. En 2016, la organización periodística sin ánimo de lucro ProPública denunció que este algoritmo se equivocaba el doble de veces con los acusados afroamericanos al asignar probabilidades de volver a cometer un delito con violencia.
El género también fue el talón de Aquiles de la Apple Card de Goldman Sachs. “Los usuarios descubrieron que discriminaba sistemáticamente a las mujeres, a las que concedía líneas de crédito menores que a los hombres o a las que rechazaba directamente”, describe Gemma Galdón, CEO y fundadora de Eticas Research & Consulting.
Como doctora en políticas de seguridad y tecnología, conoce bien el impacto de una mala decisión de la Inteligencia Artificial en el entorno corporativo. “Cualquier área es susceptible de usar un algoritmo de baja calidad”, resume.
“Como vemos en el ejemplo de Apple, el riesgo, más allá del reputacional que les supuso aparecer en todo el mundo relacionados con la discriminación a la mujer, llegaba a lo más profundo del negocio, al perder potenciales clientes”, define Galdón, acarreando un coste económico “incalculable”.
Pero no solo la marca marca y la cuenta de resultados se pueden ver dañados; las repercusiones pueden ser también de tipo legal. En España y Europa ya existe legislación que exige la auditoría algorítmica. Como consecuencia, “empezamos a ver las primeras sentencias condenatorias por el uso de algoritmos que no respetan principios básicos y derechos fundamentales”, incluso aunque la compañía lo ignore o no lo haya diseñado, indica la fundadora de Eticas.
El 'toque' humano
Pero, ¿cómo es posible que un algoritmo, es decir, un conjunto de instrucciones pensado para ejecutar una tarea o resolver un problema, genere estos conflictos? Principalmente, porque “la tecnología, en general, es un ecosistema donde diseñan y desarrollan hombres blancos de mediana edad, con un perfil socioeconómico similar, por lo que todo el que se salga de ahí es susceptible de verse afectado por sesgos que estos perfiles no identificarán”, afirma Galdón.
A este contexto hay que sumarle el proceso de entrenamiento del algoritmo, que va aprendiendo de forma automática: dependerá del volumen y la calidad de los datos seleccionados y variables que se recojan, o de cómo se incorpore la decisión en entornos humanos.
Para atajar esta situación, Eticas Research propone una solución: auditar la inteligencia artificial de la empresa. Del mismo modo que se haría a la caza de fallos contables, se comparan los datos que entran en el sistema con los resultados obtenidos. Para buscar sesgos, se revisa tanto el diseño del algoritmo como el contexto, para evaluar si la elección de fuentes de datos es la idónea, como los posibles impactos y discriminaciones para grupos poblacionales específicos y por qué toma las decisiones que toma (lo que se denomina explicabilidad). Por último, se examina la integración operativa de los algoritmos y los aspectos vinculados con la interacción humana.
“La auditoría implica un proceso de trabajo conjunto con el cliente para abordar y mitigar esos sesgos, así como la definición de una metodología para que el algoritmo no reaprenda a discriminar de forma no ética”, comenta Galdón. Por entre 20.000 y 60.000 euros, las empresas se llevan además un informe final con conclusiones, recomendaciones y posibles ejes de actuación.
Bajo la lupa de Eticas han pasado ya Indra, Telefónica, el Banco Interamericano de Desarrollo (BID), la Asociación Española de Protección de Datos (AEPD), el Ministerio de Desarrollo Social y Familia del Gobierno de Chile o el ayuntamiento de Barcelona, así como varias universidades en Europa y América.
Y hace unas semanas recibían la buena noticia de la Comisión Europea: les ha asignado tres nuevos proyectos para los próximos tres años, lo que constata el interés creciente por la transparencia en el uso de las nuevas tecnologías. Identificar y mitigar sesgos supone, por una parte, cumplir la ley y por otra, proteger a los usuarios.
