Dos investigadores mallorquines alertan sobre las limitaciones de la IA en un estudio que cuestiona la fiabilidad de sus métricas de evaluación

Miquel Miró y Gabriel Moyà, dos investigadores de la Universitat de les Illes Balears (UIB) han publicado un estudio exhaustivo para analizar las métricas que se emplean actualmente para evaluar la fiabilidad de la inteligencia artificial explicable (XAI). La investigación manifiesta que ninguna de las métricas actúa de forma coherente en los escenarios, por lo que cuestiona la utilidad de la IA en entornos aplicados como la salud, la justicia o las finanzas.

Para ello, los investigadores han realizado tres pruebas para controlar si las métricas saben distinguir entre expresiones robustas y no robustas: una, con explicaciones perfectas; otra, con modelos poco estables; y la última, con explicaciones aleatorias. Para llevar a cabo este análisis, se han utilizado modelos transparentes y conjuntos de datos de referencia conocidos.

Finalmente, los resultados demuestran que ninguna de las métricas analizadas supera de forma congruente todas las pruebas realizadas, ni siquiera en situaciones simples. De hecho, algunas indican una robustez alta incluso cuando las explicaciones son aleatorias. Por tanto, los autores concluyen que estas herramientas pueden generar una falsa sensación de fiabilidad, por lo que reclaman el desarrollo de unas métricas más severas.

Suscríbete para seguir leyendo