Humanización de la Inteligencia Artificial en Cataluña
Uno de los retos más significativos en la implementación de sistemas de inteligencia artificial (IA) es garantizar que estos no perpetúen discriminaciones o sesgos en la toma de decisiones. Un caso que ha resonado en los pasillos de la Autoritat Catalana de Protecció de Dades (APDCat) es el de una familia que, a pesar de cumplir con los requisitos para recibir una subvención destinada a familias con hijos con discapacidad, fue rechazada debido a un sistema automatizado que consideró su renta familiar superior al límite establecido. Este incidente llevó a la APDCat a desarrollar una metodología innovadora en Europa para supervisar y humanizar el uso de algoritmos en la administración pública, con la finalidad de evitar situaciones similares en el futuro.
La reciente aprobación de un reglamento a nivel europeo, que exige la realización de evaluaciones de impacto en los derechos fundamentales para productos y servicios que utilizan inteligencia artificial, representa un paso importante hacia la regulación de esta tecnología. Sin embargo, desde la APDCat se señala que aún faltan directrices claras sobre cómo llevar a cabo estas evaluaciones. En este contexto, la propuesta catalana introduce un modelo de matrices que permite cuantificar el impacto de la IA, considerando dos dimensiones claves: la probabilidad de que se produzca un daño y la gravedad del mismo. Este enfoque busca proporcionar a los proveedores tecnológicos las herramientas necesarias para mitigar los riesgos asociados a sus sistemas.
El aumento de la preocupación por los efectos adversos de la IA ha llevado a diversas administraciones en todo el mundo a tomar medidas. En 2020, un tribunal en los Países Bajos determinó que un sistema de análisis utilizado por el gobierno discriminaba a la ciudadanía al rastrear fraudes. Igualmente, Nueva York reguló en 2023 el uso de algoritmos en procesos de selección laboral para evitar prejuicios raciales y de género. Expertos advierten también sobre los riesgos de utilizar modelos de IA desarrollados fuera de Europa, que no están adaptados a las particularidades del contexto europeo. La necesidad de establecer controles y regulaciones claras se vuelve, por tanto, esencial en un panorama tecnológico que avanza a gran velocidad.
