Inicio › Tecnología › Sesgo Algorítmico
El sesgo algorítmico se produce cuando un sistema de inteligencia artificial o de aprendizaje automático genera resultados sistemáticamente injustos o desiguales para determinados grupos de personas, no por malicia explícita sino por defectos en los datos de entrenamiento o en el propio diseño del modelo. Puede originarse porque los datos históricos usados para entrenar el sistema reflejan desigualdades sociales previas, porque ciertos grupos están subrepresentados en el conjunto de entrenamiento, o porque el modelo aprende a usar variables aparentemente neutras como sustitutas indirectas (proxies) de características protegidas, como la etnia o el género. Casos documentados incluyen algoritmos de selección de personal qué penalizaban currículums asociados a mujeres, o sistemas de reconocimiento facial con tasas de error notablemente más altas en determinados grupos demográficos.
Ocurre cuando un programa qué toma decisiones automáticas —a quién contratar, a quién dar un préstamo, a quién reconocer en una foto— trata peor a ciertos grupos de personas sin qué nadie lo haya programado a propósito. El fallo suele venir de los datos con los qué se entrenó, qué ya arrastraban esas desigualdades de antes.
Una empresa qué usa un algoritmo para preseleccionar candidatos a un puesto encarga una auditoría de equidad antes de ponerlo en producción: compara las tasas de selección entre distintos grupos demográficos con perfiles equivalentes, revisa qué variables usa el modelo para decidir y corrige o retira aquellas qué actúan como proxy de características qué no deberían influir en la decisión.
Sí. Puede aprender a usar otras variables correlacionadas con esos atributos —un código postal, el nombre de una universidad, el patrón de horarios de conexión— como sustitutos indirectos, reproduciendo el sesgo aunque el atributo protegido nunca se le entregue explícitamente como dato de entrada.
Mediante auditorías de equidad qué comparan las tasas de acierto y las decisiones del modelo entre distintos grupos, pruebas con conjuntos de datos diseñados específicamente para revelar disparidades, y revisión humana continua de los resultados en producción, no solo en la fase de entrenamiento.
El Reglamento de Inteligencia Artificial (AI Act) de la UE clasifica por riesgo los sistemas de IA y exige requisitos más estrictos de evaluación, documentación y supervisión humana para los qué se consideran de alto riesgo, como los usados en selección de personal, acceso a crédito o servicios públicos esenciales.