Sesgos algorítmicos en la justicia

El problema del sesgo algorítmico

Un sesgo algorítmico ocurre cuando un sistema de IA produce resultados sistemáticamente injustos hacia ciertos grupos. En el ámbito judicial, esto puede vulnerar derechos fundamentales.

Caso emblemático: COMPAS (EE.UU.)

El sistema COMPAS, usado para predecir reincidencia criminal, fue denunciado por ProPublica (2016) por:

• Sobreestimar el riesgo de reincidencia en personas afroamericanas
• Subestimar el riesgo en personas blancas
• Producir "falsos positivos" desproporcionados por raza

Fuentes de sesgo

1. Datos históricos: si los datos reflejan discriminación pasada, el modelo la perpetúa
2. Variables proxy: el código postal puede ser un proxy de raza o clase social
3. Subrepresentación: grupos minoritarios infrarrepresentados en los datos de entrenamiento
4. Diseño del modelo: la elección de qué optimizar puede favorecer a ciertos grupos

Tipos de sesgo judicial relevantes

• Sesgo de confirmación: el sistema refuerza las hipótesis previas del juez
• Sesgo de anclaje: la sugerencia del sistema condiciona la decisión humana
• Sesgo de automatización: tendencia a confiar excesivamente en las recomendaciones de la máquina

Estrategias de mitigación

• Auditorías de equidad periódicas (fairness audits)
• Análisis de impacto desagregado por género, origen, edad
• Transparencia del modelo (explicabilidad)
• Comités de supervisión independientes
• Derecho a impugnación de decisiones algorítmicas