Caja negra
De Wiki de TI Responsable
Una caja negra es un sistema cuyas entradas y salidas pueden observarse sin que sea posible explicar su funcionamiento interno.
La mayoría de los modelos de aprendizaje profundo pertenecen a esta categoría: sus parámetros, a menudo miles de millones, no se pueden interpretar individualmente.
Por qué supone un problema
- Impugnación: una persona no puede cuestionar una decisión cuyos motivos no se exponen;
- Corrección: resulta difícil corregir un defecto no explicado sin recurrir al reentrenamiento;
- Cumplimiento normativo: el RGPD (FR) reconoce un derecho a la información sobre la lógica de una decisión automatizada, y el Reglamento de Inteligencia Artificial (FR) exige explicabilidad (FR) para los usos de alto riesgo.
Un modelo más sencillo, incluso con un rendimiento algo inferior, puede ser la elección adecuada: su decisión se puede justificar.
