La Vanguardia, 9/05/2020 (enlace)

Vivimos en una sociedad que está llena de cajas negras para nosotros, mecanismos, sistemas, algoritmos, robots, códigos, automatismos y dispositivos que usamos o nos afectan pero cuyo funcionamiento nos es desconocido. La nuestra sería una black box society (Pasquale). Si la actuación de sistemas inteligentes es cada vez mayor y mas decisiva su influencia en la vida cotidiana, también aumenta la necesidad de equilibrar las asimetrías cognitivas que de ello resultan. Debemos construir toda una nueva arquitectura de justificación y control donde las decisiones automáticas puedan ser examinadas y sometidas a revisión crítica.

Cualquier aspiración a reducir la opacidad de los entornos en los que nos movemos ha de diferenciar los tipos de intransparencia. La primera forma de intransparencia es la intencionalmente producida, la que se debe a una deliberada voluntad de ocultar, sin que esto tenga necesariamente una dimensión reprochable. Dicha opacidad puede deberse a la protección de datos, el derecho de propiedad o por cuestiones de seguridad y otras relativas al bien común. Hay otro tipo de intransparencia que se debe a la configuración técnica de ciertos dispositivos. Su complejidad técnica produce ignorancia en los usuarios y asimetrías cognitivas entre ellos y los expertos. El proceso de decisión de los sistemas inteligentes es intransparente y opaco, en buena medida por motivos técnicos, no por intencionalidad expresa de sus diseñadores. El tercer tipo de opacidad, la más compleja y la más específica de los nuevos dispositivos inteligentes, es la que no está escondida sino aquella que surge con su desarrollo, la inesperada, la que obedece precisamente a la autonomía de su carácter inteligente.

La humanidad ha construido máquinas que solamente eran entendidas por sus creadores, pero nunca habíamos construidos máquinas que operarían de un modo que sus creadores no entendieran. La inteligencia artificial parece implicar este tipo de novedad histórica. Que se trate de sistemas autónomos no quiere decir que sean seres libres y racionales, sino que tienen la capacidad de tomar decisiones no pronosticables. Por eso la exigencia de transparencia puede chocar con un límite infranqueable: no tiene sentido preguntar a los programadores para entender los algoritmos, como si la verdadera naturaleza de los algoritmos estuviera determinada por las intenciones de sus diseñadores. ¿Cómo vamos a conocer un dispositivo, su evolución y decisiones, si ni siquiera los creadores del algoritmo saben exactamente de qué modo funciona?

Teniendo en cuenta las dificultades que plantea la estrategia de la transparencia, el debate ha girado en los últimos años hacia otra categoría: se trataría de diseñar una inteligencia artificial explicable. La explicación se refiere a la información y a la lógica empleada para adoptar las correspondientes decisiones. Organizaciones e instituciones públicas deberían explicar los procesos y las decisiones de los algoritmos de un modo que sea comprensible por los humanos que los emplean o son afectados por ellos. Seguramente no se pueden aplicar a las decisiones de los sistemas los mismos criterios que valen para las decisiones humanas, pero sí que cabe situar a los sistemas inteligentes en el espacio deliberativo en el que se sopesan decisiones y argumentos. Es posible, por ejemplo, programar tales sistemas de modo que informen de los motivos de sus decisiones.

Esta supervisión de los sistemas inteligentes sobrepasa la capacidad de la gente corriente, está al alcance en principio de los expertos, pero incluso los especialistas tienen grandes dificultades de comprender ciertas decisiones. Los seres humanos individuales se encuentran sobrecargados a la hora de comprender en detalle el proceso de la toma de decisiones. Únicamente personas expertas están en condiciones de entender la lógica de los códigos y los algoritmos, con lo que cualquier operación de hacerlos más transparentes tiene efectos asimétricos, no posibilita una accesibilidad universal.

No basta con privatizar la transparencia y dejar en manos de la ciudadanía el control sobre los sistemas inteligentes —un control que apenas pueden llevar a  cabo— y renunciar así a la regulación pública. Los sujetos individuales solo podemos gestionar las corrientes masivas de datos en una medida limitada. No podríamos decidir en torno a datos y decisiones posibles mas que si nos son filtradas hasta unas dimensiones que nos resulten manejables. En vez de tomar como punto de partida a un usuario independiente, las prácticas de la transparencia solo tienen sentido en un contexto social, como señales de una disposición a rendir cuentas y generar confianza.