El Mercurio Legal | Prevenciones en torno a la incorporación de Inteligencia Artificial en el proceso judicial

.. .Uno de los grandes peligros de un mal modelo de IA empleado en un proceso judicial es que se alimente de datos recogidos al azar y con correlaciones espurias, reforzado por desigualdades institucionales, contaminado por ruido (variabilidad no deseada) y por sesgos cognitivos. Asimismo, la falta de gobernanza institucional, así como los sesgos de los arquitectos o programadores de sistemas pueden poner en peligro la independencia judicial y la imparcialidad..

Hoy es posible advertir, sin mucho esfuerzo, el expansivo fenómeno de la automatización del mundo. Nuestra vida cotidiana cada día más está rodeada de tecnología y, especialmente, de Inteligencia Artificial (IA). Este última es el tema y la herramienta de moda, que atrae el interés de todos y cuya presencia, en muchas áreas, se plantea como inevitable.

Los relatos de inevitabilidad tecnológica nos dicen que “si se puede hacer, entonces se hará”; pero, ante ese tipo de afirmaciones, podríamos preguntarnos por qué tendría que aplicarse y si hay razones poderosas para hacerlo. Uno de los argumentos más recurrentes para introducir IA al proceso judicial es que implica ahorro de tiempo y recursos.

Frente a esto, es válido preguntarse si para alcanzar los fines del proceso es más importante la eficiencia o la justicia, o si es viable compatibilizarlas. Si para lograr la eficiencia hay que sacrificar la justicia, me parece que las cosas van mal encaminadas. Las innovaciones tecnológicas nunca pueden adoptarse con el único propósito de ahorrar tiempo o de simplificar las actividades de las organizaciones (Tanco, 2022,52) y deben, necesariamente, tener en cuenta su impacto en el resguardo de los derechos de los ciudadanos. Por otro lado, es básico clarificar que los fines del proceso y los fines del mercado corren por carriles diversos.

El proceso se rige por principios y reglas propios que no obedecen a la lógica del mercado; en tanto que las empresas desarrolladoras de IA pretenden obtener ganancias al menor costo posible y los mercados actúan sin emitir juicios de valor sobre los deseos que satisfacen (Sandel, 2013,88). En este orden de cosas, al insertar sistemas de IA en los procesos judiciales es iluso pretender que estos alcancen los fines del proceso, ciñéndose a los principios procesales, sin una necesaria programación específica. Si se quiere que actúen con criterios éticos, es necesario programar esa ética desde el diseño de las aplicaciones y sistemas.

Lo mismo ocurre si se quieren alcanzar estándares mínimos para un uso acorde a las exigencias del debido proceso: hay que exigirlos con claridad a las empresas desarrolladoras, fijándoles reglas claras de funcionamiento (entre ellas, las vinculadas al manejo de los datos personales de los usuarios) para respetar su dignidad y derechos en todo momento, incluso una vez finalizado el proceso. Uno de los grandes peligros de un mal modelo de IA empleado en un proceso judicial es que se alimente de datos recogidos al azar y con correlaciones espurias, reforzado por desigualdades institucionales (O’Neil, 2017,33), contaminado por ruido (variabilidad no deseada) y por sesgos cognitivos. Asimismo, la falta de gobernanza institucional, así como los sesgos de los arquitectos o programadores de sistemas de IA, pueden poner en peligro la independencia judicial y la imparcialidad (Marcazzolo y Walker, 2023,75-96).

Al respecto, debe tenerse presente que los sistemas de IA operan en base a modelos matemáticos, que simplifican una realidad siempre es más compleja, variable y dinámica que lo computado en dichos modelos. A pesar de su tradicional reputación de imparcialidad, los modelos sí reflejan objetivos e ideologías, como también los sesgos presentes en los datos y en la mente de los programadores.

Previo a incorporar IA en el proceso judicial, es necesario fijar con claridad qué clase de procedimientos e instituciones resultan más apropiados para su utilización. La aplicación de tecnologías —entre ellas, las de IA— no opera siempre de la misma forma ni con la misma intensidad de efectos en diversos ámbitos del proceso. En tal sentido, es preciso diferenciar los distintos tipos de tecnologías, desde las menos intensas en sus efectos a las más invasivas y de potencial atropello a los derechos de los justiciables, de existir un uso inadecuado.

Así, existen las tecnologías de ayuda, orientadas para brindar apoyo y consejo; las tecnologías de reemplazo, en que las máquinas sustituyen tareas tradicionalmente efectuadas por humanos, y, finalmente, encontramos las tecnologías disruptivas, que producen cambios en el modo de operar de los tribunales (Gómez, 2023,46).

En la actualidad, la oferta de servicios y aplicaciones es enorme y siempre habrá propuestas de programas y dispositivos, pero la incorporación de aquellos debe ir de la mano del atento examen sobre el objetivo y el problema que viene a solucionar. También de la cuantificación del impacto que efectivamente se produciría en el proceso, del costo económico y humano que demandaría su implementación y de la accesibilidad del ciudadano. Asimismo, deberían existir auditorías y evaluaciones (Tanco, 2022; 45,55) acerca de cómo esa aplicación ha modificado los estándares de eficacia y eficiencia. En el ámbito de los procesos judiciales, la práctica debería ir en sentido contrario a lo que ha ocurrido en la contratación: deberían ser las empresas desarrolladoras de tecnologías quienes deban “aceptar los términos y condiciones” del debido proceso.