La compra de cosas, formalmente conocidas como compras públicas, puede ser una de las herramientas regulatorias más efectivas de la IA (inteligencia artificial) por parte del gobierno.

Cada año, el gobierno federal compra casi siete mil millones de dólares en bienes y servicios de contratistas externos, concediendo así una tremenda influencia sobre los proveedores. Las compras representan un impulsor importante de la actividad económica en los Estados Unidos y un vehículo, y uno que a veces pasa desapercibido, para lograr importantes objetivos políticos en todos los niveles de gobierno. Tal como se destacó en un documento reciente por Carnegie California, los marcos de trabajo regulatorio a nivel nacional y niveles locales subestiman el potencial significativo de las compras para establecer pautas en torno a la IA para el bien público. En medio de un panorama de IA emergente y en evolución, los gobiernos de California están transformando esta función tradicionalmente mundana en un apalancamiento estratégico para promover una transparencia y responsabilidad mayores por parte de los proveedores de IA.

CÓMO FUNCIONAN LAS COMPRAS

El proceso de compras puede adoptar muchas formas, pero, por lo general se inicia cuando una agencia gubernamental identifica la necesidad de un bien o servicio. A menudo los gobiernos adquieren soluciones de IA para mejorar la prestación de servicios (como, por ejemplo, chatbots para consultas del público) o garantizar la seguridad pública (como, por ejemplo, manejo de tráfico). Dependiendo del escenario de las compras, la agencia puede emitir una solicitud de propuestas (RFP) y buscar respuestas de compañías hasta una fecha de cierre, en cuyo momento puede celebrar un contrato con el ofertante ganador. En otros casos, puede que la agencia no emita una RFP y en su lugar emita una solicitud de compras de “fuente única”, en la cual solo el proveedor identificado puede proveer del producto o servicio deseado.

Las compañías que busquen ganar el contrato con una agencia deben cumplir con los estándares de calidad básicos exigidos por la ley, adicional a los requisitos de seguridad y desempeño específicos al contexto indicados en la RFP o propuestas de adquisición de una fuente única. Independientemente del tipo de adquisición en cuestión, a medida que las agencias comienzan a incorporar los requisitos de IA responsable al proceso de adquisición, ha surgido la necesidad de una mayor responsabilidad del proveedor y un refinamiento de los requisitos de proveedores.

RESPONSABILIDAD DEL PROVEEDOR

El proceso de adquisición pública permite que las agencias establezcan estándares y requisitos para posibles proveedores. Durante la adquisición, los gobiernos pueden señalar los requisitos que promuevan una IA responsable, incluyendo una definición de los estándares en torno a la supervisión pública, parcialidad algorítmica y auditoría de los sistemas de IA.

Al establecer los requisitos de compras para los proveedores de IA, las agencias han encontrado un desafío en común: la dificultad de aplicar la responsabilidad del proveedor. Cuando un proveedor es responsable de sus sistemas de IA, es transparente respecto a las capacidades y limitaciones del sistema, asume responsabilidad de los resultados y trabaja para remediar los errores. En particular en lo que respecta a transparencia en torno a los sistemas de IA, las agencias se han encontrado con éxito variable en lo que los proveedores…

…desean exponer. Según la experiencia de una agencia al adquirir software de traducción accionado por IA, un vendedor afirmó que la métrica de precisión de la traducción era propietaria y que no se podía compartir. Esto causó una tensión entre la agencia y el proveedor potencial, ya que la tarea de la agencia era evaluar el desempeño del sistema de IA sobre una base comparativa durante una oferta competitiva contra otros proveedores.

¿A QUÉ SE ASEMEJA LA RESPONSABILIDAD?

La elaboración de una política subnacional de la IA se da a lugar en el contexto del marcos de trabajo y regulaciones que se están desarrollando en muchos otros niveles, incluyendo a nivel nacional e internacional. Los gobiernos nacionales están debatiendo sobre temas de riesgo catastrófico y seguridad nacional, mientras que los gobiernos subnacionales tienden a debatir en cuanto a las interacciones del día a día con la IA.

Dentro de este contexto, los gobiernos subnacionales están siendo pioneros de procesos innovadores para la adquisición de una IA responsable en el sector público. Take the GovAI Coalition (coalición para asumir gobiernos de IA): guiada por la ciudad de San José, la coalición es una asociación entre más de 150 agencias locales, del condado y estatales para crear nuevos marcos de trabajo y prácticas para poner a prueba casos de usos municipales para una IA responsable. (Declaración: uno de los autores trabaja para San José en IA). Este mes, la coalición GovAI lanzó un conjunto de modelos de políticas que cualquier agencia puede utilizar para desarrollar su programa de regulación de IA. De estos documentos de políticas, dos son críticos para reformar el espacio de adquisición de IA: El Informe de IA y las cláusulas contractuales estándar para los sistemas de IA.

El informe de IA tiene previsto, ser completado por el proveedor durante el proceso de adquisición, captura detalles técnicos respecto a un sistema de IA dado. Estos detalles incluyen “información de nutrición de IA”, como, por ejemplo, capacitación e información de pruebas, métricas de desempeño, parcialidad algorítmica, entradas y salidas. Estos detalles comunican información importante acerca de la precisión de un sistema, qué tipo de información compila y produce el sistema, y quién podría ser afectado de manera desproporcionada por el uso del sistema. Entender las capacidades, fortalezas y debilidades de un sistema de IA a través de la información de nutrición permite que una agencia determine si el sistema es técnicamente capaz y contextualmente apropiado para su caso de uso.

Aunque las agencias ya habían experimentado antes dificultades para obtener esta información de proveedores, si la hoja de información se adopta en todas las jurisdicciones locales, promoverá una mayor transparencia de los sistemas de IA en una manera estandarizada que beneficie tanto a las agencias como a los proveedores. Las agencias tendrán la información técnica que necesiten y los proveedores pueden ahorrar tiempo utilizando un solo documento para muchos clientes.

Los compromisos voluntarios son importantes, pero no suficientes. Para formalizar la hoja de información de IA y fomentar una mayor responsabilidad de toda la industria, la coalición GovAI emitió cláusulas contractuales estándar que delinean un conjunto de estándares y requisitos. El documento hace la función de un adendum legal a los acuerdos de compras definitivos para adquisiciones que involucren un sistema de IA. Por ejemplo, a través del adendum legal, se exigirá que un proveedor complete y mantenga una versión precisa de la hoja de información de IA para su sistema de IA, ofrecerá a la agencia una explicación de cómo el sistema de IA genera resultados y demuestra que la parcialidad se maneja de manera efectiva. Al contratar con un miembro de la coalición del GovAI, se exigirá que un proveedor se sujete a estas normas y otras según se establezca en las cláusulas contractuales estándar. Esta formalización de estándares de IA responsables por agencias públicas motivará a los desarrollistas a desarrollar sistemas de IA con una mayor responsabilidad y permitir que las agencias tomen decisiones informadas en la aplicación de sistemas de IA a los casos de uso apropiados.

COMPRAS PÚBLICAS COMO UN MEDIO LOGRAR LA RESPONSABILIDAD

Con un presupuesto de trescientos diez mil ochocientos millones de dólares, el estado de California reconoce sus actividades de compras como un apalancamiento altamente influyente de políticas de incentivos a la demanda. La orden ejecutiva de California sobre IA ordena a algunas agencias y centros estatales reformar las compras del sector público de modo que las agencias consideren los usos, riesgos y capacitación necesarios para mejorar las compras de IA. Se aplica lo mismo a coaliciones geográficamente estratégicas de gobiernos locales que tienen la habilidad de escalar rápidamente y compartir recursos. El valor de adquisiciones públicas significa que estas entidades subnacionales pueden apalancar su poder de compras para mover mercados emergentes en maneras que beneficien al bien público.

Dos condiciones de mercado surgen por la adquisición pública de IA. Primero, las firmas no pueden vender productos distintos a distintas jurisdicciones. Las compañías de tecnología no quieren que los sistemas de IA para California difieran sustancialmente de aquellos utilizados en New York o Texas, mucho menos los estándares para Los Angeles y San Francisco. Segundo, las agencias estatales y locales comprenden una base de clientes importante para las compañías de IA. Estas condiciones de mercado incentivan a todas las partes a tener un conjunto de estándares de compras en común entre las varias jurisdicciones. Además, las firmas que dependen bastante en las agencias estatales y locales como clientes sentirán la presión de asegurar que sus productos y servicios cumplan con las especificaciones establecidas por estas agencias. Las entidades públicas deben utilizar este apalancamiento para asegurar estándares de compras amigables para el consumidor para exigir una transparencia y responsabilidades de los proveedores a través de sus procesos de compras públicas.

QUÉ SIGUE DESPUÉS

California ha emergido como el epicentro de la innovación subnacional en regulación de IA. La legislación del estado de California tiene aproximadamente treinta leyes pendientes que se enfocan en la regulación de IA en este estado, incluyendo una ley reciente introducida por el Senador Scott Wiener que exige una prueba de seguridad obligatoria previa a la implementación. Aunque muchas de las leyes en sí se encuentran en su fase inicial, muchas de las propuestas de políticas incorporadas en las mismas se están llevando a la práctica por las agencias, ciudades y coaliciones estatales. A falta de pautas nacionales claras, los estándares de California imponen, a través de una orden ejecutiva y grupos estatales y locales como, por ejemplo, la coalición GovAI, tienen el potencial de convertirse de hecho en los estándares nacionales o incluso globales debido al gran poder de compra del estado. Aunque aún está en sus fases iniciales, la hoja de información de la coalición de GovIA y cláusulas contractuales estándar para los sistemas de IA comprenden un conjunto prometedero de medidas de compras que promoverán una IA responsable. En conjunto, la transformación de compras dirigida por California puede ser un vehículo poderoso para la responsabilidad de proveedores quitando la carga a las agencias públicas e imponiéndola a las compañías que desarrollan y venden los sistemas de IA.

Carnegie no asume posiciones institucionales en cuanto a temas de política pública; las perspectivas representadas en el presente son aquellas del(los) autor(es) y no reflejan necesariamente las perspectivas de Carnegie, su personal o sus fiduciarios.