California capitol building dome with US and state flags

Photo by trekandshoot/iStock

commentary

Un debate acalorado en California ofrece lecciones para la gobernabilidad de la seguridad de IA

La ley expuso divisiones dentro de la comunidad de IA, pero los proponentes de las regulaciones de seguridad pueden tomar en cuenta las lecciones de la SB 1047 y por consiguiente diseñar sus esfuerzos futuros.

Published on 8 de octubre de 2024

A finales de agosto, la legislación de California realizó una proeza que ha eludido al Congreso de los EEUU: aprobar una ley bipartidista diseñada para garantizar el desarrollo de seguridad de modelos de inteligencia artificial (IA) avanzados. Esta legislación, Ley del Senado (SB) 1047, buscaba regular las tecnologías de vanguardia emergentes de una industria cercanamente vinculada a California la cual recauda ahora cientos de miles de millones de dólares en inversión y promete dar una nueva forma al trabajo, cuidado de salud, seguridad nacional e incluso tareas rutinarias de la vida diaria.

El 29 de septiembre, el gobernador Gavin Newsom vetó la ley. Su decisión, luego de un intenso debate que expone vacíos entre los investigadores de IA, compañías de tecnología y formuladores de política, fue seguida de cerca por líderes alrededor del mundo. En su mensaje de veto, aunque Newsom afirmó su apoyo por los objetivos de seguridad de la ley, anunciando un nuevo esfuerzo por elaborar protecciones para la implementación de la IA y comprometiéndose a continuar trabajando con la legislación, finalmente concluyó que era necesario un enfoque distinto.

El problema que la ley buscó tratar, por lo menos en principio, fue directamente: que la próxima generación de modelos de vanguardia puede beneficiar a millones de personas.  Sin embargo, también eran el riesgo de un grave daño a los 49 millones de residentes de California y personas alrededor del mundo.  Por ejemplo, existen preocupaciones de que pudiesen armarse para atacar infraestructura crítica o crear armas biológicas o cibernéticas.  Muchas compañías han acordado voluntariamente comprobar sus modelos antes de lanzarlos al mercado para así reducir estos riesgos.  Pero ninguna ley las obliga a hacerlo.  

Nada dentro del mensaje de veto del Gobernador niega que la SB 1047 fue un intento serio y estructurado para formalizar la supervisión de una gobernabilidad obligatoria en torno a los más poderosos sistemas de IA futuros, aquellos simplemente más allá del horizonte de los modelos representativos de hoy en día como, por ejemplo, el GPT-4 de OpenAI, Gemini de Google y Llama 3.2 de Meta.  La ley hubiese exigido que los desarrollistas de modelos cubiertos publiquen e implementen protocolos de protección y seguridad escritos, hagan esfuerzos por impedir un mal uso y tomen un “cuidado razonable” para evitar causar o permitir daños catastróficos como, por ejemplo, la creación de armas químicas o biológicas, ciberataques a infraestructura crítica o eventos con un gran número de víctimas.  Además hubiese requerido que los desarrollistas de modelos de vanguardia desarrollen una “capacidad de desactivación” que les permita desactivar modelos dentro de su control en caso de que se materializaran estos daños.

Estos mecanismos de gobernabilidad pueden sonar procesales, pero nos dicen que han dado a lugar un debate político acalorado durante la introducción, evolución y desaparición de la ley.  

Los opositores argumentaron que la ley estaba basada en fantasías alarmistas.  Advirtieron que limitaría la competitividad de los EEUU y California, devastaría el ecosistema abierto del cual dependen pequeños desarrollistas y un sinnúmero de innovaciones y que incluso impediría el desarrollo de los métodos de seguridad de la IA.  Además, afirmaban, que se inmiscuiría en las responsabilidades de seguridad nacional del gobierno federal, invitando a un laberinto de reglas estatales superpuestas sin resolver problemas más realistas y de corto plazo, incluyendo, desinformación, discriminación y desplazamiento laboral.

Los defensores argumentaban que al ordenar la gobernabilidad básica, como, por ejemplo, pruebas y planificación de seguridad, la ley estaba formalizando meramente los compromisos voluntarios ya acordados por la mayoría de desarrollistas, incluyendo los compromisos acordados con la Casa Blanca en 2023 y un marco de trabajo anunciado en la Cumbre de IA de Seúl en 2024.  Notaron que la norma de “cuidado razonable” de la ley hacía eco de la ley existente, promoviendo la seguridad en una industria en donde “moverse rápido y romper cosas” pudiera tener consecuencias inimaginables.  Las preocupaciones acerca del código abierto, que contendían, se han resuelto sustancialmente por las enmiendas a la ley entre su introducción en febrero y su aprobación por la legislación en agosto.  Otras leyes podrían tratar otros riesgos.  Los defensores argumentaron, de manera más urgente, que la ley era una respuesta dirigida y necesaria a amenazas muy reales.  La desarrollista de IA Anthropic, advirtió por ejemplo, que su “trabajo con los expertos en biodefensa, ciberexpertos y otros demuestra una tendencia hacia la posibilidad de graves mal usos en los próximos años, quizás tan pronto como en 1 a 3 años.”

Un esfuerzo legislativo de vanguardia en torno a la tecnología que cautive la imaginación pública hubiese sido suficiente para de la ley una noticia nacional.  Sin embargo, el papel único de California tanto en innovación tecnológica como en liderazgo político fue un complemento a la importancia de la ley.  Tal como lo destacaba el mensaje de veto del gobernador, el estado es el hogar de la mayoría de las firmas líderes de IA del mundo.  Además, la elaboración de políticas de California en una serie de cuestiones, incluyendo las emisiones de carbono, privacidad digital y política social, tiene un largo historial de afectación al panorama nacional.

Mientras tanto, en los últimos años California y muchos otros estados han sido reguladores de tecnologías cada vez más asertivos, tensionando sus amplios poderes para tener un control en los abusos percibidos del sector tecnológico.  Ya sea a nivel federal o estatal, parece probable que continúe el ardiente debate en cuanto a la gobernabilidad de la IA.

Dado esto, podemos llevarnos lecciones importantes de la experiencia de California.

Primero, la SB 1047 fue con frecuencia proyectada como una compensación de suma cero entre la innovación y la regulación.  Pero el tema central es realmente un balance complementario entre la innovación y seguridad, ambos por la mejora de la humanidad. Igualmente, los defensores y opositores por lo general compartieron estos objetivos, difiriendo en la probabilidad e inminencia de varios daños.  Aunque algo de desacuerdo es razonable, un debate futuro se beneficiaría de una mayor transparencia y claridad en torno a este equilibrio central.  Esta regulación opositora debe ser explícita en cuanto a la gravedad, probabilidad e inminencia de los daños que ellos esperan que podrían resultar del uso o mal uso de los modelos y sus derivados.  Los proponentes deben aclarar si y qué tan lejos están preparados para responsabilizar o limitar el desarrollo de modelos y su uso.

Segundo, los esfuerzos futuros deben conservar el enfoque de “confiar pero verificar” de la ley SB 1047. Los californianos reportan una mezcla de preocupación y optimismo resguardado en torno a los impactos de la tecnología, incluyendo en cuanto a los avances científicos, cuidados de salud y educación.  Llenar sus esperanzas por la IA requerirá permitir que las compañías privadas tengan la libertad para desarrollar, refinar y reafirmar.  Será muy importante inculcar una cultura interna y generalizada de desarrollo responsable, al igual que lo hecho la sociedad durante muchos años en campos tan variados como la investigación médica, ingeniería automotriz y educación.  Los compromisos voluntarios son pasos que van en la dirección correcta.  Sin embargo, la gobernabilidad de la seguridad no puede dejarse en su totalidad a criterio de la industria privada.  Establecer una línea de base obligatoria, con obligaciones limitantes de transparencia y diligencia, facilita la experimentación permitiendo al mismo tiempo a los formuladores de políticas, investigadores externos y a la misma sociedad entender y contribuir a las decisiones de manejo de riesgos que nos afectan a todos.

Tercero, una mayor concientización de la ley existente pudiese enriquecer y contextualizar los debates futuros.  Bajo un cuerpo de leyes establecido y amplio, el derecho por daños común, los desarrollistas de IA ya deben asumir el debido cuidado en que sus productos no causen un daño a otros.  En particular, la SB 1047, según su enmienda durante el proceso legislativo para incorporar este requisito muy usado de “cuidado razonable”, no hubiese impuesto un estándar completamente nuevo como para aclarar los pasos necesarios de conformidad con la ley de California para cumplir con un estándar existente.

Es cierto que la ley hubiese ampliado la autoridad del estado, permitiendo a California asegurar que las compañías asuman costos y medidas cautelares si se rehusasen a poner a prueba modelos avanzados.  Por ahora, el statu quo seguirá siendo los derechos por daño comunes, anticipando la opinión privada una responsabilidad retrospectiva.  Con este marco, los debates futuros deben concentrarse menos en si imponer o no una responsabilidad y en su lugar centrarse en cómo desarrollar estándares y prácticas para cumplir con estas obligaciones legales existentes. .

Cuarto, la SB 1047 incluyó ideas, menos centrales al debate, que pudiesen ayudar en este esfuerzo.  Por ejemplo, la ley hubiese exigido auditorías anuales por terceros para evaluar los controles de seguridad y protección de los desarrollistas de IA, así como también declaraciones de cumplimiento anuales.  Los críticos argumentaron que esto calcificaría prematuramente el campo emergente de la seguridad de IA, suspendiendo la responsabilidad sobre mejores prácticas que no existen.  Sin embargo, una evaluación independiente para asegurar la precisión de las revelaciones de los desarrollistas y la eficacia de los controles básicos de seguridad y protección pudiese promover la evolución de estándares flexibles, aclarar las obligaciones del derecho por daños existentes para los desarrollistas y aumentar la confianza del público a medida que la IA se introduzca a un uso cada vez más amplio.

La regulación es parte de un ecosistema de innovación saludable.  La SB 1047 se convirtió en un pararrayos en parte debido a que su encarnación inicial incluyó estipulaciones presuntamente extrañas, como, por ejemplo, penalidades por perjurio y utilizó un lenguaje legal comparativamente poco familiar posiblemente con impactos de largo alcance sobre el ecosistema de modelo abierto.  Aunque las divisiones de la ley expuestas dentro de la comunidad de IA persisten, los proponentes pragmáticos de regulaciones de seguridad pueden hacer avances prestando atención a las lecciones de la SB 1047 y por consiguiente diseñar sus esfuerzos futuros.

Carnegie does not take institutional positions on public policy issues; the views represented herein are those of the author(s) and do not necessarily reflect the views of Carnegie, its staff, or its trustees.