• Research
  • Emissary
  • About
  • Experts
Carnegie Global logoCarnegie lettermark logo
Democracy
  • Donar
{
  "authors": [
    "Scott Kohler",
    "Ian Klaus"
  ],
  "type": "commentary",
  "centerAffiliationAll": "",
  "centers": [
    "Carnegie Endowment for International Peace"
  ],
  "collections": [
    "Artificial Intelligence",
    "Emerging AI Policy",
    "Violence and Conflict",
    "Tech in Context"
  ],
  "englishNewsletterAll": "",
  "nonEnglishNewsletterAll": "",
  "primaryCenter": "Carnegie Endowment for International Peace",
  "programAffiliation": "",
  "programs": [
    "Carnegie California"
  ],
  "projects": [],
  "regions": [
    "United States"
  ],
  "topics": [
    "AI",
    "Technology",
    "Subnational Affairs"
  ]
}
California capitol building dome with US and state flags

Photo by trekandshoot/iStock

Comentario

Un debate acalorado en California ofrece lecciones para la gobernabilidad de la seguridad de IA

La ley expuso divisiones dentro de la comunidad de IA, pero los proponentes de las regulaciones de seguridad pueden tomar en cuenta las lecciones de la SB 1047 y por consiguiente diseñar sus esfuerzos futuros.

Link Copied
Por Scott Kohler y Ian Klaus
Publicado el 8 oct 2024
Program mobile hero image

Programa

Carnegie California

Carnegie California explora el papel que juegan las regiones subnacionales como participantes mundiales, así como también los desafíos interrelacionados con Asia, tecnología, migración, democracia y cambio climático que se manifiestan en una de las regiones más importantes del mundo, el Oeste Americano.

Más información

A finales de agosto, la legislación de California realizó una proeza que ha eludido al Congreso de los EEUU: aprobar una ley bipartidista diseñada para garantizar el desarrollo de seguridad de modelos de inteligencia artificial (IA) avanzados. Esta legislación, Ley del Senado (SB) 1047, buscaba regular las tecnologías de vanguardia emergentes de una industria cercanamente vinculada a California la cual recauda ahora cientos de miles de millones de dólares en inversión y promete dar una nueva forma al trabajo, cuidado de salud, seguridad nacional e incluso tareas rutinarias de la vida diaria.

El 29 de septiembre, el gobernador Gavin Newsom vetó la ley. Su decisión, luego de un intenso debate que expone vacíos entre los investigadores de IA, compañías de tecnología y formuladores de política, fue seguida de cerca por líderes alrededor del mundo. En su mensaje de veto, aunque Newsom afirmó su apoyo por los objetivos de seguridad de la ley, anunciando un nuevo esfuerzo por elaborar protecciones para la implementación de la IA y comprometiéndose a continuar trabajando con la legislación, finalmente concluyó que era necesario un enfoque distinto.

El problema que la ley buscó tratar, por lo menos en principio, fue directamente: que la próxima generación de modelos de vanguardia puede beneficiar a millones de personas.  Sin embargo, también eran el riesgo de un grave daño a los 49 millones de residentes de California y personas alrededor del mundo.  Por ejemplo, existen preocupaciones de que pudiesen armarse para atacar infraestructura crítica o crear armas biológicas o cibernéticas.  Muchas compañías han acordado voluntariamente comprobar sus modelos antes de lanzarlos al mercado para así reducir estos riesgos.  Pero ninguna ley las obliga a hacerlo.  

Nada dentro del mensaje de veto del Gobernador niega que la SB 1047 fue un intento serio y estructurado para formalizar la supervisión de una gobernabilidad obligatoria en torno a los más poderosos sistemas de IA futuros, aquellos simplemente más allá del horizonte de los modelos representativos de hoy en día como, por ejemplo, el GPT-4 de OpenAI, Gemini de Google y Llama 3.2 de Meta.  La ley hubiese exigido que los desarrollistas de modelos cubiertos publiquen e implementen protocolos de protección y seguridad escritos, hagan esfuerzos por impedir un mal uso y tomen un “cuidado razonable” para evitar causar o permitir daños catastróficos como, por ejemplo, la creación de armas químicas o biológicas, ciberataques a infraestructura crítica o eventos con un gran número de víctimas.  Además hubiese requerido que los desarrollistas de modelos de vanguardia desarrollen una “capacidad de desactivación” que les permita desactivar modelos dentro de su control en caso de que se materializaran estos daños.

Estos mecanismos de gobernabilidad pueden sonar procesales, pero nos dicen que han dado a lugar un debate político acalorado durante la introducción, evolución y desaparición de la ley.  

Los opositores argumentaron que la ley estaba basada en fantasías alarmistas.  Advirtieron que limitaría la competitividad de los EEUU y California, devastaría el ecosistema abierto del cual dependen pequeños desarrollistas y un sinnúmero de innovaciones y que incluso impediría el desarrollo de los métodos de seguridad de la IA.  Además, afirmaban, que se inmiscuiría en las responsabilidades de seguridad nacional del gobierno federal, invitando a un laberinto de reglas estatales superpuestas sin resolver problemas más realistas y de corto plazo, incluyendo, desinformación, discriminación y desplazamiento laboral.

Los defensores argumentaban que al ordenar la gobernabilidad básica, como, por ejemplo, pruebas y planificación de seguridad, la ley estaba formalizando meramente los compromisos voluntarios ya acordados por la mayoría de desarrollistas, incluyendo los compromisos acordados con la Casa Blanca en 2023 y un marco de trabajo anunciado en la Cumbre de IA de Seúl en 2024.  Notaron que la norma de “cuidado razonable” de la ley hacía eco de la ley existente, promoviendo la seguridad en una industria en donde “moverse rápido y romper cosas” pudiera tener consecuencias inimaginables.  Las preocupaciones acerca del código abierto, que contendían, se han resuelto sustancialmente por las enmiendas a la ley entre su introducción en febrero y su aprobación por la legislación en agosto.  Otras leyes podrían tratar otros riesgos.  Los defensores argumentaron, de manera más urgente, que la ley era una respuesta dirigida y necesaria a amenazas muy reales.  La desarrollista de IA Anthropic, advirtió por ejemplo, que su “trabajo con los expertos en biodefensa, ciberexpertos y otros demuestra una tendencia hacia la posibilidad de graves mal usos en los próximos años, quizás tan pronto como en 1 a 3 años.”

Un esfuerzo legislativo de vanguardia en torno a la tecnología que cautive la imaginación pública hubiese sido suficiente para de la ley una noticia nacional.  Sin embargo, el papel único de California tanto en innovación tecnológica como en liderazgo político fue un complemento a la importancia de la ley.  Tal como lo destacaba el mensaje de veto del gobernador, el estado es el hogar de la mayoría de las firmas líderes de IA del mundo.  Además, la elaboración de políticas de California en una serie de cuestiones, incluyendo las emisiones de carbono, privacidad digital y política social, tiene un largo historial de afectación al panorama nacional.

Mientras tanto, en los últimos años California y muchos otros estados han sido reguladores de tecnologías cada vez más asertivos, tensionando sus amplios poderes para tener un control en los abusos percibidos del sector tecnológico.  Ya sea a nivel federal o estatal, parece probable que continúe el ardiente debate en cuanto a la gobernabilidad de la IA.

Dado esto, podemos llevarnos lecciones importantes de la experiencia de California.

Primero, la SB 1047 fue con frecuencia proyectada como una compensación de suma cero entre la innovación y la regulación.  Pero el tema central es realmente un balance complementario entre la innovación y seguridad, ambos por la mejora de la humanidad. Igualmente, los defensores y opositores por lo general compartieron estos objetivos, difiriendo en la probabilidad e inminencia de varios daños.  Aunque algo de desacuerdo es razonable, un debate futuro se beneficiaría de una mayor transparencia y claridad en torno a este equilibrio central.  Esta regulación opositora debe ser explícita en cuanto a la gravedad, probabilidad e inminencia de los daños que ellos esperan que podrían resultar del uso o mal uso de los modelos y sus derivados.  Los proponentes deben aclarar si y qué tan lejos están preparados para responsabilizar o limitar el desarrollo de modelos y su uso.

Segundo, los esfuerzos futuros deben conservar el enfoque de “confiar pero verificar” de la ley SB 1047. Los californianos reportan una mezcla de preocupación y optimismo resguardado en torno a los impactos de la tecnología, incluyendo en cuanto a los avances científicos, cuidados de salud y educación.  Llenar sus esperanzas por la IA requerirá permitir que las compañías privadas tengan la libertad para desarrollar, refinar y reafirmar.  Será muy importante inculcar una cultura interna y generalizada de desarrollo responsable, al igual que lo hecho la sociedad durante muchos años en campos tan variados como la investigación médica, ingeniería automotriz y educación.  Los compromisos voluntarios son pasos que van en la dirección correcta.  Sin embargo, la gobernabilidad de la seguridad no puede dejarse en su totalidad a criterio de la industria privada.  Establecer una línea de base obligatoria, con obligaciones limitantes de transparencia y diligencia, facilita la experimentación permitiendo al mismo tiempo a los formuladores de políticas, investigadores externos y a la misma sociedad entender y contribuir a las decisiones de manejo de riesgos que nos afectan a todos.

Tercero, una mayor concientización de la ley existente pudiese enriquecer y contextualizar los debates futuros.  Bajo un cuerpo de leyes establecido y amplio, el derecho por daños común, los desarrollistas de IA ya deben asumir el debido cuidado en que sus productos no causen un daño a otros.  En particular, la SB 1047, según su enmienda durante el proceso legislativo para incorporar este requisito muy usado de “cuidado razonable”, no hubiese impuesto un estándar completamente nuevo como para aclarar los pasos necesarios de conformidad con la ley de California para cumplir con un estándar existente.

Es cierto que la ley hubiese ampliado la autoridad del estado, permitiendo a California asegurar que las compañías asuman costos y medidas cautelares si se rehusasen a poner a prueba modelos avanzados.  Por ahora, el statu quo seguirá siendo los derechos por daño comunes, anticipando la opinión privada una responsabilidad retrospectiva.  Con este marco, los debates futuros deben concentrarse menos en si imponer o no una responsabilidad y en su lugar centrarse en cómo desarrollar estándares y prácticas para cumplir con estas obligaciones legales existentes. .

Cuarto, la SB 1047 incluyó ideas, menos centrales al debate, que pudiesen ayudar en este esfuerzo.  Por ejemplo, la ley hubiese exigido auditorías anuales por terceros para evaluar los controles de seguridad y protección de los desarrollistas de IA, así como también declaraciones de cumplimiento anuales.  Los críticos argumentaron que esto calcificaría prematuramente el campo emergente de la seguridad de IA, suspendiendo la responsabilidad sobre mejores prácticas que no existen.  Sin embargo, una evaluación independiente para asegurar la precisión de las revelaciones de los desarrollistas y la eficacia de los controles básicos de seguridad y protección pudiese promover la evolución de estándares flexibles, aclarar las obligaciones del derecho por daños existentes para los desarrollistas y aumentar la confianza del público a medida que la IA se introduzca a un uso cada vez más amplio.

La regulación es parte de un ecosistema de innovación saludable.  La SB 1047 se convirtió en un pararrayos en parte debido a que su encarnación inicial incluyó estipulaciones presuntamente extrañas, como, por ejemplo, penalidades por perjurio y utilizó un lenguaje legal comparativamente poco familiar posiblemente con impactos de largo alcance sobre el ecosistema de modelo abierto.  Aunque las divisiones de la ley expuestas dentro de la comunidad de IA persisten, los proponentes pragmáticos de regulaciones de seguridad pueden hacer avances prestando atención a las lecciones de la SB 1047 y por consiguiente diseñar sus esfuerzos futuros.

Autores

Scott Kohler
Académico no residente, Carnegie California
Scott Kohler
Ian Klaus
Director fundador, Carnegie California
Ian Klaus
AITechnologySubnational AffairsUnited States

Carnegie no asume posiciones institucionales sobre asuntos de política pública; las opiniones expresadas aquí son las de los autores y no reflejan necesariamente las de Carnegie, sus empleados o sus fundadores.

Más trabajos de Carnegie Endowment for International Peace

  • Artículo
    Desarrollo de un manejo de riesgos de IA con la misma ambición y urgencia que los productos de la IA

    La IA es una industria que se desarrolla rápidamente en donde el pragmatismo y el dinamismo son clave.  La mejor esperanza puede ser un método que priorice un lanzamiento e iteración iniciales para reducir el riesgo a un ritmo satisfactorio.

      Holden Karnofsky

  • Documento
    Un esquema de las posibles capacidades de alerta de la IA

    Seis posibles capacidades futuras de la IA que podrían merecer una preparación y compromisos previos, para poder evitar riesgos catastróficos.

      Holden Karnofsky

  • Documento
    Estudio de asuntos globales de Carnegie California 2024

    El estudio de asuntos globales de Carnegie California 2024 refleja las mayores inquietudes de los californianos respecto a los continuos conflictos y elecciones críticas, incluyendo en los Estados Unidos. Se presenta en un momento tenso de la democracia americana y durante un año de elecciones críticas para muchas de las democracias líderes del mundo.

      • +1

      Ian Klaus, Mark Baldassare, Marissa Jordan, …

  • Documento
    La sociedad envejecida de Japón como una oportunidad tecnológica

    La demografía extrema de Japón está dando forma a la trayectoria de innovación del país.

      Kenji Kushida

  • Artículo
    Cómo las conexiones entre ciudades californianas y africanas pueden desarrollar una diplomacia en ciudades inteligentes

    Siendo el campo de prueba para diplomacia subnacional, las ciudades de Los Angeles y ciudades africanes pueden aliarse para apalancar la innovación y enfrentar desafíos globales como el cambio climático y la gobernabilidad de tecnologías emergentes.

      Nanjira Sambuli

Obtén más noticias y análisis de
Carnegie Endowment for International Peace
Carnegie global logo, stacked
1779 Massachusetts Avenue NWWashington, DC, 20036-2103Teléfono: 202 483 7600Fax: 202 483 1840
  • Research
  • Emissary
  • About
  • Experts
  • Donate
  • Programs
  • Events
  • Blogs
  • Podcasts
  • Contact
  • Annual Reports
  • Careers
  • Privacy
  • For Media
  • Government Resources
Obtén más noticias y análisis de
Carnegie Endowment for International Peace
© 2026 Carnegie Endowment for International Peace. All rights reserved.