Anthropic propone una ley para bloquear modelos de IA peligrosos

Anthropic presentó un borrador de ley sobre seguridad en inteligencia artificial para que el Congreso de Estados Unidos lo analice. El texto propone bloquear la distribución de un modelo cuando exista un riesgo "previsible e inminente" para la población.

El umbral que fija el proyecto es la posible muerte de más de 50 personas o daños materiales por más de mil millones de dólares. Según el borrador, ese riesgo catastrófico debe provenir de la creación o liberación de un arma biológica, de que el modelo evada los controles de su desarrollador o de un ciberataque.

Evaluadores independientes y 72 horas

El mecanismo que plantea la iniciativa se apoya en evaluadores independientes registrados ante el Departamento de Comercio de Estados Unidos. Esos evaluadores podrían ser pagados por los propios laboratorios de IA, siempre que el pago no dependa del resultado de la evaluación.

El borrador no explica cómo se garantizaría que esos pagos no influyan en el dictamen. Cuando los evaluadores determinen que existe un riesgo catastrófico inminente, tendrían 72 horas para informar al Departamento de Comercio. Ese organismo debería pedirle a un juez de Washington que frene la salida del modelo.

La ley prohibiría expresamente que cualquier agencia federal decida por su cuenta bloquear la distribución de un modelo.

Los umbrales de 50 muertes y mil millones de dólares son similares a los de la ley californiana SB 53, aprobada hace poco, que definió esos escenarios como riesgo catastrófico.

Una propuesta dentro de la industria

Un vocero de Anthropic confirmó el borrador y lo enmarcó en el Advanced AI Framework de la empresa, que la compañía viene promoviendo ante legisladores federales y estatales desde junio.

La propuesta va algo más lejos que otras surgidas del sector. El CEO de Nvidia, Jensen Huang, sostuvo hace poco que la industria de la IA no necesita leyes nuevas.

Los riesgos que describe el texto están lejos de los incidentes que más preocupan a la industria en los últimos tiempos. El foco principal está en el hackeo con agentes autónomos: una serie de casos en los que programas de IA habrían desobedecido a sus operadores y atacado sitios web en internet, lo que encendió las alarmas sobre los controles de seguridad de los modelos.