Nadella pide un "freno de emergencia" para la IA

El CEO de Microsoft, Satya Nadella, publicó el sábado un extenso mensaje en X sobre cómo mejorar la seguridad de los sistemas de inteligencia artificial, sumándose a una serie de directivos del sector que vienen expresando preocupaciones similares.

Según escribió, es momento de "dar un paso atrás y repensar la arquitectura de confianza" de la IA. Nadella utilizó el término "superinteligencia", la expresión que prefiere usar la administración de Donald Trump para referirse a estos sistemas avanzados.

La propuesta de Nadella

El directivo sostuvo que no se puede tratar a estos sistemas como "cajas negras anidadas" cuyas recomendaciones, respuestas y acciones simplemente se aceptan o se rechazan sin más control.

Según su planteo, esto implica:

• Separar el modelo de la estructura ("harness") que organiza y coordina su trabajo.
• Externalizar los controles y las medidas de seguridad, en lugar de dejarlos dentro del propio sistema.
• Documentar "toda acción relevante" del modelo con evidencia a prueba de manipulaciones y legible para humanos.
• Garantizar que una persona autorizada pueda pausar o apagar un modelo en cualquier momento, incluso en medio de una tarea en curso.

"Debemos asumir que un modelo está comprometido y contenerlo desde el principio", escribió Nadella. "Pensarlo como un freno de emergencia."

El contexto del planteo

Las declaraciones de Nadella se dan en un momento en que las principales empresas de inteligencia artificial reconocen cada vez más incidentes en los que perdieron el control sobre sus propios modelos.

El mensaje también llega después de que Dario Amodei, CEO de Anthropic, publicara un plan propio orientado a un desarrollo más cauteloso de la IA.