El CEO de Microsoft pidió que la IA avanzada se pueda pausar en plena tarea y deje registro de lo que hace: una guía útil para cualquier empresa que ya use agentes.
Satya Nadella, CEO de Microsoft, propuso en X que los sistemas de IA más avanzados tengan un mecanismo para que una persona autorizada los pause o los apague mientras están trabajando. Lo llamó un «freno de emergencia». No dio plazos ni compromisos para aplicarlo en los productos de Microsoft.
Qué propuso
Según CNBC, citado por Infobae, la propuesta tiene varias piezas. La primera es separar el modelo, que es el motor que genera las respuestas, del sistema que coordina sus acciones, y poner los controles de seguridad afuera del modelo. La segunda es dejar constancia de cada acción relevante en un registro que una persona pueda leer y que no se pueda alterar. La tercera es que siempre haya alguien con autoridad para frenar una tarea en curso. Y la cuarta, asumir desde el principio que un modelo puede estar comprometido.
Nadella sumó lo que llamó principios de observabilidad: usar modelos diversos, probar el sistema de forma continua, tener controles independientes y auditados, y reportar los incidentes de manera obligatoria. Propone tratar a los modelos de IA, abiertos o cerrados, como un riesgo interno más, igual que hace la ciberseguridad corporativa con cualquier sistema.
Microsoft anunció además que publicará un código de conducta para sus modelos propios, los MAI, y que lo someterá a consulta pública. No dio fecha.
Por qué importa en Uruguay
Nadella habla de los sistemas más potentes, pero la lógica escala hacia abajo. Un agente de IA no solo responde preguntas: manda correos, mueve archivos o carga datos por su cuenta. Cuanto más hace solo, más importa poder ver qué hizo y cortarlo a tiempo.
El contexto no es teórico. Según TechCrunch, varias empresas de IA reconocieron episodios en los que perdieron el control de sus propios modelos. En concreto: si no podés auditar un agente ni detenerlo, no le des acceso a los datos de tu empresa.
Qué podés hacer
Un ejemplo hipotético: una inmobiliaria de Punta del Este que usa un agente para responder consultas y agendar visitas. Siguiendo estas ideas, pediría que cada respuesta y cada cita queden registradas, que ningún precio o condición se confirme sin que lo vea una persona y que alguien del equipo sepa cómo apagar el agente si se equivoca.
Para el lunes:
- Hacé la lista de las herramientas de IA que actúan solas en tu empresa, no solo las que contestan.
- Preguntale a cada proveedor si guarda un registro de acciones, si lo podés consultar y cómo se frena una tarea.
- Nombrá a una persona responsable de pararlo.
- Evitá que todo lo estratégico dependa de un solo proveedor de modelos.
Fuentes:
Por Sofía Rivero
Relacionado: Capacitación en IA
Deja una respuesta