Semáforo UOL: Atención
Anthropic y OpenAI discuten cuánto control tendrán sobre los informes de quienes revisan sus modelos, un dato útil para las empresas que eligen herramientas de IA.
Anthropic y OpenAI buscaron un control significativo sobre lo que pueden publicar los evaluadores externos de sus modelos de IA, según una exclusiva de Reuters del 13 de octubre basada en dos fuentes que pidieron no ser identificadas. Las empresas temen que esos informes revelen secretos comerciales. No se trata de una investigación de un regulador: es una negociación entre los laboratorios y las firmas que auditan sus sistemas.
Qué se está negociando
Un evaluador externo es una organización independiente que prueba un modelo de IA para encontrar fallas de seguridad que el propio desarrollador puede pasar por alto. Algunos trabajan «embebidos», es decir, dentro de las oficinas del laboratorio.
Según Reuters, sobre la mesa hay medidas como estas:
- que empleados del laboratorio observen el trabajo de los equipos embebidos;
- que un evaluador instalado en un laboratorio no pueda trabajar al mismo tiempo para otro;
- reglas sobre qué información puede retenerse o tacharse antes de publicar.
Una de las fuentes indicó que hasta el 5 de octubre ambas compañías pedían un control editorial estricto, y que hacia el 8 de octubre las conversaciones de Anthropic con algunos evaluadores parecían haber cambiado. El contraste es claro: en septiembre, Dario Amodei, director ejecutivo de Anthropic, había dicho que los evaluadores debían poder publicar sus hallazgos principales sin control editorial, y OpenAI se sumó días después hablando de «independencia editorial».
Las dos empresas respondieron. Anthropic sostuvo que la descripción no refleja todas sus conversaciones: con los evaluadores con los que ya trabajó, estos controlan métodos, criterios, conclusiones y publicación; con los nuevos, se reserva el derecho de comentar y aprobar los informes mientras aprenden cómo funcionan sus modelos. OpenAI afirmó que no busca aprobar el texto completo de los informes, que su práctica es quitar información confidencial y que los evaluadores pueden indicar cuándo hubo recortes importantes.
Por qué importa en Uruguay
Una PyME uruguaya no audita modelos de IA, pero sí elige asistentes, chatbots o agentes basados en ellos. Los informes independientes son una de las pocas referencias externas para saber cómo se comporta una herramienta. Si el laboratorio decide qué se publica, esa referencia pierde peso. Expertos citados por Reuters advierten que, sin estándares comunes ni legislación sobre estas revisiones, las empresas que desarrollan los modelos podrían fijar cómo se las examina.
Corresponde aclarar un interés: el contenido de UOL se elabora con asistencia de herramientas de IA, entre ellas las de Anthropic. Por eso conviene leer esta noticia con el mismo criterio que proponemos al lector. Sobre cómo prueba Anthropic sus agentes, puede ver también esta nota previa.
En concreto: un informe de seguridad vale tanto como la independencia de quien lo firma.
Qué puede hacer su empresa
- Al evaluar una herramienta, pregunte qué revisiones externas tuvo el modelo que usa y quién las hizo.
- Verifique si el informe indica que hubo partes retenidas o tachadas.
- No tome un informe externo como garantía: pruebe la herramienta con casos propios antes de darle datos sensibles.
Un ejemplo hipotético: un estudio contable de Montevideo evalúa un asistente para resumir documentos de clientes. Antes de contratarlo, pide al proveedor los informes de evaluación disponibles, anota si mencionan recortes y prueba el asistente durante dos semanas con documentos ficticios.
Fuentes:
- Infobae: OpenAI y Anthropic aceptan auditorías, pero buscan decidir qué se publica
- Reuters (vía The Star): Behind AI industry’s call for independent reviews, a fight over what gets made public
- UOL: Agentes de IA, Anthropic corta internet en todas sus evaluaciones
Por Sofía Rivero
Deja una respuesta