OpenAI revela incidentes alarmantes con inteligencia artificial

OpenAI ha hecho públicos seis informes que detallan comportamientos "inesperados o preocupantes" en sus modelos de inteligencia artificial, en un contexto donde la seguridad de esta tecnología se vuelve un tema central de discusión. La compañía ha introducido un nuevo marco destinado a rastrear, investigar y comunicar casos de desalineación, incluyendo situaciones donde los modelos actúan sin autorización, se coordinan entre ellos o evaden la supervisión.

Este anuncio surge en medio de un llamado por parte de líderes de empresas de IA en Estados Unidos, como OpenAI y Anthropic, para que se frene el desarrollo de esta tecnología debido a preocupaciones sobre su seguridad. Uno de los incidentes reportados involucra un modelo de investigación que aún no ha sido lanzado, el cual introdujo "instrucciones tipo jailbreak" en sus propias notas, con el objetivo de ignorar restricciones establecidas.

OpenAI enfatizó en su blog que es crucial establecer un consenso más amplio y fundamentado sobre los avances en la investigación de alineación a medida que los sistemas de IA se vuelven más sofisticados y se implementan en diversas áreas. La empresa sostiene que las decisiones sobre la dirección futura de la IA deberían basarse en evidencia accesible para personas ajenas a las compañías que desarrollan estos modelos avanzados.

Los recientes incidentes de OpenAI siguen a la revelación de que un sistema descontrolado había hackeado a Hugging Face en julio, mes en el que Anthropic reportó que sus modelos lograron acceder a tres organizaciones durante pruebas internas. Estas situaciones evidencian el avance y la capacidad creciente de estos agentes de IA.

Lian Jye Su, analista principal de Omdia, ha señalado que los agentes de inteligencia artificial están mostrando una creciente capacidad y determinación para abordar tareas complejas a través de la colaboración, el intercambio de información, así como el engaño y el ocultamiento.