La IA podría representar una amenaza existencial, advierte jefe de seguridad de Anthropic

Un ingeniero británico de Anthropic ha decidido renunciar recientemente, alegando que tanto esta empresa como OpenAI, creadora de ChatGPT, no están manejando su desarrollo de manera responsable y están poniendo en riesgo nuestras vidas.

Evan Hubinger, investigador y jefe de seguridad en Anthropic, respaldó las afirmaciones del ingeniero Jacob Coxon a través de su cuenta en X, indicando que realmente existe una preocupación genuina de que la IA podría aniquilar a la humanidad. Según sus estimaciones, la probabilidad de que eso ocurra en la próxima década podría ser incluso mayor al 10%.

A pesar de reconocer esta inquietante posibilidad, Hubinger consideró que el peligro que presentan los modelos de IA actuales es relativamente bajo. Sin embargo, subrayó la urgencia de abordar la cuestión de la superinteligencia, la cual podría desarrollarse a un ritmo más acelerado de lo que se anticipaba, gracias a su capacidad de automejoramiento.

Hubinger también comentó que Anthropic no cuenta con un plan definido para alinear una superinteligencia, lo que significa que no se ha encontrado una solución para asegurar que los sistemas de IA compartan los mismos valores que sus creadores.

Por su parte, Jacob Coxon, quien ha trabajado en el desarrollo de modelos como GPT-4 y GPT-4.5, expresó en un hilo de su cuenta que los avances en IA podrían llevar a que, para finales de esta década, estos sistemas se conviertan en amenazas serias, ya que “no hay actividad humana que suponga este nivel de riesgo”.

Coxon sugirió que tanto OpenAI como Anthropic son conscientes de estos desafíos, aunque considera que hay una diferencia clave: OpenAI podría no entender completamente los retos a nivel civilizacional, mientras que Anthropic sí los reconoce, pero se encuentra atrapada en una carrera por la innovación.

El ingeniero abogó por una coordinación entre los diferentes proyectos de IA y sus respectivas empresas para mitigar riesgos, sugiriendo incluso la implementación de una moratoria temporal que limite mejoras en las capacidades de los modelos, además de instar a sus colegas a reflexionar profundamente sobre sus acciones.

Coxon no es el único que ha abandonado el sector en los últimos tiempos por preocupaciones sobre la IA. Geoffrey Hinton, laureado con el Nobel de Física, dejó Google en 2023 para poder criticar sin restricciones los peligros que representa esta tecnología. Asimismo, un grupo de exempleados de OpenAI expresó su inquietud en una carta abierta, destacando la falta de legislación que proteja a los denunciantes sobre el desarrollo acelerado de la IA.