Mostrando artículos por etiqueta: Anthropic

jornada.com

Nueva York. El director ejecutivo y cofundador de Anthropic, Dario Amodei, hizo un llamado este sábado a que las empresas de inteligencia artificial (IA) avancen de manera más lenta y cautelosa en el desarrollo de esta poderosa tecnología ante los crecientes temores sobre su uso indebido, y esbozó un marco de tres pasos destinado a establecer el ritmo del desarrollo.

"Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos", escribió Amodei en un artículo publicado en X.

Su ensayo se produce después de que Anthropic publicó el jueves un informe de inteligencia sobre amenazas en el que se detallaba cómo varios actores habían utilizado sus modelos de IA "Claude" para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude.

La alarma sobre el daño potencial de la IA aumentó esta semana cuando el investigador de Anthropic Jacob Coxon dimitió afirmando que "las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década".

Amodei aclaró que no estaba pidiendo que se detuviera el entrenamiento de los modelos ni el progreso técnico, sino que se garantizara que las empresas se tomaran el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.

Tres pasos

Como parte del marco de tres pasos que propone, Amodei afirmó que Anthropic incorporaría evaluadores externos permanentes en el seno de las empresas punteras de IA, con acceso a las herramientas pertinentes y a los procesos internos de evaluación de riesgos.

Reuters informó la semana pasada que un enjambre de agentes rebeldes de OpenAI secuestró una página web alemana y la transformó en un tablón de anuncios para otros agentes de IA, mientras los responsables del desarrollador de ChatGPT mantenían el incidente en secreto, ya que los ejecutivos se enfrentaban a las repercusiones de la brecha de seguridad de julio en el repositorio de código abierto Hugging Face.

Numerosos incidentes en los que agentes de IA de desarrolladores como OpenAI —rival de Anthropic— han vulnerado o intentado acceder a sistemas externos han agravado la preocupación por la creciente capacidad de los modelos de IA y la capacidad de los desarrolladores para controlarlos.

Amodei dijo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, ya que un número cada vez mayor de legisladores estadunidenses está pidiendo nuevas normas que regulen los sistemas de IA.

Según Anthropic, la orden de evitar su acceso fuera de Estados Unidos o por parte de extranjeros dentro del país llegó durante la tarde de este viernes

oem.com

Anthropic anunció este viernes que suspendía el acceso público a sus modelos de inteligencia artificial más avanzados Fable 5 y Mythos 5 para poder cumplir con una directiva de control de exportaciones de la Administración de Donald Trump que le obligaba a impedir el acceso de este nuevo servicio a personas extranjeras por motivos de seguridad nacional.

Según Anthropic, la orden de evitar su acceso fuera de Estados Unidos o por parte de extranjeros dentro del país llegó durante la tarde de hoy y para poder cumplir con la directiva de última hora han optado por cortar todo acceso a Fable 5 y Mythos 5 a todos sus clientes.

Anthropic pide pausar desarrollo de la IA

En un comunicado difundido este viernes, Anthropic dijo que el gobierno estadounidense no le ha provisto de los detalles específicos por los que sus nuevos servicios de inteligencia artificial son un problema de seguridad nacional y pidió disculpas a sus clientes de pago por la interrupción.

"Como hemos dicho públicamente, creemos que el Gobierno debe tener la capacidad de bloquear desarrollos inseguros como parte de un proceso transparente, justo, claro y basado en hechos técnicos. Esta acción no se adhiere a esos principios", aseguró la compañía.

La suspensión se produjo pocos días después de que Anthropic pusiera a disposición de sus suscriptores del servicio Claude el modelo Fable 5, presentado como el más avanzado en diversos test de habilidades y considerado muy superior a sus modelos Opus.

Fable estaba basado en el controvertido modelo Mythos. Sobre el que Anthropic alertó en abril que tenía capacidades que ponían en riesgo la impenetrabilidad de los sistemas más avanzados en ciberseguridad en sectores sensibles como el financiero.

Anthropic facilitó al gobierno estadounidense y a empresas analizar Mythos antes de su salida pública para determinar vulnerabilidades en sus sistemas y cómo podía afectar a la seguridad y estos Fable 5 contenía salvaguardas y restricciones para evitar su uso indebido, según la empresa estadounidense.

Aunque Anthropic aseguró que no publicaría su modelo Mythos, lo ha puesto a disposición de una lista muy selecta de empresas dentro de la iniciativa de ciberseguridad Project Glasswing.