A plataforma foi concebida para controlar a que um agente pode aceder e isolá-lo em milissegundos se ultrapassar esses limites, segundo o fabricante norte-americano de chips.
Lança a Nvidia uma plataforma de segurança para agentes de inteligência artificial (IA) que já está a ser usada ou desenvolvida por mais de 100 organizações, incluindo a Anthropic, a SpaceXAI e a JPMorganChase.
PUBLICIDADE
PUBLICIDADE
Designada Nvidia Open Agent Safety Platform, a solução foi criada para definir limites ao que os agentes podem aceder e colocá-los em “quarentena” em milissegundos se ultrapassarem esses limites, segundo um anúncio (fonte em inglês) da fabricante norte-americana de chips.
Pode ser utilizada em sistemas de software, hardware, computação e robótica que executam agentes.
“O extraordinário potencial da IA para a sociedade só será alcançado se resolvermos a segurança da IA”, afirmou Jensen Huang, presidente executivo e fundador da Nvidia.
“À medida que continuamos a explorar a fronteira das capacidades da IA, temos de acelerar a descoberta na fronteira da segurança da IA… Em conjunto, podemos elevar o nível da segurança global da IA.”
A plataforma Nvidia Open Agent Safety assenta em duas ferramentas, o OpenShell e o Sentry.
O OpenShell é executado em unidades centrais de processamento (CPU), os chips que tratam muitas das tarefas necessárias para operar agentes de IA. A Nvidia afirma que funciona de forma eficiente no Vera, o seu mais recente CPU concebido para agentes de IA, e pode também ser adaptado a chips de outros fabricantes.
O Sentry é um sistema adicional de “vigilância” que corre num chip Nvidia separado, monitorizando agentes que consigam ultrapassar os controlos do software.
Segundo a Nvidia, as organizações que colaboram com a empresa estão a utilizar ou a desenvolver a tecnologia de formas diferentes.
A Anthropic trabalhou com a Nvidia para acrescentar controlos de segurança ao seu serviço Claude, que permite às empresas operarem agentes de IA, possibilitando às empresas limitar o que esses agentes podem aceder.
A divisão de IA da SpaceX, a SpaceXAI, afirma que está a usar a plataforma para agentes de programação Cursor e modelos Grok, enquanto a Salesforce integrou o OpenShell com o Slack para que as equipas possam ver o que os agentes estão a fazer e aprovar ou rejeitar pedidos de permissões adicionais.
Na área financeira, a JPMorganChase e a Citi estão a colaborar com a Nvidia no desenvolvimento conjunto de tecnologia de segurança de agentes em código aberto.
Empresas de IA pedem salvaguardas mais robustas
O anúncio surge numa altura de pedidos crescentes por salvaguardas mais fortes em torno dos agentes de IA.
Em julho, a OpenAI admitiu que um dos seus modelos explorou uma falha oculta para escapar a um teste controlado e invadir os servidores da Hugging Face.
Entretanto, a Anthropic revelou que o seu modelo de IA conseguiu piratear os sistemas de três organizações durante a fase de testes.
Segundo a Nvidia, estes incidentes demonstram que os agentes conseguem contornar os controlos de segurança integrados numa aplicação quando tentam concluir as tarefas atribuídas e que “a segurança e a proteção exigem engenharia de toda a pilha tecnológica”.