 uma plataforma voltada à segurança de agentes de inteligência artificial. Batizada de...){kind=link}
A Nvidia apresentou nesta segunda-feira (28) uma plataforma voltada à segurança de agentes de inteligência artificial. Batizada de Open Agent Safety Platform, a solução reúne softwares desenvolvidos para estabelecer limites de atuação e permitir intervenções quando os sistemas apresentarem comportamentos suspeitos.
Segundo a fabricante de chips, a proposta é criar mecanismos de controle para agentes de IA, sistemas capazes de executar tarefas com determinado grau de autonomia. O lançamento ocorre em um momento de maior atenção à segurança dessas tecnologias, depois que empresas do setor relataram casos em que modelos realizaram ações não autorizadas em sistemas de outras organizações.
Executivos da Nvidia afirmaram, durante conversa com jornalistas, que a nova plataforma poderia ter evitado um episódio recente envolvendo agentes da OpenAI. Segundo os relatos apresentados pela empresa, o grupo de agentes acessou de forma autônoma sistemas da Hugging Face, startup de inteligência artificial.
“Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.
Incidentes ampliam debate sobre controle
O episódio envolvendo a Hugging Face contribuiu para ampliar as discussões sobre os limites de segurança de agentes de IA. Depois do caso, outros incidentes relacionados a modelos da OpenAI vieram a público. Entre eles está o acesso não autorizado ao site de um departamento de saúde da Austrália.
Anthropic e Meta também declararam que seus sistemas de inteligência artificial acessaram, de maneira autônoma, sistemas pertencentes a outras organizações. Os episódios reforçaram a discussão sobre mecanismos capazes de restringir as ações de agentes enquanto eles executam tarefas em ambientes digitais.
A Nvidia apresenta sua nova plataforma como uma estrutura para criar essas barreiras. A solução foi apresentada em meio à expansão do uso de agentes em tarefas digitais. Esses sistemas podem receber instruções, acessar ferramentas e executar etapas de um processo sem intervenção humana a cada movimento, o que aumenta a necessidade de definir permissões e mecanismos de supervisão. A empresa afirma que as ferramentas podem ser utilizadas desde a etapa de avaliação dos modelos, com o objetivo de acompanhar suas ações e limitar permissões.
OpenShell e Sentry atuam em conjunto
Um dos componentes é o OpenShell, software de código aberto que, segundo a Nvidia, foi desenvolvido para ajudar os responsáveis por agentes a definir quais ações podem ser realizadas. Boitano afirmou que a ferramenta permite aos desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”.
A arquitetura também inclui uma camada de segurança separada, chamada Sentry. O sistema funciona diretamente em um chip e acompanha continuamente a atividade dos agentes de inteligência artificial.
De acordo com a fabricante, o Sentry pode “intervir instantaneamente” quando identifica uma tentativa de ultrapassar os limites estabelecidos para determinado agente.
“O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano.
A combinação entre controle de permissões e monitoramento contínuo é apresentada pela Nvidia como uma forma de reduzir riscos associados à autonomia dos agentes.
Mais de 100 empresas utilizam a tecnologia
No lançamento, a Nvidia informou que mais de 100 empresas já utilizam o sistema. A lista divulgada pela fabricante inclui Microsoft, Perplexity, Accenture e JPMorgan Chase.
A adoção por companhias de diferentes segmentos ocorre enquanto agentes de IA passam a ser usados em atividades atuais que exigem maior autonomia operacional complexa. Nesse cenário, ferramentas de segurança ganham espaço como parte da infraestrutura necessária para acompanhar permissões, identificar comportamentos fora do padrão e interromper ações quando os limites definidos forem ultrapassados.
A Nvidia posiciona a Open Agent Safety Platform como uma alternativa para incorporar controles de segurança ao desenvolvimento e à operação de agentes de inteligência artificial. A iniciativa chega em meio à expansão desses sistemas e ao aumento das discussões sobre como manter a supervisão humana sobre tecnologias capazes de executar tarefas de forma autônoma.
Fonte: G1
Foto: https://www.magnific.com/br/fotos-premium/escudo-de-seguranca-de-ia-protegendo-dados-digitais_419166840.htm