noticias

Guardrails de IA estão criando um ponto cego na cibersegurança e empurrando pesquisadores para modelos sem freio

As barreiras instaladas por empresas como OpenAI e Anthropic para impedir que seus modelos sejam usados em ataques cibernéticos estão produzindo um efeito colateral difícil de ignorar: pesquisadores legítimos, contratados justamente para pensar como invasores, também estão sendo bloqueados. O problema não está na existência das proteções, que são necessárias diante de modelos cada vez mais capazes, mas na tentativa de separar ataque e defesa por meio de classificadores automáticos que enxergam comandos, códigos e comportamentos técnicos sem compreender plenamente a autorização, o ambiente e a finalidade do trabalho.

Na prática, o mesmo procedimento pode representar um crime, um teste autorizado ou a validação de uma correção crítica. Explorar uma falha em um servidor alheio é uma invasão. Reproduzir a mesma falha em um laboratório isolado, com autorização do proprietário, pode ser a única maneira de confirmar se milhares de sistemas estão vulneráveis. Para um filtro automatizado, porém, os dois casos frequentemente parecem idênticos. A inteligência artificial reconhece a técnica ofensiva, mas não consegue verificar com segurança o contrato, o escopo do teste ou a legitimidade de quem está do outro lado da tela.

A discussão ganhou força depois que o TechCrunch ouviu profissionais especializados em encontrar vulnerabilidades desconhecidas, analisar programas compilados e desenvolver provas de conceito para demonstrar que uma falha realmente pode ser explorada. Pesquisadores ligados a empresas como NCC Group, Crowdfense e RemoteThreat relataram bloqueios inconsistentes, respostas excessivamente sanitizadas e um desperdício crescente de tempo tentando convencer o modelo de que a atividade realizada é legítima.

É uma situação curiosa: em vez de investigar o software, o especialista passa parte do expediente negociando com um chatbot.

Segurança ofensiva não é sinônimo de crime

O termo “segurança ofensiva” costuma produzir uma interpretação errada fora do setor. Ele não descreve necessariamente um ataque criminoso, mas uma disciplina que utiliza métodos semelhantes aos de um invasor para descobrir falhas antes que elas sejam exploradas no mundo real. Testes de intrusão, operações de red team, programas de recompensa por bugs e auditorias de aplicativos dependem dessa lógica.

Encontrar uma função insegura no código é apenas o começo. O pesquisador precisa determinar se a falha pode ser alcançada por um atacante, quais condições são necessárias, que tipo de impacto ela permite e se as proteções existentes conseguem interromper a exploração. Sem essa etapa, empresas podem gastar semanas corrigindo um erro irrelevante enquanto uma vulnerabilidade realmente perigosa permanece aberta.

É justamente aí que as IAs mais avançadas poderiam ser úteis. Elas conseguem ler grandes volumes de código, comparar alterações entre versões, interpretar rotinas complexas, sugerir hipóteses e automatizar partes repetitivas da análise. A Anthropic afirma ter usado seus próprios modelos para encontrar centenas de vulnerabilidades de alta gravidade em projetos de código aberto, inclusive problemas que sobreviveram durante anos a testes automatizados tradicionais.

O avanço também aumenta o risco. Um modelo capaz de localizar uma falha difícil pode ajudar uma equipe a corrigi-la, mas pode igualmente ajudar um criminoso a explorá-la. Não existe uma fronteira técnica limpa entre essas duas capacidades. O conhecimento necessário para construir a defesa frequentemente é o mesmo necessário para compreender o ataque.

O classificador identifica a técnica, não a autorização

OpenAI e Anthropic adotaram sistemas que combinam treinamento de segurança, análise automática das solicitações, monitoramento de comportamento e controles de identidade. Determinadas atividades claramente destrutivas, como extorsão digital, roubo de credenciais ou sabotagem, são bloqueadas. Outras ficam em uma categoria mais complicada, chamada de uso dual de alto risco.

Nessa classificação entram tarefas rotineiras de profissionais autorizados: desenvolvimento de provas de conceito, exploração de vulnerabilidades, elevação de privilégios, testes de intrusão, pesquisa sobre falhas de memória e análise de mecanismos de autenticação. São atividades que podem proteger uma infraestrutura ou comprometê-la, dependendo de quem as executa e contra qual alvo.

A Anthropic reconhece explicitamente que o contexto é o elemento que separa o caso legítimo do malicioso. Mesmo assim, seus classificadores bloqueiam por padrão parte dessas solicitações. A empresa também admite trabalhar com uma “margem de segurança” que inclui pedidos benignos, aceitando mais falsos positivos para reduzir a possibilidade de uma atividade perigosa atravessar o filtro.

Essa escolha é compreensível do ponto de vista de uma plataforma que atende milhões de usuários. O problema aparece quando uma política desenhada para o usuário comum passa a governar o trabalho de especialistas. Em cibersegurança, um falso positivo não significa apenas uma resposta inconveniente. Ele pode atrasar a confirmação de uma vulnerabilidade, interromper uma auditoria com prazo limitado ou impedir que uma equipe reproduza uma falha antes da publicação de uma correção.

A OpenAI também reconhece limitações em seus sistemas de monitoramento. Falsos positivos aumentam o volume encaminhado para análise automatizada e humana, criando uma espécie de agulha em um palheiro: quanto mais atividades legítimas são marcadas como suspeitas, mais difícil se torna identificar os agentes realmente maliciosos.

Uma proteção barulhenta demais pode, ironicamente, reduzir a qualidade da própria vigilância.

Os programas de acesso verificado são um avanço incompleto

Para diminuir esse atrito, as empresas criaram programas especiais. A OpenAI opera o Trusted Access for Cyber, enquanto a Anthropic mantém o Cyber Verification Program. Pesquisadores e organizações podem verificar a identidade, explicar a finalidade do trabalho e solicitar acesso a modelos com menos bloqueios para determinadas atividades de uso dual.

O princípio é mais sensato do que simplesmente liberar todas as capacidades. Em vez de confiar apenas na interpretação de cada comando, a plataforma passa a considerar quem está utilizando o sistema, qual organização está envolvida e que histórico aquele usuário possui. Isso permite responsabilização e reduz parte da incerteza.

O modelo, porém, ainda está longe de ser neutro. A aprovação depende dos critérios privados de empresas que controlam tanto a tecnologia quanto a porta de entrada. Pesquisadores independentes, estudantes, profissionais de países com menor representação institucional e pequenas consultorias podem enfrentar mais dificuldades para demonstrar legitimidade do que grandes companhias já conhecidas pelo setor.

Existem ainda custos menos visíveis. No programa da Anthropic, a flexibilização das barreiras exige que a retenção de dados esteja habilitada. Isso cria uma contradição relevante para quem trabalha com vulnerabilidades ainda não divulgadas, propriedade intelectual sensível ou informações de clientes. O pesquisador precisa escolher entre receber um modelo mais permissivo ou preservar uma política mais rígida de confidencialidade.

O acesso também não funciona igualmente em todas as plataformas. Algumas integrações em nuvem ainda não oferecem o programa de verificação, e aplicações de terceiros dependem da participação do fornecedor intermediário. Assim, uma empresa pode ser considerada legítima em uma interface e continuar bloqueada em outra, embora o trabalho e a equipe sejam exatamente os mesmos.

Verificar identidades ajuda, mas não elimina a arbitrariedade dos classificadores nem resolve o problema da privacidade.

A fuga para modelos locais

Quando os grandes serviços recusam uma tarefa, pesquisadores procuram alternativas. Segundo os profissionais ouvidos pelo TechCrunch, isso frequentemente significa recorrer a modelos de código aberto ou pesos abertos, executados em infraestrutura própria e sem os mesmos controles de uso.

A decisão não ocorre apenas porque esses modelos são mais permissivos. Executar a IA localmente reduz o risco de enviar uma vulnerabilidade inédita, um código confidencial ou uma técnica de exploração para servidores externos. No mercado de falhas desconhecidas, a informação é o próprio ativo. Um detalhe vazado antes da correção pode destruir meses de pesquisa e colocar usuários em risco.

Modelos locais também oferecem previsibilidade. Um pesquisador pode repetir a mesma análise amanhã sem descobrir que uma atualização silenciosa alterou o comportamento do filtro. Em trabalhos científicos e auditorias técnicas, essa estabilidade importa. Resultados que mudam conforme a política de moderação do dia são difíceis de reproduzir e ainda mais difíceis de documentar.

O efeito colateral é estratégico. Ao restringirem excessivamente seus próprios sistemas, empresas norte-americanas podem empurrar pesquisadores para modelos estrangeiros, plataformas menores ou versões modificadas que não oferecem monitoramento significativo. O profissional legítimo abandona o ambiente regulado, enquanto o agente malicioso provavelmente já pretendia utilizar uma ferramenta sem restrições desde o começo.

Nesse cenário, o guardrail funciona melhor contra quem aceita obedecê-lo.

Isso não significa que modelos abertos sejam necessariamente irresponsáveis ou que sistemas fechados sejam automaticamente seguros. A diferença está no controle. Uma ferramenta executada localmente oferece autonomia e confidencialidade, mas transfere para o usuário toda a responsabilidade pelo uso. Um serviço em nuvem pode aplicar monitoramento, suspender contas e investigar abusos, mas também se torna uma autoridade privada capaz de decidir quais pesquisas são aceitáveis.

A concentração de poder quase não entra na conversa

A disputa costuma ser apresentada como um equilíbrio técnico entre liberdade e segurança, mas existe uma questão política por trás dela. OpenAI, Anthropic e outras empresas estão começando a definir, por meio de políticas internas e classificadores proprietários, os limites operacionais de uma área que afeta governos, empresas, universidades e infraestrutura crítica.

Essas companhias não estão apenas vendendo ferramentas. Elas estão estabelecendo quem pode acessar determinadas capacidades, quais instituições são consideradas confiáveis, que dados precisam ser retidos e quais métodos de pesquisa podem ser realizados. Em pouco tempo, uma parte importante da investigação de vulnerabilidades pode depender da aprovação de laboratórios privados de IA.

Isso favorece organizações grandes, capazes de manter contratos empresariais, equipes jurídicas e canais diretos com os fornecedores. O pesquisador independente que descobre uma falha relevante em um projeto aberto pode receber uma recusa automática justamente quando mais precisa da ferramenta. A grande empresa, por sua vez, pode obter uma versão especializada, suporte dedicado e limites mais flexíveis.

O resultado seria uma cibersegurança em duas velocidades: modelos avançados e permissivos para instituições aprovadas; versões cautelosas e imprevisíveis para todos os demais. A concentração não reduziria apenas o acesso à tecnologia. Também determinaria quem consegue investigar sistemas complexos com velocidade suficiente para competir.

Retirar todas as barreiras seria uma solução pior

A crítica dos pesquisadores não deve ser confundida com uma defesa da liberação irrestrita. Modelos atuais já conseguem automatizar partes relevantes da análise de vulnerabilidades, e sua capacidade de operar durante longos períodos está aumentando. Uma ferramenta capaz de testar milhares de sistemas, adaptar tentativas e combinar falhas pode ampliar tanto a defesa quanto a escala dos ataques.

Remover os controles indiscriminadamente entregaria capacidades avançadas a grupos criminosos que não possuem hoje conhecimento técnico suficiente para desenvolver determinadas operações. O risco não está apenas em especialistas ficarem mais produtivos, mas em reduzir a experiência necessária para executar campanhas perigosas.

A solução mais plausível é abandonar a ideia de um bloqueio binário. Em vez de responder apenas “permitido” ou “proibido”, as plataformas precisam avaliar ambiente, autorização, identidade, histórico, destino da ação e nível de autonomia concedido ao modelo. Testes em laboratórios isolados deveriam receber tratamento diferente de operações contra endereços públicos. Análise de código fornecido pelo próprio cliente não pode ser classificada da mesma forma que a tentativa de comprometer um sistema externo.

Também será necessário oferecer mecanismos reais de recurso, registros claros das decisões e ambientes específicos para pesquisa. Um pesquisador não deveria precisar reformular repetidamente uma solicitação até encontrar palavras que acalmem o classificador. Isso transforma segurança em teatro semântico: a técnica continua a mesma, mas a autorização passa a depender de como o pedido foi escrito.

O defensor não pode trabalhar permanentemente em desvantagem

A indústria ainda possui uma janela em que modelos avançados parecem contribuir mais para encontrar e corrigir vulnerabilidades do que para executar ataques autônomos completos contra alvos bem protegidos. Essa vantagem pode não durar. À medida que os agentes ganham capacidade de planejamento, uso de ferramentas e persistência, o intervalo entre a descoberta de uma falha e sua exploração tende a diminuir.

Nesse ambiente, bloquear pesquisadores legítimos não torna o ecossistema automaticamente mais seguro. Pode apenas atrasar quem tenta corrigir o problema, enquanto atacantes utilizam modelos modificados, ferramentas tradicionais ou serviços sem fiscalização. Guardrails continuarão necessários, mas precisam proteger o sistema sem transformar o defensor no único participante obrigado a lutar com uma mão amarrada.

A ironia é que as empresas de IA já compreenderam o problema técnico. Seus próprios documentos reconhecem os falsos positivos, a natureza dual da cibersegurança e a dificuldade de determinar intenção. O que ainda falta é transformar esse reconhecimento em um modelo de acesso que não dependa tanto de filtros opacos, relações comerciais ou confiança institucional prévia.

A próxima fase da segurança digital não será definida apenas por qual inteligência artificial encontra mais vulnerabilidades. Será definida por quem recebe permissão para utilizá-la, sob quais condições e com quanto poder de contestar uma decisão automática. Caso esse equilíbrio seja mal construído, os guardrails poderão impedir alguns ataques — mas também deixar falhas abertas por mais tempo, afastar pesquisadores responsáveis e consolidar nas mãos de poucas empresas o controle sobre quem pode investigar os defeitos da infraestrutura digital.

👉 Dúvida? Então veja mais em: https://pixbugtech.com/linksuteis