Basta 250 Documentos para Envenenar Sua IA

Principais pontos: Um estudo conjunto da Anthropic, do UK AI Security Institute e do Alan Turing Institute descobriu que apenas 250 documentos maliciosos podem comprometer um LLM, independentemente do tamanho do modelo. Veja o que isso significa para sua organização e como se defender.

A data poisoning, a manipulação deliberada de dados de treinamento de IA, tem sido um risco conhecido em machine learning há mais de uma década. Pesquisadores demonstraram-na pela primeira vez contra filtros de spam e support vector machines no início dos anos 2010. Mas um estudo conjunto publicado em outubro de 2025 pela Anthropic, pelo UK AI Security Institute e pelo Alan Turing Institute deu à ameaça um peso maior. Apenas 250 documentos maliciosos podem criar um backdoor em um large language model.

Os pesquisadores testaram isso em modelos que variam de 600 milhões a 13 bilhões de parâmetros. Um modelo de 13 bilhões de parâmetros, treinado com mais de 20 vezes mais dados do que um modelo menor, foi comprometido por apenas 250 documentos, ou 0,00016% do total de tokens de treinamento. O ataque foi bem-sucedido em todas as escalas testadas. Pesquisas anteriores presumiam que os atacantes precisariam controlar uma porcentagem dos dados de treinamento, o que significava que modelos maiores, treinados com mais dados, seriam naturalmente mais difíceis de envenenar. Essa suposição está errada. O que importa é a contagem absoluta de documentos envenenados, não sua proporção.

O que os modelos envenenados podem realmente fazer

O estudo da Anthropic testou um backdoor específico de "denial-of-service", onde os modelos foram treinados para produzir informações sem sentido ao encontrar uma frase gatilho. O ataque provou o conceito, e um crescente corpo de pesquisa mostra como o envenenamento mais sofisticado se manifesta na prática. Um estudo publicado na Nature Medicine no início de 2025 descobriu que a substituição de apenas 0,001% dos tokens de treinamento por desinformação médica produziu modelos significativamente mais propensos a propagar erros médicos. Os modelos envenenados igualaram seus equivalentes "limpos" em todos os benchmarks padrão. Os clínicos não conseguiam distinguir as saídas envenenadas das limpas.

Separadamente, pesquisadores demonstraram que dados de fine-tuning envenenados podem fazer com que modelos de geração de código insiram vulnerabilidades de segurança, como falhas de cross-site scripting, quando acionados por uma condição específica. Em um incidente documentado na cadeia de suprimentos, aproximadamente 100 modelos envenenados foram carregados na plataforma Hugging Face, onde poderiam injetar código malicioso em qualquer sistema downstream que os incorporasse. E em 2024–2025, pesquisadores mostraram que até mesmo descrições de ferramentas em frameworks de agentes poderiam conter instruções de backdoor ocultas que os agentes LLM seguiriam obedientemente.

Uma década de sinais de alerta

A data poisoning tem uma linhagem de pesquisa que remonta a 2008, quando Nelson et al. demonstraram que filtros de spam poderiam ser manipulados por meio de inputs de treinamento adversariais. O artigo BadNets de 2017 formalizou os ataques de backdoor contra redes neurais. Em 2018, o Google estava relatando múltiplas tentativas em larga escala de envenenar o classificador de spam do Gmail. O que mudou em 2024 e 2025 foi a transição da demonstração acadêmica para a ameaça prática. A OWASP adicionou a data poisoning ao seu Top 10 para aplicações LLM. A primeira pesquisa abrangente sobre data poisoning em deep learning foi publicada. E o estudo da Anthropic forneceu a maior evidência empírica em larga escala até o momento de que a barreira para um ataque bem-sucedido é muito menor do que o campo havia assumido.

O problema dos dados públicos

A maioria das empresas de IA constrói seus modelos extraindo grandes quantidades de texto da internet pública, o que transforma o pipeline de treinamento em uma superfície de ataque aberta. Qualquer pessoa pode publicar conteúdo online. Quanto mais fontes um dataset utiliza, mais difícil se torna verificar a integridade de cada uma. A exposição vai além do pre-training. O envenenamento pode atingir todas as etapas do ciclo de vida do LLM: fine-tuning em datasets de terceiros, pipelines de retrieval-augmented generation que extraem dados da web em tempo real e integrações de ferramentas das quais os sistemas de IA agentic dependem. Domínios expirados anteriormente confiáveis pelos pipelines de treinamento podem ser comprados e repovoados com conteúdo envenenado.

Uma defesa em camadas

Não há uma solução única para a data poisoning. A defesa mais eficaz é em camadas, incluindo dados controlados, filtragem rigorosa e testes contínuos.

Controle seu pipeline de dados

O passo mais impactante é fechar o "scrape" da web aberta. Ao fazer fine-tuning de modelos em dados proprietários e verificados, em vez de ingerir conteúdo de sites aleatórios, você remove o caminho de comprometimento mais fácil e obtém visibilidade total sobre o que entra em seus conjuntos de treinamento. A maioria das organizações começa com um foundation model pré-treinado, o que significa que elas herdaram o que existe nos dados de treinamento do modelo base. Mas o fine-tuning, o retrieval e a implantação estão sob seu controle, e é aí que os dados e casos de uso específicos de sua organização estão mais expostos.

Filtre e deduplique

A filtragem automatizada em qualquer pipeline de treinamento ou fine-tuning começa com a deduplicação para detectar rajadas quase duplicadas de conteúdo suspeito, seguida por verificações de qualidade baseadas em classificadores e detecção de anomalias para distribuições de tokens incomuns ou padrões repetidos semelhantes a gatilhos. A análise de assinatura espectral, publicada pela primeira vez no NeurIPS em 2018 e refinada em trabalhos subsequentes, pode detectar as anomalias estatísticas que as amostras envenenadas deixam nas ativações do modelo. O agrupamento de ativações e a síntese de gatilhos no estilo Neural Cleanse fornecem defesas automatizadas complementares. Técnicas de treinamento robustas como gradient clipping, regularização e fine-tuning contrastivo podem amortecer as associações de gatilhos durante o processo de treinamento.

Teste e monitore

Gatilhos de "canary", frases de teste plantadas deliberadamente e avaliações de holdout podem revelar comportamentos de backdoor emergentes antes que um modelo chegue à produção. Camadas de segurança pós-treinamento, incluindo RLHF e filtros de política, devem ser testadas especificamente contra cenários de ativação de gatilhos para garantir que não regridam sob condições adversariais. O AI red teaming, a tentativa deliberada de envenenar e acionar seus próprios modelos, complementa os guardrails de tempo de execução que monitoram as saídas em busca de comportamento anômalo em produção.

O requisito de computação

Cada camada desta defesa, desde a curadoria e filtragem de dados até o fine-tuning e o red teaming, exige um poder computacional sério. Para organizações em setores regulamentados ou que lidam com propriedade intelectual sensível, a computação precisa permanecer on-premises. As workstations Dell Pro Max equipadas com GPUs NVIDIA RTX PRO são construídas para esta classe de workload. As GPUs NVIDIA RTX PRO Blackwell Generation oferecem suporte nativo para TensorFlow, PyTorch, RAPIDS e toda a pilha de software NVIDIA AI, permitindo treinamento, inferência e o trabalho de pipeline de dados totalmente acelerados por GPU.

Para equipes que fazem fine-tuning de modelos em datasets proprietários, a Dell Pro Max Tower T2 com NVIDIA RTX PRO 6000 Blackwell Workstation Edition oferece 96GB de VRAM de GPU, suficiente para fine-tuning local de modelos de até 30–40 bilhões de parâmetros. Organizações focadas em workflows de IA podem utilizar a Dell Pro Max com GB10, equipada com o NVIDIA Grace Blackwell Superchip, que lida com modelos de até 200 bilhões de parâmetros localmente. O trabalho realizado nas workstations Dell Pro Max se integra ao ecossistema Dell AI Factory com NVIDIA, para que as equipes possam passar do desenvolvimento local para a implantação multi-node sem atritos de compatibilidade. Para organizações em finanças, saúde, jurídico, defesa e governo, onde as exigências de conformidade requerem computação on-premises, esta é a infraestrutura que mantém os dados de treinamento sensíveis sob controle organizacional direto, ao mesmo tempo em que oferece o desempenho que o desenvolvimento seguro de IA exige.

O caminho a seguir

O estudo da Anthropic deixou uma coisa inequívoca: a barreira para envenenar um LLM é menor do que qualquer um no campo havia assumido. Para empresas que incorporam IA em seus produtos e processos, a resposta não é uma única contramedida, mas uma disciplina em camadas de pipelines de dados controlados, filtragem rigorosa, testes contínuos e infraestrutura própria. As organizações que tratam a integridade dos dados como um problema de engenharia de primeira classe, e não como uma reflexão tardia, serão aquelas cujos modelos podem ser confiáveis.

Saiba mais sobre como as workstations Dell Pro Max e as soluções NVIDIA RTX PRO impulsionam o desenvolvimento seguro de IA on-premises.

Sobre o Autor: Logan Lawler Logan trabalhou em várias funções na Dell por 16 anos, incluindo vendas, marketing, merchandising, serviços e e-commerce. Antes de ingressar na Dell, Logan cresceu no Missouri e se formou na University of Missouri (MIZ!). Logan mora em Round Rock com sua esposa Ally, sua filha Calloway e seu labradoodle Truman.