EPRI: IA Local para Pesquisa em Energia

Aqui está a tradução do artigo técnico para português brasileiro:

Principais pontos: A EPRI utiliza o Dell Pro Max com NVIDIA GB10 para executar fluxos de trabalho de IA personalizados localmente, ajudando a proteger dados sensíveis e acelerando a pesquisa sem comprometer a segurança.

A inteligência artificial está rapidamente se tornando uma ferramenta crítica para organizações que atuam na intersecção de infraestrutura, segurança e confiança pública. No setor de energia e em instituições de pesquisa como a EPRI, a adoção da IA apresenta desafios únicos. A sensibilidade dos dados, os requisitos regulatórios e a necessidade de um raciocínio aprofundado no domínio tornam as abordagens somente em nuvem difíceis de escalar de forma responsável.

Para avançar mais rapidamente sem comprometer a segurança ou o controle, a EPRI está explorando novas maneiras de aproximar a IA avançada dos dados. Com o Dell Pro Max com GB10, equipado com o Superchip NVIDIA Grace Blackwell, a EPRI pode desenvolver, testar e executar fluxos de trabalho de IA personalizados localmente — desbloqueando novos níveis de insight enquanto mantém informações sensíveis firmemente nas instalações.

Pontos problemáticos: IA em escala, sem perder o controle

A EPRI colabora com a indústria global de energia em pesquisa, desenvolvimento e demonstrações que impactam diretamente a confiabilidade da rede, a segurança e a resiliência a longo prazo. Esse trabalho depende cada vez mais de modelos de IA capazes de raciocinar através de documentos técnicos densos e conjuntos de dados complexos. No entanto, os modelos tradicionais de infraestrutura de IA introduzem atrito:

• A dependência da nuvem cria incerteza de custos, especialmente para o desenvolvimento iterativo de modelos e experimentação.
• A movimentação de dados é frequentemente restrita, pois dados operacionais e de pesquisa podem não ter permissão para sair de ambientes controlados.
• Os requisitos de segurança e governança exigem isolamento rigoroso, auditabilidade e conformidade.
• As restrições de latência e largura de banda podem atrasar os fluxos de trabalho interativos de IA quando os modelos são hospedados remotamente.

O desafio não é se deve usar IA, mas como implantá-la de uma forma que se alinhe com as realidades da indústria de energia e outros domínios altamente regulamentados.

Uma nova proposta de valor: IA local, construída para restrições do mundo real

O Dell Pro Max com NVIDIA GB10 introduz uma abordagem fundamentalmente diferente para a infraestrutura de IA. Com o GB10, as equipes podem:

• Executar grandes modelos de IA localmente, suportando até 200 bilhões de parâmetros em um único sistema, ou 400 bilhões de parâmetros empilhando duas unidades com interconexão de latência ultrabaixa.
• Utilizar 128 GB de memória unificada do sistema para manter grandes modelos e conjuntos de dados na memória para ajuste fino e inferência local responsivos.
• Aproveitar o poder da arquitetura Grace Blackwell, entregando 1 petaFLOP de desempenho de IA para ajuste fino, inferência e análise.
• Mudar o investimento em IA de um consumo imprevisível na nuvem para um modelo de desempenho previsível e próprio.
• Manter a flexibilidade para escalar cargas de trabalho para o data center ou nuvem quando apropriado, sem reestruturação.

Este modelo suporta pesquisa avançada de IA, preservando o controle e a transparência exigidos em ambientes do setor de energia.

Habilitando a IA on-prem com Dell Pro Max e Aceleração NVIDIA

O Dell Pro Max com GB10 é projetado para organizações que tratam a privacidade dos dados e a integridade operacional como não negociáveis. Ao executar cargas de trabalho de IA inteiramente nas instalações, as equipes mantêm controle total sobre dados de pesquisa sensíveis e evitam os riscos de exposição associados a redes externas. Esta abordagem suporta as rigorosas expectativas de governança e regulatórias que definem as operações do setor de energia, ao mesmo tempo em que permite a implantação em ambientes isolados (air-gapped) ou de borda (edge) onde a conectividade deve ser limitada ou rigidamente controlada.

Alimentado pelo NVIDIA DGX OS, o sistema GB10 oferece uma pilha de software NVIDIA AI estável e totalmente integrada, permitindo que os pesquisadores desenvolvam ferramentas de IA localmente usando o mesmo ambiente em que confiariam em infraestruturas empresariais maiores. Com o Superchip Grace Blackwell, a aceleração se torna um catalisador para a produtividade real. Entregando inferência rápida, execução fluida de modelos e interação suave com grandes conjuntos de dados intensivos em raciocínio. Este nível de desempenho não apenas torna a IA mais rápida; torna-a mais confiável.

Essas capacidades criam uma base de alto desempenho que capacita as organizações a impulsionar a inovação em IA, mantendo controle inabalável, visibilidade completa e a postura de conformidade que seu trabalho exige.

Da pesquisa ao insight em tempo real: como a EPRI construiu o Power Chat

No início de 2026, a EPRI desenvolveu o Power Chat, um protótipo que demonstra como um assistente de IA baseado em documentos pode ser executado inteiramente em um supercomputador compacto — o Dell Pro Max com GB10. O Power Chat permite uma exploração profunda e conversacional de documentos técnicos por meio de uma interface simplificada e um fluxo de trabalho totalmente local projetado para ambientes controlados.

Os usuários começam selecionando documentos que são carregados na memória do modelo, permitindo a geração aumentada por cache para recuperação quase instantânea entre sessões. Isso permite que os usuários façam desde perguntas precisas sobre conteúdo específico até indagações mais amplas sobre as implicações de um tópico técnico. O objetivo é um caminho mais rápido para obter insights de documentos grandes e densos, melhorando o acesso a informações críticas e apoiando a tomada de decisões.

O Power Chat usa gpt-oss-120b, um LLM de mistura de especialistas de peso aberto que ativa 5,1 bilhões de parâmetros por token e usa um formato de dados MXFP4 de 4 bits ultracompacto. Essa combinação mantém a inferência eficiente, mantendo a profundidade e a qualidade esperadas de um modelo de classe 120B. Este modelo é servido através do vLLM, um mecanismo de inferência de código aberto otimizado para alta taxa de transferência e eficiência de memória.

Uma das capacidades do vLLM é o prefix caching, que permite ao sistema codificar documentos uma vez e armazenar as representações codificadas na memória (KV cache). O Power Chat aproveita isso alocando uma região de memória expandida para o KV cache, garantindo uma recuperação rápida entre sessões sem recodificação.

No nível de hardware, o Dell Pro Max com GB10 apresenta a arquitetura de ponta NVIDIA Grace Blackwell. Com 128 GB de memória unificada, ele simplifica o compartilhamento de dados entre CPU e GPU, o que é essencial para habilitar a arquitetura do Power Chat. Ele oferece capacidade suficiente para carregar o gpt-oss-120b no formato MXFP4 (68 GiB), manter um KV cache de 1 milhão de tokens no formato FP8 (36 GiB) e ter memória suficiente restante para o sistema operacional e processos de suporte.

O sistema leva cerca de 15 minutos para inicializar, carregar o modelo e codificar documentos no KV cache. Uma vez aquecido, as respostas começam a ser transmitidas em segundos. A EPRI mediu 35 tokens por segundo para solicitações de usuário único. Com vários usuários, a taxa de transferência é compartilhada; por exemplo, com 10 solicitações concorrentes, a EPRI observou 15 tokens por segundo para um total de 150 tokens por segundo.

O GB10 permite à EPRI demonstrar um assistente de chat de documentos totalmente auto-hospedado que tradicionalmente exigiria servidores de GPU maiores e mais caros. Sua pegada compacta suporta o uso concorrente por pequenas equipes, ilustrando como sistemas modestos on-prem podem diminuir a barreira para o desenvolvimento e operação de fluxos de trabalho acelerados por IA personalizados, gerenciando apropriadamente informações sensíveis e apoiando o alinhamento com as políticas de proteção de dados existentes.

Por que isso importa além da energia

Embora a EPRI seja uma organização sem fins lucrativos cuja missão está enraizada na pesquisa de energia para beneficiar a sociedade, seu impacto vai muito além disso. Outras indústrias enfrentam muitas das mesmas realidades: dados altamente sensíveis, exigências rigorosas de conformidade e a necessidade de sistemas de IA que sejam explicáveis e confiáveis. O Dell Pro Max com GB10 demonstra como a IA avançada pode operar de forma segura, localmente e em escala de mesa, estabelecendo um caminho claro para organizações que exigem que a soberania dos dados e a computação de alto desempenho coexistam.

Construa a IA onde ela mais importa

Com o Dell Pro Max com GB10, as organizações podem assumir o controle de seu desempenho de IA, proteger seus dados e acelerar a inovação em seus próprios termos. Pronto para enfrentar o futuro do desenvolvimento de IA na mesa de trabalho? Explore como o Dell Pro Max com GB10, alimentado pela arquitetura NVIDIA Grace Blackwell e NVIDIA DGX OS, pode ajudar suas equipes a construir, testar e implantar IA avançada, clique aqui para saber mais.

Interessado em executar cargas de trabalho de IA em seu Dell Pro Max com GB10? Comece aqui, com os playbooks da NVIDIA.

Sobre a Autora: Veronica Thums

Veronica Thums lidera as iniciativas da indústria de Energia, Saúde e Ciências da Vida (HCLS) para estações de trabalho Dell Pro Max na Dell Technologies. Ela colabora estreitamente com parceiros e ISVs (Independent Software Vendors) para alinhar as prioridades de go-to-market e moldar mensagens e conteúdo que destacam o valor da integração das estações de trabalho Dell. Seu trabalho se concentra em fortalecer a conscientização no mercado, focando em casos de uso do mundo real que impulsionam soluções tecnológicas.

Como parceiro certificado e especializado em soluções de infraestrutura e IA, a VirtuAllIT pode auxiliar sua empresa na avaliação, implementação e otimização do Dell Pro Max com NVIDIA GB10, garantindo que sua organização aproveite ao máximo os benefícios da IA local, mantendo a segurança e a conformidade necessárias.