A Solução de Armazenamento que a IA Estava Esperando

Principais Conclusões:

Sistemas de arquivos paralelos predominantes falham diante dos padrões de acesso minúsculos, aleatórios e de alta concorrência da IA. As GPUs ficam ociosas quando o storage não consegue sustentar picos mistos de leitura/escrita em escala de IA. A arquitetura AI-native do Lightning acelera tanto as leituras quanto as escritas, mantendo as GPUs continuamente alimentadas. Os metadados distribuídos do Lightning eliminam gargalos de hotspots que designs mais antigos de sistemas de arquivos paralelos não conseguem evitar. O I/O paralelo do Lightning é ajustado para o comportamento real da IA – não para os grandes trabalhos sequenciais para os quais os sistemas de arquivos focados em HPC foram construídos. Os caminhos de dados diretos para flash do Lightning correspondem aos tecidos de GPU modernos, evitando os gargalos de controlador comuns em sistemas de arquivos paralelos legados. O Lightning não apenas coexiste com o PowerScale e o ObjectScale – ele os sobrecarrega em uma stack de dados de IA unificada.

A IA está avançando rapidamente. A cada mês, os modelos ficam maiores, as GPUs se tornam mais poderosas e as empresas se esforçam mais para transformar dados em uma vantagem competitiva. Mas, à medida que as organizações correm para construir pipelines de IA mais avançados, muitas se deparam com o mesmo obstáculo de infraestrutura: seu storage não foi construído para isso. Sistemas de arquivos paralelos amplamente adotados – como aqueles originalmente projetados para grandes cargas de trabalho científicas sequenciais – funcionam bem quando as aplicações leem alguns arquivos grandes por vez. No entanto, a IA se comporta de forma diferente. Ela atinge o storage com milhões de pequenas leituras aleatórias, buscas constantes de metadados e concorrência extremamente alta. Quando o storage não consegue acompanhar, as GPUs ficam ociosas, desperdiçando tempo e orçamento. É aí que entra o Dell Lightning File System.

O Lightning é construído para IA desde o início

Em vez de adaptar designs antigos de High-Performance Computing (HPC), o Lightning começa do zero com uma arquitetura AI-native. Ele remove gargalos tradicionais para manter o fluxo de dados para suas GPUs.

Metadados distribuídos que acompanham a IA

Sistemas de arquivos paralelos estabelecidos frequentemente dependem de serviços de metadados centralizados ou semi-centralizados. Sob a pressão de uma "tempestade de arquivos pequenos" da IA, esses serviços se tornam hotspots que desaceleram todo o pipeline. O Lightning evita esses hotspots distribuindo metadados por todo o sistema. Essa abordagem oferece às cargas de trabalho de IA a concorrência massiva que elas exigem, garantindo que as operações de metadados nunca se tornem um gargalo.

I/O paralelo projetado para cargas de trabalho em escala de GPU

Pipelines de treinamento de IA e de Geração Aumentada por Recuperação (RAG) geram padrões de acesso aleatórios e imprevisíveis. O motor de I/O paralelo do Lightning é ajustado especificamente para esse comportamento. Ele mantém as GPUs alimentadas e elimina as paralisações que são comuns quando sistemas de arquivos de herança HPC tentam atender ao tráfego moderno de IA.

Design de tecido moderno para sistemas de IA modernos

Os clusters de IA atuais dependem de NVMe, RDMA e tecidos de alta velocidade. Muitas arquiteturas existentes ainda dependem de caminhos limitados por controlador e de cache de escrita pesado, o que pode desacelerar o movimento de dados de IA em tempo real. O Lightning vai direto para o flash. Ele utiliza caminhos de acesso de baixa latência que correspondem à velocidade e às capacidades das stacks de hardware de IA avançadas de hoje.

Por que os sistemas de arquivos paralelos predominantes lutam com a IA

Sistemas de arquivos paralelos estabelecidos foram originalmente projetados para grandes trabalhos sequenciais. Devido a essa herança, eles frequentemente exigem múltiplas buscas de metadados e caminhadas de diretório toda vez que uma aplicação toca um arquivo. Essa sobrecarga se acumula rapidamente quando as cargas de trabalho de IA emitem milhões de pequenas leituras e escritas. O Dell Lightning File System adota uma abordagem diferente:

• Namespace Plano: Reduz o número de etapas necessárias para buscar ou armazenar dados, diminuindo a latência por arquivo.
• Desempenho Previsível: Como o Lightning organiza os caminhos de dados antecipadamente e distribui metadados por todo o sistema, ele evita os hotspots e as desacelerações que os designs tradicionais enfrentam quando a concorrência aumenta. O resultado é um sistema de arquivos paralelo que oferece desempenho de leitura e escrita rápido e previsível. Seja a carga de trabalho atingindo o storage com muitos acessos pequenos e aleatórios ou transmitindo arquivos grandes em alto throughput, os usuários não precisam ajustar configurações ou supervisionar o sistema durante o treinamento.

Como o Lightning complementa o PowerScale e o ObjectScale

Alguns fornecedores forçam os clientes a escolher entre um sistema de arquivos paralelo rápido ou um object store escalável. A Dell adota uma abordagem holística. O Lightning não substitui o PowerScale ou o ObjectScale – ele os acelera. Juntos, eles criam um ecossistema unificado:

• Lightning: Para acesso a dados de IA de ultra-alto desempenho.
• PowerScale: Para serviços de arquivos corporativos e um namespace global.
• ObjectScale: Para storage de objetos S3 massivo e com custo-benefício.

Alinhado a cada estágio do ciclo de vida da IA

Os fluxos de trabalho de IA abrangem ingestão de dados, preparação, treinamento, fine-tuning e inferência. Cada estágio sobrecarrega o storage de forma diferente, e muitos sistemas de arquivos paralelos existentes cedem sob a pressão. Como o Lightning distribui metadados, paraleliza caminhos de dados e escala a concorrência de forma previsível, ele permanece rápido mesmo com o crescimento dos modelos e a complexidade dos pipelines. O Lightning não é um ajuste em um sistema antigo – é uma nova abordagem projetada especificamente para onde a IA está indo.

Saiba mais sobre como o design AI-native do Lightning pode aumentar a eficiência de sua infraestrutura de IA existente e possibilitar uma base de storage de alto desempenho que escala com futuras cargas de trabalho.

Sobre o Autor: Jon Hyde

Jon Hyde lidera a Inteligência Competitiva na Dell Technologies, onde ele se baseia em mais de 21 anos de experiência em tecnologia e consultoria de negócios, arquitetura corporativa, estratégia e liderança organizacional. Ao longo de seus 13 anos na Dell Technologies, Jon construiu e liderou as organizações de IA, as-a-Service e cloud enablement da empresa, e liderou suas equipes de liderança de pensamento tecnológico, marketing de portfólio e mensagens. Antes de ingressar na Dell Technologies, ele ajudou a construir e operar uma bem-sucedida prática de consultoria executiva de tecnologia na Nova Inglaterra.