Apresentando as instâncias Amazon EC2 G7e aceleradas por GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition

Anunciando as Instâncias Amazon EC2 G7e Aceleradas pelas GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition

Temos o prazer de anunciar a disponibilidade geral das instâncias Amazon Elastic Compute Cloud (Amazon EC2) G7e, que oferecem desempenho de custo-benefício para workloads de inferência de IA generativa e o mais alto desempenho para workloads gráficos.

As instâncias G7e são aceleradas pelas GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition e são ideais para uma ampla gama de workloads habilitados para GPU, incluindo computação espacial e workloads de computação científica. As instâncias G7e entregam um desempenho de inferência até 2,3 vezes superior em comparação com as instâncias G6e.

Melhorias em Relação aos Predecessores

GPUs NVIDIA RTX PRO 6000 Blackwell: As GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition oferecem o dobro de memória de GPU e 1,85 vezes a largura de banda de memória de GPU em comparação com as instâncias G6e. Ao utilizar a maior memória de GPU oferecida pelas instâncias G7e, é possível executar modelos de tamanho médio de até 70 bilhões de parâmetros com precisão FP8 em uma única GPU.

NVIDIA GPUDirect P2P: Para modelos que são muito grandes para caber na memória de uma única GPU, é possível dividir o modelo ou os cálculos entre múltiplas GPUs. As instâncias G7e reduzem a latência dos seus workloads multi-GPU com suporte para NVIDIA GPUDirect P2P, que permite a comunicação direta entre GPUs por meio da interconexão PCIe. Essas instâncias oferecem a menor latência peer to peer para GPUs no mesmo switch PCIe.

Além disso, as instâncias G7e oferecem até quatro vezes a largura de banda inter-GPU em comparação com as GPUs L40s presentes nas instâncias G6e, impulsionando o desempenho dos workloads multi-GPU. Essas melhorias significam que você pode executar inferência para modelos maiores em múltiplas GPUs, oferecendo até 768 GB de memória de GPU em um único node.

Rede (Networking): As instâncias G7e oferecem quatro vezes a largura de banda de rede em comparação com as instâncias G6e, o que significa que você pode usar a instância para workloads multi-node de pequena escala. Adicionalmente, as instâncias G7e multi-GPU suportam NVIDIA GPUDirect Remote Direct Memory Access (RDMA) com Elastic Fabric Adapter (EFA), o que reduz a latência da comunicação remota GPU-para-GPU para workloads multi-node.

Esses tamanhos de instância também suportam NVIDIA GPUDirectStorage com Amazon FSx for Lustre, o que aumenta o throughput em até 1,2 Tbps para as instâncias em comparação com as instâncias G6e, permitindo que você carregue seus modelos rapidamente.

Especificações do EC2 G7e

As instâncias G7e apresentam até 8 GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition com até 768 GB de memória total de GPU (96 GB de memória por GPU) e processadores Intel Emerald Rapids. Elas também suportam até 192 vCPUs, até 1.600 Gbps de largura de banda de rede, até 2.048 GiB de memória de sistema e até 15,2 TB de storage local NVMe SSD.

Abaixo estão as especificações:

Para começar a usar as instâncias G7e, você pode utilizar as AWS Deep Learning AMIs (DLAMI) para seus workloads de machine learning (ML). Para executar as instâncias, você pode usar o AWS Management Console, o AWS Command Line Interface (AWS CLI) ou os AWS SDKs.

Para uma experiência gerenciada, você pode usar as instâncias G7e com Amazon Elastic Container Service (Amazon ECS), Amazon Elastic Kubernetes Service (Amazon EKS) e AWS Parallel Computing Service (AWS PCS). O suporte para Amazon SageMaker AI também estará disponível em breve.

Disponibilidade

As instâncias Amazon EC2 G7e estão disponíveis hoje nas regiões AWS Leste dos EUA (N. Virginia) e Leste dos EUA (Ohio). Para disponibilidade regional e um roteiro futuro, pesquise o tipo de instância na aba de recursos do CloudFormation em AWS Capabilities by Region.

As instâncias podem ser adquiridas como On-Demand Instances, Savings Plan e Spot Instances. As instâncias G7e também estão disponíveis em Dedicated Instances e Dedicated Hosts.

Para saber mais, visite a página de preços do Amazon EC2. Experimente as instâncias G7e no console do Amazon EC2. Para mais informações, visite a página das instâncias Amazon EC2 G7e e envie feedback para o AWS re:Post para EC2 ou através dos seus contatos usuais de Suporte AWS.

— Channy