Imagem criada usando NVIDIA FLUX.1-dev NIM

Esta é a primeira parte de uma série de seis blogs que oferece um guia prático para a VMware Private AI Foundation com NVIDIA. À medida que mais clientes embarcam em sua jornada de IA com a VMware Private AI Foundation com NVIDIA, observamos um tema comum: o desejo por conhecimento e insights sobre as principais capacidades da solução e o ecossistema de IA. Em resposta, selecionamos tópicos de nossas conversas com clientes ao longo dos últimos dois anos. Abordaremos esses tópicos em uma nova série de blogs de 6 partes, começando com a discussão de hoje sobre os benefícios de armazenar contêineres NVIDIA NIM™ no Harbor.

Esta série de blogs visa fornecer insights sobre as principais capacidades da VMware Private AI Foundation e o ecossistema de IA que nossos clientes utilizam. Os tópicos restantes nesta série são os seguintes:

Os Benefícios de Governar NVIDIA Inference Microservice (NIM) e Modelos Hugging Face em um Registro Privado: Explorando por que usar um registro privado é uma boa opção para contêineres NVIDIA NIM™ e modelos Hugging Face, e os detalhes de sua configuração.
Galeria de Modelos: Como Usar Jupyter Notebooks para Simplificar a Implantação e Gerenciamento de Modelos: Jupyter notebooks são uma ferramenta poderosa no espaço da IA. Comece a usá-los para auxiliar em suas tarefas também.
Operações de Dia 2 para Blueprints de IA na Automação VCF: Obtenha uma compreensão mais profunda de como os Blueprints de IA Privada funcionam na Automação VCF.
Aproveitando Grupos de Propriedades em Blueprints de Automação: Desvende os segredos dos blueprints de automação aproveitando os grupos de propriedades.
Desbloqueie o Potencial da IA com Open WebUI & NVIDIA NIMs: Obtenha orientação especializada sobre a implementação do Open-WebUI, a popular interface de chat de código aberto para uma poderosa Geração Aumentada por Recuperação (Retrieval-Augmented Generation). Ou foque em vLLM rodando em uma DLVM.
Integração Contínua de IA: OpenWebUI com Serviços de IA Privada: Desbloqueie todo o potencial da sua IA com Open WebUI, perfeitamente integrado aos Serviços de IA Privada VCF para Geração Aumentada por Recuperação.

Fique ligado para novas postagens de blog que serão lançadas regularmente!

Os Benefícios de Governar Contêineres NVIDIA Inference Microservice (NIM) em um Registro Privado

À medida que a demanda por aplicações conteinerizadas cresce, um registro de contêineres seguro, escalável e compatível tornou-se cada vez mais importante. Nesta postagem do blog, exploraremos os benefícios de armazenar contêineres NVIDIA no Harbor, um registro cloud-native projetado para implantações de contêineres em larga escala.

NVIDIA NIMs fornecem microsserviços de inferência otimizados e pré-construídos, facilitando a rápida implantação dos modelos de IA mais recentes. Esses modelos podem ser implantados usando a VMware Private AI Foundation com NVIDIA.

O que é Harbor?

Harbor é um registro de contêineres de código aberto que garante o armazenamento, gerenciamento e distribuição seguros de contêineres Docker. Ele é projetado para implantações de contêineres em larga escala e apresenta alta disponibilidade, escalabilidade e conformidade. O Harbor é construído sobre o Docker Registry e oferece vários recursos e aprimoramentos adicionais.

Por que Armazenar NVIDIA NIMs no Harbor?

1. Segurança

Harbor oferece uma maneira segura de armazenar e gerenciar contêineres Docker. Ele suporta recursos como:

Autenticação e Autorização: Harbor suporta múltiplos protocolos de autenticação, incluindo LDAP, Active Directory e OAuth. Ele também fornece controle de acesso baseado em função (RBAC) para restringir o acesso a contêineres.
Criptografia: Harbor suporta criptografia em repouso (REST) e em trânsito para proteger dados sensíveis.
Varredura de Vulnerabilidades: Harbor se integra com ferramentas de varredura de vulnerabilidades, como Clair, para fornecer detecção e remediação em tempo real de vulnerabilidades.

2. Escalabilidade

Harbor é projetado para lidar com grandes volumes de contêineres Docker, tornando-o uma escolha ideal para implantações em larga escala. Ele suporta:

Alta Disponibilidade: Harbor oferece balanceamento de carga, replicação e failover, garantindo que os contêineres permaneçam consistentemente disponíveis.
Escala Horizontal: Harbor pode escalar horizontalmente para lidar com o aumento do tráfego e do armazenamento de contêineres.

3. Conformidade

Harbor oferece recursos para garantir a conformidade com requisitos regulatórios, como:

Registro de Auditoria: Harbor fornece logs de auditoria detalhados que rastreiam todas as atividades relacionadas a contêineres.
Relatórios de Conformidade: Harbor gera relatórios de conformidade, facilitando o cumprimento dos requisitos regulatórios.

4. Integração

Harbor se integra perfeitamente com ferramentas populares de CI/CD, facilitando a automação da implantação e gerenciamento de contêineres. Ele suporta:

Integração de Pipeline CI/CD: Harbor se integra com ferramentas populares de CI/CD, incluindo Jenkins, GitLab CI/CD e Travis CI.
Integração Kubernetes: Harbor oferece um registro nativo do Kubernetes, permitindo fácil implantação e gerenciamento de contêineres em clusters Kubernetes.

Exemplo do Mundo Real: Armazenando Contêineres NVIDIA no Harbor

Suponha que você seja um engenheiro de IA trabalhando em uma iniciativa GenAI em larga escala. Sua equipe usa contêineres NVIDIA NIM para implantar e treinar dados. Você deseja armazenar seus contêineres com segurança, garantir a conformidade regulatória e automatizar a implantação e o gerenciamento de contêineres.

Neste cenário, mostraremos como configurar o Harbor como um espelho local para o registro da NVIDIA.

Começando com o Harbor

Existem dois métodos para implantar o Harbor, via VMware vSphere Kubernetes Service ou como uma máquina virtual:

Como um serviço no vSphere Kubernetes Service
Como uma máquina virtual a partir de um OVA

Uma vez que o Harbor esteja implantado, podemos configurar um proxy cache para puxar diretamente da NVIDIA e armazenar contêineres e modelos localmente dentro do Harbor. O proxy cache atua como um intermediário, salvando cópias locais de imagens de registros upstream. Suas vantagens incluem melhor desempenho, uso reduzido de largura de banda, confiabilidade aprimorada, controle centralizado e gerenciamento simplificado. As considerações são o tempo inicial de pull, as necessidades de armazenamento e a invalidação do cache.

O processo manual de pull, tag e push envolve mover explicitamente as imagens para um projeto Harbor. Os benefícios incluem controle claro, isolamento verdadeiro, gerenciamento de versão mais simples e melhor segurança para ambientes air-gapped. As desvantagens incluem esforço manual, maior uso de largura de banda, atualizações inflexíveis e ausência de cache automático.

No geral, o proxy cache é geralmente mais eficiente para acesso frequente a vários contêineres NVIDIA em ambientes conectados, enquanto o método manual é mais adequado para configurações altamente regulamentadas ou air-gapped que exigem controle e versionamento estritos. Uma abordagem híbrida também pode funcionar.

Método de Proxy Cache

Crie um novo Registro: Faça login no Harbor.
Em "Administration", clique em "Registries".
Clique em "New Endpoint".
Selecione "Docker Registry" para o "Provider".
Nomeie o novo endpoint.
A "Endpoint URL" será https://nvcr.io
O "Access ID" será $oauthtoken.
O "Access Secret" será sua chave de API NGC, tipicamente começando com nvapi-****.
Selecione "Verify Remote Cert".
Clique em "Test Connection" para validar as credenciais de login fornecidas.
Clique em "OK" para salvar.
Crie um novo Projeto: Clique em "Projects" para exibir uma lista de projetos disponíveis.
Clique em "New Project".
Forneça um "Project Name".
Selecione "Public" se você não exigir que os usuários façam login com credenciais.
Habilite o "Proxy Cache" e selecione o endpoint que você criou anteriormente.
Clique em "OK" para salvar o projeto.
Teste o novo Projeto: Agora que temos um novo registro de endpoint e um projeto com proxy cache, podemos testar o pull da instância Harbor. Este exemplo fará o download de um contêiner NVIDIA Inference Microservice (Phi-3-Mini-4K-Instruct) do NGC.

Nota: Isso requer que o Docker esteja instalado.

O comando para puxar um contêiner da NVIDIA seria: docker pull nvcr.io/nim/meta/llama-3.2-1b-instruct:1.12.0

Para puxar o mesmo contêiner via Harbor, você substituiria nvcr.io pelo seu FQDN do Harbor e nome do projeto: docker pull harbor.pse.lab/proxy-cache/nim/meta/llama-3.2-1b-instruct:1.12.0

Se o contêiner não existir no Harbor, ele puxará da NVIDIA usando as credenciais fornecidas. Se ele existir, ele puxará localmente.

Enviar contêineres sem usar Proxy Cache

Este método requer a execução de múltiplos comandos Docker para realizar a mesma tarefa que o método de proxy cache. Usaremos o mesmo contêiner para puxar da NVIDIA, o Microsoft PHI 3 Mini 4k. Dependendo de qual contêiner você baixar da NVIDIA, pode ser necessário fazer login no NGC primeiro.

docker login -u ‘$oauthtoken’ -p nvapi-****** nvcr.io
Puxe o contêiner que você deseja implantar: docker pull nvcr.io/nim/meta/llama-3.2-1b-instruct:1.12.0
Marque (tag) o contêiner com o novo caminho para a instância do Harbor: docker tag nvcr.io/nim/meta/llama-3.2-1b-instruct:1.12.0 harbor.pse.lab/<project-name>/meta/llama-3.2-1b-instruct:1.12.0
Execute docker images para confirmar a mudança de nome usando a tag.
O último passo é enviar (push) o contêiner recém-marcado: docker push harbor.pse.lab/<project-name>/meta/llama-3.2-1b-instruct:1.12.0

Nota: Certifique-se de que um projeto foi criado no Harbor para armazenar seu novo contêiner e substitua <project-name> no comando acima.

Aqui está o resultado do contêiner recém-carregado no Harbor.

Conclusão

Armazenar contêineres NVIDIA no Harbor oferece inúmeros benefícios, incluindo segurança aprimorada, escalabilidade, conformidade, customização e integração contínua. Engenheiros de IA podem usar o Harbor para garantir que seus contêineres sejam armazenados e gerenciados com segurança, atendam aos requisitos regulatórios e automatizem a implantação e o gerenciamento de contêineres.

Recursos

Para leitura adicional, consulte os recursos abaixo.

Formulário de Solicitação de Interesse
VMware Private AI Foundation
Documentação do Harbor: https://github.com/goharbor/harbor
Tutoriais do Harbor: https://goharbor.io/docs/
Comunidade Harbor: https://goharbor.io/community/

Descubra mais no Blog VMware Cloud Foundation (VCF) Assine para receber as últimas postagens por e-mail. Digite seu e-mail… Assinar

Este site utiliza cookies

Desvendando o Poder da IA: Uma Jornada com VMware Private AI Foundation e NVIDIA