Operações do Dia 2 para Blueprints de IA na Automação VCF

Este é a terceira parte de uma série de seis blogs que fornecem um guia prático para o VMware Private AI Foundation com NVIDIA.

Visão Geral

A maioria dos clientes desejará personalizar os blueprints fornecidos para atender aos seus requisitos de negócios específicos. Isso pode ser tão simples quanto trocar um NIM específico por um mais novo, ou talvez atualizar o LLM que está sendo implantado. Também pode significar criar algo significativamente diferente. As possibilidades são infinitas, mas para começar, aqui estão alguns conceitos básicos a serem considerados.

Editando um Blueprint na VCF Automation

Você editará um blueprint na área Build & Deploy | Content Hub | Blueprint Design na VCF Automation. Isso exibirá uma UI básica dos principais componentes do blueprint. Clicar em um deles o levará a essa seção e é útil para navegação, especialmente ao trabalhar com templates mais complexos. O lado direito mostra o código do template. Esta será uma combinação de configurações, variáveis e código que será executado na Deep Learning VM (DLVM) assim que for implantada. Existem inúmeros desenvolvimentos nesta área, então vamos detalhar algumas áreas e conceitos chave para você.

Layout do Blueprint

A tela do blueprint visualiza seus recursos e conexões. Você também pode usar a tela para navegar para seções do código no lado direito. Você pode arrastar para redimensionar ou clicar no ícone para maximizar a janela.

cloudInit e o script dl_app.sh

Uma área chave para adicionar suas capacidades é na seção cloudInit. Esta é a área que será executada uma vez quando a VM for ligada pela primeira vez. Nos blueprints padrão, um script chamado dl_app.sh é criado e executa vários processos padrão. Por exemplo, este script verifica se você deseja instalar a opção Jupyter Notebook e, se sim, a instala para você. Nossa recomendação para a maneira mais rápida de começar a editar um template é trabalhar dentro do arquivo dl_app.sh existente. Na seção de código, a opção de software padrão para instalar é o PyTorch. Para editar o cloud init para isso, a seção começará assim:

É recomendável remover % {raw} do início e % {endraw} do final para facilitar o trabalho. Isso permitirá que você passe variáveis para o script Python de forma transparente.

Trabalhando com variáveis

No editor de código, você pode extrair variáveis do formulário de entrada para usar no script. Para fazer isso, insira a variável como ${input.<variable>}. Por exemplo, a variável para o Nome do Namespace é namespaceName, então você a inseriria como ${input.namespaceName} onde deseja usá-la. A variável aparecerá como tal no assembler, mas quando você visualizar o script na implantação, as variáveis serão substituídas por seus valores em tempo de execução. Para verificar as variáveis disponíveis, você pode consultar a aba Inputs enquanto estiver em um template no assembler.

Testando um template

Quando estiver pronto para testar seu template, clique em Deploy no canto inferior esquerdo. Isso implantará o template como ele existe atualmente na forma de rascunho, sem exigir uma publicação no catálogo. Isso ajuda a evitar que outros usuários implantem acidentalmente até que você esteja satisfeito com as atualizações.

Trabalhando na DLVM implantada

Ao começar a editar blueprints, é comum que a implantação falhe. Não desanime! Aqui estão algumas dicas importantes para ajudar a resolver o problema. Para solucionar problemas, você precisará fazer SSH na Deep Learning VM que foi implantada. Para fazer isso, precisaremos obter o IP do Load Balancer (LB) usado nesta implantação. Mude (ou duplique) sua aba para que você possa retornar facilmente ao editor, então navegue até o Service Broker. Clique em Supervisor Namespaces no canto inferior esquerdo e então clique no nome da implantação que você acabou de implantar. Clique na aba Network, e você será solicitado a fazer SSH para o endereço IP externo exibido. O nome de usuário para a Deep Learning VM é vmware.

Uma vez conectado, há dois arquivos chave que você deseja revisar.

• \var\log\dl.log mostra a saída do script dl_app.sh desde a primeira vez que foi executado. Isso o ajudará a entender por que não foi concluído com sucesso.
• \opt\dlvm\dl_app.sh é o script gerado a partir do template. Nano e vi estão instalados como opções para editar o script. Para reduzir o tempo gasto esperando por uma nova implantação, recomendamos editar o arquivo dl_app.sh na VM e executá-lo localmente para agilizar o processo. Quando você executa o script localmente, ele exibe a saída ao vivo na sessão SSH.

LEMBRE-SE de manter o controle de quaisquer alterações e replicá-las no editor do Assembler. As edições feitas diretamente na DLVM serão perdidas quando a implantação for removida.

Editando um Formulário

Dependendo do nível de alterações que você fez no template, você pode considerar editar o formulário. Alguns campos do formulário exigirão atualização para obter as opções mais recentes. Você pode querer alterar o layout e o fluxo para atender ao seu caso de uso específico. Você pode editar o formulário dentro da página de design do blueprint clicando em Edit Custom Form. Selecione Customize form e faça as alterações desejadas. Clique em Save quando terminar. Se desejar, você pode clicar na versão para salvá-la como uma nova versão, permitindo que você reverta se necessário.

Publicando no Catálogo

Uma vez que você esteja satisfeito com o blueprint e o tenha testado, você pode publicá-lo no catálogo. Ao trabalhar no editor de blueprint, clique no ícone de versão no canto inferior esquerdo. Isso abrirá uma caixa de diálogo que incrementa automaticamente o número da versão, fornece um espaço para inserir uma descrição e um changelog, e permite marcar uma caixa para liberar para o catálogo.

Recomendações Gerais

Ao trabalhar com o código no template, considere as seguintes recomendações. Limite o número de alterações que você faz de uma vez. Se você fizer muitas alterações de uma vez e encontrar um problema, isso aumentará o tempo necessário para solucionar. Se você fizer uma alteração e testar, você saberá exatamente onde está o problema!

Recursos

Quer saber mais sobre o VMware Private AI Foundation com NVIDIA?

• Página web do VMware Private AI Foundation
• Formulário de solicitação de interesse
• Descubra mais do Blog do VMware Cloud Foundation (VCF)
• Assine para receber as últimas postagens em seu e-mail.
  • Digite seu e-mail…
  • Assinar