Lançando S3 Files, tornando os buckets S3 acessíveis como sistemas de arquivos

Lançamento do S3 Files: Tornando os buckets S3 acessíveis como sistemas de arquivos

Tenho o prazer de anunciar o Amazon S3 Files, um novo sistema de arquivos que conecta perfeitamente qualquer recurso de computação AWS ao Amazon Simple Storage Service (Amazon S3). Mais de uma década atrás, como instrutor da AWS, passei incontáveis horas explicando as diferenças fundamentais entre armazenamento de objetos e sistemas de arquivos. Minha analogia favorita era comparar objetos S3 a livros em uma biblioteca (você não pode editar uma página, precisa substituir o livro inteiro) versus arquivos em seu computador que você pode modificar página por página. Desenhei diagramas, criei metáforas e ajudei os clientes a entender por que eles precisavam de diferentes tipos de armazenamento para diferentes cargas de trabalho. Bem, hoje essa distinção se torna um pouco mais flexível.

Com o S3 Files, o Amazon S3 é o primeiro e único armazenamento de objetos em cloud que oferece acesso totalmente funcional e de alto desempenho a seus dados como um sistema de arquivos. Ele torna seus buckets acessíveis como sistemas de arquivos. Isso significa que as alterações nos dados no sistema de arquivos são automaticamente refletidas no bucket S3 e você tem controle granular sobre a sincronização. O S3 Files pode ser anexado a vários recursos de computação, permitindo o compartilhamento de dados entre clusters sem duplicação.

Até agora, você tinha que escolher entre o custo e a durabilidade do Amazon S3 e os serviços que podem consumir dados nativamente dele, ou as capacidades interativas de um sistema de arquivos. O S3 Files elimina essa desvantagem. O S3 se torna o hub central para todos os dados da sua organização. É acessível diretamente de qualquer instância de computação AWS, container ou função, seja você executando aplicações de produção, treinando modelos de ML ou construindo sistemas de IA agentic. Você pode acessar qualquer bucket de uso geral como um sistema de arquivos nativo em suas instâncias Amazon Elastic Compute Cloud (Amazon EC2), containers executados no Amazon Elastic Container Service (Amazon ECS) ou Amazon Elastic Kubernetes Service (Amazon EKS), ou funções AWS Lambda.

O sistema de arquivos apresenta objetos S3 como arquivos e diretórios, suportando todas as operações NFS v4.1+, como criar, ler, atualizar e excluir arquivos. À medida que você trabalha com arquivos e diretórios específicos através do sistema de arquivos, os metadados e conteúdos de arquivos associados são colocados no armazenamento de alto desempenho do sistema de arquivos. Por padrão, os arquivos que se beneficiam de acesso de baixa latência são armazenados e servidos a partir do armazenamento de alto desempenho. Para arquivos não armazenados em armazenamento de alto desempenho, como aqueles que precisam de grandes leituras sequenciais, o S3 Files serve automaticamente esses arquivos diretamente do Amazon S3 para maximizar o throughput. Para leituras de faixa de bytes, apenas os bytes solicitados são transferidos, minimizando a movimentação de dados e os custos. O sistema também suporta pré-busca inteligente para antecipar suas necessidades de acesso a dados. Você tem controle granular sobre o que é armazenado no armazenamento de alto desempenho do sistema de arquivos. Você pode decidir se carrega dados de arquivo completos ou apenas metadados, o que significa que você pode otimizar para seus padrões de acesso específicos.

Nos bastidores, o S3 Files usa o Amazon Elastic File System (Amazon EFS) e oferece latências de aproximadamente 1ms para dados ativos. O sistema de arquivos suporta acesso concorrente de múltiplos recursos de computação com consistência NFS close-to-open, tornando-o ideal para cargas de trabalho interativas e compartilhadas que modificam dados, desde agentes de IA colaborando através de ferramentas baseadas em arquivos até pipelines de treinamento de ML processando conjuntos de dados.

Deixe-me mostrar como começar. Criar meu primeiro sistema de arquivos Amazon S3, montá-lo e usá-lo a partir de uma instância EC2 é simples. Tenho uma instância EC2 e um bucket de uso geral. Nesta demonstração, configuro um sistema de arquivos S3 e acesso o bucket a partir de uma instância EC2, usando comandos de sistema de arquivos regulares. Para esta demonstração, uso o AWS Management Console. Você também pode usar a AWS Command Line Interface (AWS CLI) ou infrastructure as code (IaC). Aqui está o diagrama de arquitetura para esta demonstração.

Passo 1: Criar um sistema de arquivos S3.

Na seção Amazon S3 do console, escolho File systems e depois Create file system. Digito o nome do bucket que quero expor como um sistema de arquivos e escolho Create file system.

Passo 2: Descobrir o mount target.

Um mount target é um endpoint de rede que viverá em minha virtual private cloud (VPC). Ele permite que minha instância EC2 acesse o sistema de arquivos S3. O console cria os mount targets automaticamente. Anoto os IDs dos mount targets na aba Mount targets. Ao usar a CLI, dois comandos separados são necessários para criar o sistema de arquivos e seus mount targets. Primeiro, crio o sistema de arquivos S3 com create-file-system. Em seguida, crio o mount target com create-mount-target.

Passo 3: Montar o sistema de arquivos em minha instância EC2.

Depois de conectado a uma instância EC2, digito:

sudo mkdir /home/ec2-user/s3files
sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files

sudo mkdir /home/ec2-user/s3files
sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files

Agora posso trabalhar com meus dados S3 diretamente através do sistema de arquivos montado em ~/s3files, usando operações de arquivo padrão. Quando faço atualizações em meus arquivos no sistema de arquivos, o S3 gerencia e exporta automaticamente todas as atualizações como um novo objeto ou uma nova versão em um objeto existente de volta ao meu bucket S3 em minutos. As alterações feitas em objetos no bucket S3 são visíveis no sistema de arquivos em poucos segundos, mas às vezes podem levar um minuto ou mais.

# Criar um arquivo no sistema de arquivos EC2
echo "Hello S3 Files" > s3files/hello.txt

# e verificar se está aqui
ls -al s3files/hello.txt
-rw-r--r--. 1 ec2-user ec2-user 15 Oct 22 13:03 s3files/hello.txt

# Viu? o arquivo também está no S3
aws s3 ls s3://s3files-aws-news-blog/hello.txt
2025-10-22 13:04:04 15 hello.txt

# E o conteúdo é idêntico!
aws s3 cp s3://s3files-aws-news-blog/hello.txt . && cat hello.txt
Hello S3 Files

# Criar um arquivo no sistema de arquivos EC2
echo "Hello S3 Files" > s3files/hello.txt

# e verificar se está aqui
ls -al s3files/hello.txt
-rw-r--r--. 1 ec2-user ec2-user 15 Oct 22 13:03 s3files/hello.txt

# Viu? o arquivo também está no S3
aws s3 ls s3://s3files-aws-news-blog/hello.txt
2025-10-22 13:04:04 15 hello.txt

# E o conteúdo é idêntico!
aws s3 cp s3://s3files-aws-news-blog/hello.txt . && cat hello.txt
Hello S3 Files

Coisas a saber

Deixe-me compartilhar alguns detalhes técnicos importantes que acredito que você achará úteis.

O S3 Files se integra com o AWS Identity and Access Management (IAM) para controle de acesso e criptografia. Você pode usar políticas de identidade e de recurso para gerenciar permissões tanto no nível do sistema de arquivos quanto no nível do objeto. Os dados são sempre criptografados em trânsito usando TLS 1.3 e em repouso usando chaves gerenciadas pelo Amazon S3 (SSE-S3) ou chaves gerenciadas pelo cliente com o AWS Key Management Service (AWS KMS).

O S3 Files usa permissões POSIX para arquivos e diretórios, verificando o ID do usuário (UID) e o ID do grupo (GID) em relação às permissões de arquivo armazenadas como metadados de objeto no bucket S3.

Monitore o S3 Files usando métricas do Amazon CloudWatch para desempenho e atualizações de drive e o AWS CloudTrail para registrar eventos de gerenciamento.

Verifique se a versão mais recente do driver EFS (pacote amazon-efs-utils) está instalada em suas instâncias EC2. Este pacote vem pré-instalado na Amazon Machine Image (AMI) fornecida pela AWS. No momento da escrita, você pode atualizá-lo para a versão mais recente.

Nesta publicação, mostrei como usar o S3 Files a partir de uma instância EC2. Você também pode montar seu bucket S3 como um sistema de arquivos a partir de seus containers ECS ou EKS, no AWS Fargate ou não, e de suas funções Lambda.

Outra pergunta que ouço frequentemente em conversas com clientes é sobre a escolha do serviço de arquivo certo para suas cargas de trabalho. Sim, eu sei o que você está pensando: AWS e seus serviços aparentemente sobrepostos, mantendo os arquitetos de cloud entretidos durante suas reuniões de revisão de arquitetura. Deixe-me ajudar a desmistificar isso.

O S3 Files funciona melhor quando você precisa de acesso interativo e compartilhado a dados que residem no Amazon S3 através de uma interface de sistema de arquivos de alto desempenho. É ideal para cargas de trabalho onde múltiplos recursos de computação – sejam aplicações de produção, agentes de IA usando bibliotecas Python e ferramentas CLI, ou pipelines de treinamento de machine learning (ML) – precisam ler, gravar e modificar dados colaborativamente. Você obtém acesso compartilhado entre clusters de computação sem duplicação de dados, latência de sub-milissegundos e sincronização automática com seu bucket S3.

Para cargas de trabalho que migram de ambientes NAS on-premises, o Amazon FSx oferece os recursos familiares e a compatibilidade de que você precisa. O Amazon FSx também é ideal para computação de alto desempenho (HPC) e armazenamento de cluster de GPU com o Amazon FSx para Lustre. É particularmente valioso quando suas aplicações exigem capacidades específicas de sistema de arquivos do Amazon FSx para NetApp ONTAP, Amazon FSx para OpenZFS ou Amazon FSx para Windows File Server.

Preços e disponibilidade

O S3 Files está oficialmente disponível hoje em todas as regiões comerciais da AWS. Você paga pela porção de dados armazenada em seu sistema de arquivos S3, por pequenas operações de leitura de arquivo e todas as operações de gravação no sistema de arquivos, e por solicitações S3 durante a sincronização de dados entre o sistema de arquivos e o bucket S3. A página de preços do Amazon S3 tem todos os detalhes.

A partir de discussões com clientes, acredito que o S3 Files ajuda a simplificar arquiteturas de cloud, eliminando silos de dados, complexidade de sincronização e movimentação manual de dados entre objetos e arquivos. Seja você executando ferramentas de produção que já trabalham com sistemas de arquivos, construindo sistemas de IA agentic que dependem de bibliotecas Python e scripts shell baseados em arquivos, ou preparando conjuntos de dados para treinamento de ML, o S3 Files permite que essas cargas de trabalho hierárquicas, interativas e compartilhadas acessem dados S3 diretamente sem ter que escolher entre a durabilidade do Amazon S3 e os benefícios de custo e as capacidades interativas de um sistema de arquivos. Agora você pode usar o Amazon S3 como o local para todos os dados de suas organizações, sabendo que os dados são acessíveis diretamente de qualquer instância de computação AWS, container e função.

Para saber mais e começar, visite a documentação do S3 Files. Adoraria saber como você usa essa nova capacidade. Sinta-se à vontade para compartilhar seu feedback nos comentários abaixo.

— seb

Como parceiro certificado da AWS, a VirtuAllIT pode auxiliar sua empresa na avaliação, planejamento e implementação do Amazon S3 Files, otimizando sua arquitetura de dados e garantindo a integração perfeita com suas cargas de trabalho existentes.