O Amazon S3 Storage Lens adiciona métricas de desempenho, suporte para bilhões de prefixos e exportação para S3 Tables
Amazon S3 Storage Lens Adiciona Métricas de Performance, Suporte para Bilhões de Prefixes e Exportação para S3 Tables
Hoje, anunciamos três novas funcionalidades para o Amazon S3 Storage Lens que oferecem insights mais aprofundados sobre a performance e os padrões de uso do seu storage. Com a adição de métricas de performance, suporte para análise de bilhões de prefixes e exportação direta para Amazon S3 Tables, você terá as ferramentas necessárias para otimizar a performance de aplicações, reduzir custos e tomar decisões baseadas em dados sobre sua estratégia de storage no Amazon S3.
Novas Categorias de Métricas de Performance
O S3 Storage Lens agora inclui oito novas categorias de métricas de performance que ajudam a identificar e resolver restrições de performance em toda a sua organização. Estas métricas estão disponíveis nos níveis de organização, conta, bucket e prefix.
Por exemplo, o serviço ajuda a identificar objetos pequenos em um bucket ou prefix que podem desacelerar a performance da aplicação. Isso pode ser mitigado agrupando objetos pequenos (batching) ou utilizando a classe de storage Amazon S3 Express One Zone para workloads de objetos pequenos de alta performance.
Para acessar as novas métricas de performance, você precisa habilitar as métricas de performance na camada avançada (advanced tier) do S3 Storage Lens ao criar um novo dashboard ou editar uma configuração existente.
| Categoria de Métrica | Detalhes | Caso de Uso | Mitigação |
|---|---|---|---|
| Read request size | Distribuição dos tamanhos de requisições de leitura (GET) por dia. | Identificar datasets com padrões de requisições de leitura pequenas que desaceleram a performance. | Requisições pequenas: Agrupar objetos pequenos (batch) ou usar Amazon S3 Express One Zone para workloads de objetos pequenos de alta performance. |
| Write request size | Distribuição dos tamanhos de requisições de escrita (PUT, POST, COPY e UploadPart) por dia. | Identificar datasets com padrões de requisições de escrita pequenas que desaceleram a performance. | Requisições grandes: Paralelizar requisições, usar MPU ou usar AWS CRT. |
| Storage size | Distribuição dos tamanhos de objetos. | Identificar datasets com objetos muito pequenos que desaceleram a performance. | Tamanhos de objetos pequenos: Considerar empacotar (bundling) objetos pequenos. |
| Concurrent PUT 503 errors | Número de erros 503 devido à operação PUT concorrente no mesmo objeto. | Identificar prefixes com throttling de PUT concorrente que desaceleram a performance. | Para um único writer, modificar o comportamento de repetição (retry) ou usar Amazon S3 Express One Zone. Para múltiplos writers, usar mecanismo de consenso ou usar Amazon S3 Express One Zone. |
| Cross-Region data transfer | Bytes transferidos e requisições enviadas entre Regions e dentro da Region. | Identificar potencial degradação de performance e custo devido ao acesso a dados cross-Region. | Co-localizar o compute com os dados na mesma AWS Region. |
| Unique objects accessed | Número ou percentual de objetos únicos acessados por dia. | Identificar datasets onde um pequeno subconjunto de objetos está sendo acessado frequentemente. Estes podem ser movidos para uma camada de storage de performance superior para melhor desempenho. | Considerar mover dados ativos para Amazon S3 Express One Zone ou outras soluções de caching. |
| FirstByteLatency (métrica existente do Amazon CloudWatch) | Média diária da métrica de latência do primeiro byte. | A média diária do tempo por requisição, desde o recebimento da requisição completa até o início do retorno da resposta. | |
| TotalRequestLatency (métrica existente do Amazon CloudWatch) | Média diária da Latência Total da Requisição. | A média diária do tempo decorrido por requisição, desde o primeiro byte recebido até o último byte enviado. |
Como Funciona
No console do Amazon S3, eu escolho Create Storage Lens dashboard para criar um novo dashboard. Você também pode editar uma configuração de dashboard existente.
Em seguida, configuro as definições gerais, como fornecer um Dashboard name, Status e as Tags opcionais. Depois, escolho Next.
Defino o escopo do dashboard selecionando Include all Regions e Include all buckets e especificando as Regions e buckets a serem incluídos.
Eu opto pela camada Advanced tier na configuração do dashboard do Storage Lens, seleciono Performance metrics e, em seguida, escolho Next.
Seleciono Prefix aggregation como uma agregação de métricas adicional, e deixo o restante das informações como padrão antes de escolher Next.
Seleciono o Default metrics report, depois General purpose bucket como o tipo de bucket, e então seleciono o bucket do Amazon S3 na minha conta AWS como o Destination bucket. Deixo o restante das informações como padrão e seleciono Next.
Reviso todas as informações antes de escolher Submit para finalizar o processo.
Após a habilitação, receberei métricas de performance diárias diretamente no dashboard do console do Storage Lens. Você também pode optar por exportar o relatório nos formatos CSV ou Parquet para qualquer bucket em sua conta ou publicar no Amazon CloudWatch.
As métricas de performance são agregadas e publicadas diariamente e estarão disponíveis em múltiplos níveis: organização, conta, bucket e prefix.
Neste menu suspenso, eu escolho % concurrent PUT 503 error para a Métrica, Last 30 days para o Intervalo de datas e 10 para os Top N buckets. A métrica Concurrent PUT 503 error count rastreia o número de erros 503 gerados por operações PUT simultâneas para o mesmo objeto. Erros de throttling podem degradar a performance da aplicação.
Para um único writer, modifique o comportamento de repetição (retry) ou use uma camada de storage de performance superior, como Amazon S3 Express One Zone, para mitigar erros 503 de PUT concorrente. Para cenários de múltiplos writers, use um mecanismo de consenso para evitar erros 503 de PUT concorrente ou use uma camada de storage de performance superior, como Amazon S3 Express One Zone.
Análise Completa para Todos os Prefixes nos Seus S3 Buckets
O S3 Storage Lens agora suporta análise para todos os prefixes nos seus S3 buckets por meio de um novo relatório de métricas de prefixes expandidos (Expanded prefixes metrics report).
Essa capacidade remove limitações anteriores que restringiam a análise a prefixes que atendiam a um limite de tamanho de 1% e uma profundidade máxima de 10 níveis. Agora, você pode rastrear até bilhões de prefixes por bucket para análise no nível de prefix mais granular, independentemente do tamanho ou profundidade.
O Expanded prefixes metrics report inclui todas as categorias de métricas existentes do S3 Storage Lens: uso de storage, métricas de atividade (requisições e bytes transferidos), métricas de proteção de dados e métricas detalhadas de código de status.
Como Começar
Sigo os mesmos passos descritos na seção "Como Funciona" para criar ou atualizar o dashboard do Storage Lens. Na Etapa 4 do console, onde você seleciona as opções de exportação, você pode selecionar o novo Expanded prefixes metrics report.
A partir daí, posso exportar o relatório de métricas de prefixes expandidos nos formatos CSV ou Parquet para qualquer bucket de propósito geral em minha conta, permitindo consultas eficientes dos meus dados do Storage Lens.
É bom saber: Este aprimoramento aborda cenários em que as organizações precisam de visibilidade granular em toda a sua estrutura de prefix. Por exemplo, você pode identificar prefixes com multipart uploads incompletos para reduzir custos, rastrear a conformidade em toda a sua estrutura de prefix para requisitos de criptografia e replicação, e detectar problemas de performance no nível mais granular.
Exportar Métricas do S3 Storage Lens para S3 Tables
As métricas do S3 Storage Lens agora podem ser exportadas automaticamente para S3 Tables, um recurso totalmente gerenciado na AWS com suporte nativo ao Apache Iceberg. Essa integração fornece a entrega automática diária de métricas para S3 Tables gerenciadas pela AWS, permitindo consultas imediatas sem a necessidade de infraestrutura de processamento adicional.
Como Começar
Começo seguindo o processo descrito na Etapa 5 do console, onde escolho o destino da exportação. Desta vez, escolho Expanded prefixes metrics report. Além de General purpose bucket, eu escolho Table bucket.
As novas métricas do Storage Lens são exportadas para novas tabelas em um bucket gerenciado pela AWS (aws-s3). Seleciono a tabela expanded_prefixes_activity_metrics para visualizar as métricas de uso da API para relatórios de prefix expandidos. Posso pré-visualizar a tabela no console do Amazon S3 ou usar o Amazon Athena para consultar a tabela.
É bom saber: A integração do S3 Tables com o S3 Storage Lens simplifica a análise de métricas usando ferramentas SQL familiares e serviços de análise da AWS, como Amazon Athena, Amazon QuickSight, Amazon EMR e Amazon Redshift, sem a necessidade de um pipeline de dados.
As métricas são organizadas automaticamente para consultas ideais, com retenção personalizada e opções de criptografia para atender às suas necessidades. Essa integração permite análise cross-account e cross-Region, criação de dashboards personalizados e correlação de dados com outros serviços da AWS. Por exemplo, você pode combinar métricas do Storage Lens com S3 Metadata para analisar padrões de atividade em nível de prefix e identificar objetos em prefixes com dados frios que são elegíveis para transição para camadas de storage de menor custo.
Para seus workflows de IA agentiva, você pode usar linguagem natural para consultar métricas do S3 Storage Lens em S3 Tables com o S3 Tables MCP Server. Agentes podem fazer perguntas como "quais buckets cresceram mais no mês passado?" ou "mostre-me os custos de storage por classe de storage" e obter insights instantâneos a partir dos seus dados de observabilidade.
Disponibilidade
Os três aprimoramentos estão disponíveis em todas as AWS Regions onde o S3 Storage Lens é atualmente oferecido (exceto nas China Regions e AWS GovCloud (US)).
Essas funcionalidades estão incluídas na camada avançada (Advanced tier) do Amazon S3 Storage Lens sem custo adicional além do preço padrão da camada avançada. Para a exportação para S3 Tables, você paga apenas pelo storage, manutenção e consultas do S3 Tables. Não há cobrança adicional pela funcionalidade de exportação em si.
Para saber mais sobre as métricas de performance do Amazon S3 Storage Lens, suporte para bilhões de prefixes e exportação para S3 Tables, consulte o guia do usuário do Amazon S3. Para detalhes de preços, visite a página de preços do Amazon S3.
Veliswa Boya.
Precisa de ajuda com suas soluções de TI?
A VirtuAllIT Solutions oferece consultoria especializada em virtualização, cloud computing e infraestrutura tecnológica.