Amazon CloudWatch Apresenta Gerenciamento Unificado de Dados e Análise para Operações, Segurança e Conformidade

Hoje, estamos expandindo os recursos do Amazon CloudWatch para unificar e gerenciar dados de log em casos de uso operacionais, de segurança e de conformidade, oferecendo análises flexíveis e poderosas em um único lugar, com redução de duplicação de dados e custos.

Essa melhoria significa que o CloudWatch pode normalizar e processar dados automaticamente para oferecer consistência entre as fontes, com suporte integrado aos formatos Open Cybersecurity Schema Framework (OCSF) e Open Telemetry (OTel). Assim, você pode se concentrar nas análises e insights.

O CloudWatch também apresenta acesso compatível com Apache Iceberg aos seus dados por meio das Amazon Simple Storage Service (Amazon S3) Tables. Isso permite que você execute análises não apenas localmente, mas também usando Amazon Athena, Amazon SageMaker Unified Studio ou qualquer outra ferramenta compatível com Iceberg. Você também pode correlacionar seus dados operacionais no CloudWatch com outros dados de negócios de suas ferramentas preferidas.

Essa abordagem unificada simplifica o gerenciamento e fornece correlação abrangente em casos de uso de segurança, operacionais e de negócios.

A seguir, detalhamos as melhorias:

1. Simplificação da Ingestão e Normalização de Dados

O CloudWatch coleta automaticamente logs fornecidos pela AWS (AWS vended logs) em todas as contas e AWS Regions, integrando-se ao AWS Organizations a partir de serviços AWS, incluindo AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC) Flow Logs, AWS WAF access logs, Amazon Route 53 resolver logs, além de conectores pré-construídos para fontes de terceiros, como endpoint (CrowdStrike, SentinelOne), identidade (Okta, Entra ID), segurança em cloud (Wiz), segurança de rede (Zscaler, Palo Alto Networks), produtividade e colaboração (Microsoft Office 365, Windows Event Logs e GitHub), e gerenciamento de serviços de TI com ServiceNow CMDB.

Para normalizar e processar seus dados à medida que são ingeridos, o CloudWatch oferece conversão OCSF gerenciada para diversas fontes de dados AWS e de terceiros, e outros processadores, como Grok, para parsing customizado, operações em nível de campo e manipulações de string.

2. Redução do Custo de Gerenciamento de Dados de Log

O CloudWatch consolida o gerenciamento de logs em um único serviço com recursos de governança integrados, eliminando a necessidade de armazenar e manter múltiplas cópias dos mesmos dados em diferentes ferramentas e data stores. O data store unificado do CloudWatch elimina a necessidade de pipelines ETL complexos e reduz seus custos operacionais e a sobrecarga de gerenciamento necessários para manter múltiplos data stores e ferramentas separados.

3. Descoberta de Insights de Negócios a Partir de Dados de Log

Você pode executar consultas no CloudWatch usando linguagem natural (natural language queries) e linguagens de consulta populares como LogsQL, PPL e SQL por meio de uma única interface, ou consultar seus dados usando suas ferramentas de análise preferidas através de tables compatíveis com Apache Iceberg.

A nova interface Facets oferece filtragem intuitiva por fonte, aplicação, conta, região e tipo de log, que você pode usar para executar consultas em log groups de múltiplas contas e Regions AWS com inferência inteligente de parâmetros.

Nas próximas seções, exploraremos os novos recursos de gerenciamento e análise de logs do CloudWatch Logs!

Detalhamento dos Novos Recursos do CloudWatch Logs

1. Descoberta e Gerenciamento de Dados por Fontes e Tipos

Você pode visualizar uma visão geral de alto nível dos logs e de todas as fontes de dados com o novo Logs Management View (Visualização de Gerenciamento de Logs) no console do CloudWatch. Para começar, acesse o console do CloudWatch e escolha Log Management (Gerenciamento de Logs) no menu Logs no painel de navegação esquerdo.

Na aba Summary (Resumo), você pode observar suas fontes e tipos de dados de logs, insights sobre o desempenho de seus log groups em relação à ingestão e anomalias. Escolha a aba Data sources (Fontes de Dados) para encontrar e gerenciar seus dados de log por fontes, tipos e campos.

O CloudWatch ingere e categoriza automaticamente as fontes de dados por serviços AWS, terceiros ou fontes customizadas, como application logs. Escolha Data source actions (Ações da Fonte de Dados) para integrar S3 Tables e disponibilizar logs futuros para as fontes de dados selecionadas. Você tem a flexibilidade de analisar os logs através do Athena e Amazon Redshift, e outros query engines como Spark, usando padrões de acesso compatíveis com Iceberg. Com essa integração, os logs do CloudWatch ficam disponíveis em um bucket de S3 Tables somente leitura, denominado aws-cloudwatch.

Ao escolher uma fonte de dados específica, como dados do CloudTrail, você pode visualizar os detalhes da fonte de dados, incluindo informações sobre formato de dados, pipeline, facets/índices de campo, associação de S3 Tables e o número de logs com essa fonte de dados. Você pode observar todos os log groups incluídos nesta fonte e tipo de dados e editar uma política de índice de campo de fonte/tipo usando o novo suporte a schema. Para saber mais sobre como gerenciar suas fontes de dados e política de índice, visite Data sources (Fontes de Dados) no Guia do Usuário do Amazon CloudWatch Logs.

2. Ingestão e Transformação Usando CloudWatch Pipelines

Você pode criar pipelines para simplificar a coleta, transformação e roteamento de dados de telemetria e segurança, enquanto padroniza os formatos de dados para otimizar a observabilidade e o gerenciamento de dados de segurança. O novo recurso de pipeline do CloudWatch conecta dados de um catálogo de fontes de dados, permitindo que você adicione e configure processadores de pipeline a partir de uma biblioteca para fazer parsing, enriquecer e padronizar dados.

Na aba Pipeline, escolha Add pipeline (Adicionar pipeline). Isso exibirá o assistente de configuração de pipeline. Este assistente o guiará por cinco etapas onde você pode escolher a fonte de dados e outros detalhes da fonte, como tipos de fonte de log, configurar o destino, configurar até 19 processadores para realizar uma ação em seus dados (como filtragem, transformação ou enriquecimento) e, finalmente, revisar e implantar o pipeline. Você também tem a opção de criar pipelines através da nova experiência de Ingestão no CloudWatch. Para saber mais sobre como configurar e gerenciar os pipelines, visite Pipelines no Guia do Usuário do Amazon CloudWatch Logs.

3. Análise e Consulta Aprimoradas Baseadas em Fontes de Dados

Você pode aprimorar a análise com suporte para Facets e consultas baseadas em fontes de dados. Facets permitem a exploração interativa e drill-down nos logs, e seus valores são extraídos automaticamente com base no período de tempo selecionado.

Escolha a aba Facets em Log Insights no menu Logs no painel de navegação esquerdo. Você pode visualizar os facets e valores disponíveis que aparecem no painel. Escolha um ou mais facets e valores para explorar seus dados interativamente.

Por exemplo, eu escolho Facets relacionados a um log group de VPC Flow Logs e action, consulto para listar os cinco padrões mais frequentes em meus VPC Flow Logs através do gerador de consultas de IA e obtenho os padrões resultantes. Você pode salvar sua consulta com os Facets e valores selecionados que você especificou. Na próxima vez que escolher sua consulta salva, os logs a serem consultados terão os facets e valores pré-especificados. Para saber mais sobre o gerenciamento de Facets, visite Facets no Guia do Usuário do CloudWatch Logs.

Como mencionei anteriormente, você pode integrar fontes de dados em S3 Tables e consultá-las em conjunto. Por exemplo, usando um Query Editor no Athena, você pode correlacionar o tráfego de rede com a atividade da API AWS a partir de um range de IP específico (174.163.137.) unindo VPC Flow Logs com logs do CloudTrail com base na correspondência de endereços IP de origem.

Este tipo de pesquisa integrada é particularmente valioso para monitoramento de segurança, investigação de incidentes e detecção de comportamento suspeito. Você pode verificar se um IP que está realizando conexões de rede também está executando operações AWS sensíveis, como criação de usuários, modificação de security groups ou acesso a dados. Para saber mais, visite S3 Tables integration with CloudWatch (Integração de S3 Tables com CloudWatch) no Guia do Usuário do CloudWatch Logs.

Disponibilidade

Os novos recursos de gerenciamento de logs do Amazon CloudWatch estão disponíveis hoje em todas as AWS Regions, exceto nas AWS GovCloud (US) Regions e China Regions. Para disponibilidade regional e roteiro futuro, visite o AWS Capabilities by Region.

Não há compromissos iniciais ou taxas mínimas, e você paga pelo uso dos recursos existentes do CloudWatch Logs para ingestão de dados, storage e consultas. Para saber mais, visite a página de preços do CloudWatch. Experimente no console do CloudWatch. Para saber mais, visite a página do produto CloudWatch e envie feedback para o AWS re:Post for CloudWatch Logs ou através de seus contatos habituais de Suporte AWS.

— Channy

Amazon CloudWatch apresenta gerenciamento e análise de dados unificados para operações, segurança e conformidade