VMware Tanzu RabbitMQ Impulsiona o Moderno Data Lakehouse com Nova Integração Spark e Ferramentas Corporativas

A seguir, a tradução do artigo técnico:

Os dados nunca são estáticos. Na empresa moderna, eles fluem constantemente entre sistemas operacionais e analíticos. Para se manterem competitivas, as organizações precisam de uma malha de dados em tempo real que não apenas mova informações, mas que ativamente conecte esses dois mundos. Temos o prazer de anunciar atualizações importantes no VMware Tanzu RabbitMQ, projetadas para preencher a lacuna entre operações em tempo real e análise de big data. Com integração nativa com Apache Spark e ferramentas de visibilidade aprimoradas, estamos tornando mais fácil do que nunca construir uma arquitetura de data lakehouse para VMware Cloud Foundation. Novas capacidades de Java Message Service (JMS) podem permitir que você migre rapidamente aplicações legadas para o Tanzu RabbitMQ, preparando o terreno para futuras iniciativas de modernização de aplicações. Veja um olhar mais atento sobre o que está por vir.

A ponte analítica: integração com Apache Spark

A separação entre dados "operacionais" (por exemplo, logs, transações) e dados "analíticos" (por exemplo, tendências, modelos de ML) está lentamente desaparecendo. O novo conector VMware Tanzu RabbitMQ para Apache Spark atua sobre essa divisão, criando uma troca de dados bidirecional de alta velocidade entre o Tanzu RabbitMQ e seu data lake, como o VMware Tanzu Data Lake. Este novo conector permite que jobs do Apache Spark leiam e escrevam nativamente em RabbitMQ Streams com confiabilidade de nível empresarial, incluindo rastreamento de offset, processamento exactly-once e capacidades de replay histórico.

Por que isso é importante:

• Ingestão em tempo real – Em vez de jobs de ETL em lote que rodam durante a noite, você agora pode transmitir logs e eventos operacionais diretamente do Tanzu RabbitMQ para o Apache Spark para análise instantânea.
• Loops de enriquecimento – Leia um fluxo de dados brutos, enriqueça-o em tempo real usando Apache Spark (por exemplo, unindo com dados estáticos de clientes) e escreva o resultado limpo e enriquecido de volta para um novo fluxo Tanzu RabbitMQ para que aplicações downstream o consumam imediatamente.
• Feedback em loop fechado – Use Apache Spark para detectar anomalias (como padrões de fraude) em seu data lake e publique instantaneamente um alerta de volta para o Tanzu RabbitMQ para acionar uma ação defensiva em suas aplicações operacionais.

Ao habilitar o RabbitMQ Streams como um first-class citizen para o ecossistema Apache Spark, estamos tornando possível que os dados se movam para o lake para computação e que os insights fluam de volta para o negócio em tempo real.

Visibilidade aprimorada com um novo Stream Browser

À medida que a adoção do RabbitMQ Streams cresce, os desenvolvedores precisam de ferramentas melhores para inspecionar os dados que fluem por seus pipes sem escrever código personalizado. Estamos introduzindo o Stream Browser, um plug-in exclusivo do VMware Tanzu para a Management UI. Este recurso permite que os usuários "naveguem" por mensagens dentro de um stream diretamente da UI. Você pode procurar mensagens específicas com base em atributos como timestamp ou offset, proporcionando uma janela mais clara para seus dados.

Por que isso é importante:

• Resolução de problemas mais rápida – Desenvolvedores podem verificar instantaneamente se uma mensagem específica foi publicada ou identificar dados malformados sem precisar consumir o stream inteiro.
• Desenvolvimento simplificado – Ele fornece visibilidade para dados que residem em Streams, tornando-os mais fáceis de gerenciar e depurar em comparação com tópicos complexos do Apache Kafka.

Modernizando o legado: JMS Message Selectors

Muitas empresas estão presas a brokers legados simplesmente porque suas aplicações Java dependem de padrões mais antigos, como Message Selectors. Com este lançamento, estamos abordando esse obstáculo e fornecendo uma maneira de economizar nos custos de licenciamento. Aprimoramos ainda mais nosso suporte JMS com JMS Message Selectors. Isso permite que aplicações consumidoras baseadas em Java filtrem mensagens diretamente no broker com base em valores de cabeçalho ou propriedade, imitando consultas tipo SQL antes mesmo que a mensagem seja enviada ao cliente.

Por que isso é importante:

• Facilidade de migração – Agora você pode migrar aplicações Java legadas para o Tanzu RabbitMQ com mínimas alterações de código. A lógica da aplicação permanece a mesma, mas a infraestrutura recebe uma atualização massiva.
• Atualização de durabilidade – Ao contrário dos brokers legados frágeis do passado, executar esses seletores no Tanzu RabbitMQ oferece acesso a Quorum Queues modernas e AMQP 1.0, permitindo que seus dados permaneçam replicados e seguros, mesmo enquanto suportam padrões arquitetônicos "vintage".

Essas atualizações marcam um momento importante para o Tanzu RabbitMQ. Estamos fazendo mais do que apenas mover mensagens. Continuamos a inovar e redefinir o data lakehouse moderno para a nuvem privada. Seja para otimizar análises em tempo real com Apache Spark, depurar streams complexos com um clique ou finalmente aposentar brokers legados caros sem reescrever código, o Tanzu RabbitMQ pode ajudar. Em resumo, se sua arquitetura exige um broker capaz de dominar tanto o enterprise messaging tradicional quanto o streaming de alto throughput, sua solução está aqui.

Embora essas capacidades sejam poderosas por si só, elas são apenas uma parte de um conjunto muito maior de inovações lançadas no VMware Tanzu Data Intelligence 10.4. Este grande lançamento traz novas inovações, incluindo um SQL Assistant assistido por IA, administração de plataforma automatizada e novo suporte a Apache Iceberg — tudo projetado para ajudar você a consultar dados no local. Para ver como o Tanzu Data Intelligence pode quebrar silos e tornar seus dados prontos para IA atrás do firewall, leia o anúncio completo do lançamento aqui.

Como parceiro certificado e especialista em soluções de TI, a VirtuAllIT pode auxiliar sua empresa na avaliação, implementação e otimização das capacidades do VMware Tanzu RabbitMQ e do VMware Tanzu Data Intelligence, garantindo que sua infraestrutura de dados esteja preparada para os desafios e oportunidades da era digital.