2/6 – Engenharia de Dados – Arquitetura Orientada a Mensagens

Arquitetura Orientada a Mensagens

Estação de Correios Intergaláctica: Ingestão de Dados

Imagine o início de um pipeline de dados como uma estação de correios intergaláctica. Aqui, pacotes de dados são constantemente entregues, cada um vindo de diferentes sistemas planetários e galáxias, também conhecidos como dispositivos IoT –  IoT ou Internet das Coisas, refere-se à rede coletiva de dispositivos conectados e à tecnologia que facilita a comunicação entre os dispositivos e a nuvem, bem como entre os próprios dispositivos. Como uma estação espacial que recebe sinais de todas as direções, essa estação tem a tarefa hercúlea de capturar dados que são tão variados quanto as estrelas no céu.

O Desafio da Comunicação Interestelar: Variedade e Velocidade

Cada dispositivo IoT é como uma nave enviando sinais em diferentes idiomas e dialetos cósmicos. Alguns enviam informações vitais a cada trinta segundos, enquanto outros podem transmitir dados menos frequentemente, mas não menos importantes. O pipeline de dados deve ser capaz de entender todos esses idiomas e processá-los em uma velocidade que desafia a luz, garantindo que a comunicação ocorra sem interferências ou atrasos.

A Central de Comunicações Espaciais: Pub/Sub

Para gerenciar essa tabela de comunicações intergalácticas, o Google Cloud oferece o Pub/Sub, um sistema que age como um mega alto-falante cósmico. Ele anuncia cada novo pacote de dados que chega e se certifica de que eles foram entregues aos destinatários corretos. Na verdade, o Pub/Sub pode ser considerado uma central de comunicações espacial que recebe, organiza e distribui os dados para as várias entidades e sistemas que dependem dessa informação vital. Além disso, O Pub/Sub garante que cada “pacote” de dados seja entregue de forma confiável, atuando como um hub que mantém a integridade e a eficiência da comunicação. Mesmo que um sinal seja perdido ou um dispositivo falhe, o sistema garante que o restante da rede continue funcionando sem interrupção, mantendo a harmonia cósmica do universo de dados.

O Pub/Sub não é apenas um alto-falante; é o coração pulsante da estação de correios intergaláctica. Ele garante que cada “pacote” de dados seja entregue de forma confiável, atuando como um hub que mantém a integridade e a eficiência da comunicação. Mesmo que um sinal seja perdido ou um dispositivo falhe, o sistema garante que o restante da rede continue funcionando sem interrupção, mantendo a harmonia cósmica do universo de dados.

Usina de Processamento de Sinais: Dataflow

Após a central Pub/Sub captar e anunciar a chegada dos dados, o Dataflow entra em ação como uma usina de processamento de sinais. Ele transforma e adapta as informações para um formato mais palatável e organizado, adequado para armazenamento em um grande repositório de conhecimento analítico, como o BigQuery. É aqui que os dados são refinados, como minerais brutos transformados em metais preciosos.

Telescópios Avançados: Ferramentas de Análise e Visualização

Com os dados agora devidamente processados e armazenados, ferramentas de visualização e análise entram em cena. Looker, Vertex AI e outras tecnologias são como telescópios avançados que nos permitem examinar as constelações de dados. Eles transformam o que antes era um emaranhado de informações em insights claros e compreensíveis, revelando padrões e oportunidades antes ocultos nas profundezas do espaço de dados.

Harmonia Cósmica: O Funcionamento Integrado do Sistema

Quando todos esses elementos funcionam em conjunto, o resultado é um pipeline de dados que opera com a precisão de uma sinfonia. Cada ferramenta desempenha seu papel, garantindo que os dados não apenas cheguem ao destino, mas também se transformem em conhecimento e ação. Assim, a estação de correios intergaláctica não só administra o caos do influxo de dados, mas também extrai beleza e ordem das estrelas de informação que passam por ela.

E é orquestrada pelo maestro (Pub/Sub) Cloud Composer, que acelera e simplifica os processos de criação e agendamento de workflows, podendo ser criados por usuários de qualquer nível de experiência com apenas alguns cliques.

Créditos: Lucas de Sá.