Otimize a adoção do Databricks Delta Lakehouse com integração de dados na nuvem mais rápida e fácil.
A Informatica anunciou recentemente recursos avançados de integração de dados que tornam mais fácil para as organizações compartilharem dados rapidamente usando Informatica e Databricks .
O Informatica Intelligent Data Management Cloud (IDMC) agora oferece integração de dados nativa da nuvem e sem código que transforma dados nativamente no Databricks SQL. 1 Essa é uma etapa importante que permite que os profissionais de engenharia de dados aproveitem o desempenho e a escala do Databricks enquanto se beneficiam da facilidade e velocidade de desenvolvimento com o Informatica Cloud Data Integration . Os pipelines de dados sem código da Informatica são fáceis de construir, oferecem tempos de desenvolvimento muito mais rápidos e são muito mais fáceis de reutilizar e manter do que a codificação manual.
A Informatica também lançou novos recursos de governança de dados para extrair a linhagem de dados de notebooks Databricks codificados manualmente no PySpark e Spark SQL. Extrair a linhagem de dados da codificação manual normalmente é extremamente difícil de fazer, mas com os novos Scanners Avançados para Databricks da Informatica, independentemente de como os diferentes usuários de Databricks desenvolvem – sem código ou com codificação manual – a Informatica pode capturar a linhagem de dados completa para criar transparência e confiança nos ativos de dados nos databricks lakehouses dos clientes. Essas duas novas ofertas já estão disponíveis para todos.
O IDMC da Informatica está levando o Databricks Delta Lakehouse e o Databricks SQL para mais usuários com o desempenho nativo e a escala do Databricks com os seguintes recursos principais:
1) Carregar dados no Delta Lakehouse para ETL ou cargas de trabalho ELT . Os clientes podem aproveitar os mais de 200 conectores nativos da Informatica para fontes locais e na nuvem. Além disso, os clientes também podem optar por carregar dados de bancos de dados legados ou operacionais em grandes volumes com o Database Mass Ingestion. Um assistente simples de quatro etapas permite que os usuários carreguem os dados do banco de dados SQL Server, Oracle e DB2 para cargas iniciais, bem como cargas incrementais quase em tempo real no Delta.
2) Transforme os dados em Delta aproveitando o SQL do Databricks. Com o Advanced Pushdown Optimization (PDO), os clientes agora têm a capacidade de desenvolver seus pipelines de engenharia de dados Delta-to-Delta usando a GUI da Informatica e, em seguida, executar essas cargas de trabalho aproveitando o mecanismo Photon do Databricks SQL à medida que preparam os dados das zonas bronze, prata e ouro.
3) O scanner avançado para Databricks permite que os clientes digitalizem Databricks Notebooks que usam PySpark ou SQLSpark e exibam os mapas de linhagem resultantes em Catálogo de Dados da Informatica . Isso permite a governança de ponta a ponta de pipelines de dados para aprendizado de máquina e ciência de dados para engenharia de dados sem código e codificado à mão.
Com os novos recursos de integração de dados Databricks SQL da Informatica, você pode descobrir insights significativos usando análises, IA e aprendizado de máquina em escala.
A ATRA tem parceria com a Informatica® para oferecer os melhores produtos e serviços em integração de dados, migração de dados, movimentação de dados, Information Lifecycle Management e Master Data Management. Quer saber mais? Entre em contato conosco!
Créditos: Informatica