Como a escalabilidade melhora a taxa de transferência e o desempenho no gerenciamento de dados
Imagine se você pudesse fornecer valor exponencial em suas iniciativas de gerenciamento de dados. Bem, você pode, com escalabilidade funcional.
A escalabilidade funcional é a capacidade de escalar para atender aos requisitos de negócios em constante mudança sem interromper as funções existentes de uma solução de gerenciamento de dados . O objetivo, é claro, é fornecer valor comercial.
Uma analogia é o relógio da Apple. É uma ferramenta multifuncional que fornece funções (além de contar as horas) para condicionamento físico, entretenimento, comunicação, etc. Sua imensa escalabilidade funcional significa que você não precisa comprar um relógio para cada nova necessidade que surgir.
A escalabilidade funcional não é tão crítica se você estiver arquitetando para um objetivo muito específico ou caso de uso distinto. No entanto, as empresas geralmente procuram respostas para várias perguntas, geralmente com insights orientados por dados. Nessa situação, é extremamente útil se uma solução com pouca ou nenhuma extensão ou atualização puder fornecer praticamente todos os recursos necessários.
A escalabilidade funcional é valiosa devido ao seu poder de composição: à medida que mais casos de uso são entregues por uma solução, o valor das soluções aumenta exponencialmente.
Como a escalabilidade funcional oferece suporte ao gerenciamento de dados
No contexto do gerenciamento de dados, a escalabilidade funcional é um pilar fundamental para seus dados, análises e metas de negócios. Vejamos o papel que a escalabilidade funcional desempenha na cobertura abrangente de recursos, integração entre componentes com metadados e dentro e entre casos de uso.
- Abrangência de funcionalidade. O primeiro aspecto da escalabilidade funcional no gerenciamento de dados deve abranger a abrangência da funcionalidade dentro de seus recursos principais. Isso significa ter a capacidade de oferecer suporte a diferentes padrões de design e estruturas de computação.
Vamos explorar como isso funciona com uma solução de integração de dados. Nesse caso, a abrangência da funcionalidade central vem, por exemplo, do atendimento a diferentes padrões de integração (por exemplo, ingestão , extração, transformação, carregamento (ETL), extração, carregamento, transformação (ELT), streaming, etc.). No entanto, isso também deve abranger a profundidade das capacidades. Por exemplo, se olharmos para ELT, isso pode significar oferecer suporte a ELT em data lakes ou data warehouses na nuvem , suporte a ELT baseado em Spark para grandes volumes, bem como suporte a ANSI SQL/procedimentos armazenados para um data warehouse local.
Conforme mostrado na Figura 1, a solução de integração de dados fornece uma variedade de recursos em diferentes padrões de integração de dados. Isso significa que a solução pode ser usada em vários casos de uso de integração de dados. Isso permite que a mesma solução e habilidades sejam utilizadas para diferentes cenários, o que elimina a necessidade de manter várias soluções e treinar equipes em novas tecnologias.
Figura 1. Um exemplo de escalabilidade funcional em uma solução de integração de dados.
- Integração de metadados entre componentes. A integração entre componentes ocorre quando diferentes recursos de gerenciamento de dados se integram bem entre si e trocam metadados inteligentes . Sem isso, uma empresa teria o melhor conjunto de soluções, mas exigiria uma quantidade imensa de esforço (e custo) para integrar essas soluções.
A integração aqui geralmente está em diferentes níveis de granularidade e requer automação e recursos para traduzir o idioma de uma solução para outra. Além disso, deve ser capaz de aumentar e exibir efetivamente as informações recebidas de outras soluções. Isso permite que você confie nos insights fornecidos pelos metadados integrados. Ele também fornece uma exibição de painel único que pode ser personalizada com base em suas necessidades.
Figura 2. Um exemplo de escalabilidade funcional em recursos de gerenciamento de dados com metadados compartilhados.
- Dentro e através do aplicativo de caso de uso. A verdadeira escalabilidade funcional é alcançada com uma solução que pode atender a vários casos de uso, bem como estender um caso de uso. Por exemplo, você deseja aproveitar a mesma solução de gerenciamento de dados para entender e analisar a visão de 360 graus de um cliente (sua família, preferências, sentimento etc.) e deseja usar a mesma solução para um caso de uso diferente, como nuvem modernização. Isso é importante porque a mesma solução e padrões de design podem ser reutilizados para diferentes casos de uso, o que fornece valor exponencial e economiza tempo a longo prazo.
Um exemplo é estender a visão de 360 graus de um cliente, capturando também os consentimentos do cliente (ou seja, eles solicitaram que seus dados fossem esquecidos).
Figura 3. Um exemplo de escalabilidade funcional para dimensionar o caso de uso e estendê-lo para um caso de uso relacionado.
Como a Informatica aborda a escalabilidade funcional?
Informatica Intelligent Data Management Cloud™ (IDMC) , nossa plataforma de gerenciamento de dados de ponta a ponta, nativa da nuvem, com pouco ou nenhum código (Figura 4), foi arquitetada com os princípios básicos de escalabilidade funcional. Vamos examinar como alguns dos principais atributos do IDMC ajudam você a obter um tempo de colocação no mercado mais rápido, melhorar o ROI e gerenciar melhor os riscos.
- O IDMC oferece um conjunto de serviços modulares que podem ser usados individualmente, mas também integrados, para fornecer um conjunto holístico de serviços de gerenciamento de dados. Isso pode ocorrer desde o momento em que os dados são conceituados até serem consumidos e usados para insights e valor. Isso permite que vários consumidores de dados aproveitem o IDMC com suas próprias perspectivas, ao mesmo tempo em que podem colaborar em objetivos e casos de uso comuns.
Figura 4. Conjunto abrangente e integrado de recursos do IDMC.
- O IDMC oferece abrangência funcional em cada um de seus serviços. A arquitetura de design de uma plataforma de baixo código/sem código oferece a capacidade de ter um painel de controle reutilizável e, ao mesmo tempo, ser capaz de executar nativamente de maneira híbrida/multi nuvem. O IDMC oferece escalabilidade funcional no contexto da abrangência, ao mesmo tempo em que oferece flexibilidade em termos de armazenamento e computação.
Conforme mostrado na Figura 5, você pode escolher diferentes mecanismos de execução com base no custo e no desempenho. A flexibilidade computacional ajuda a gerar economia de custos e/ou ganhos de desempenho.
Figura 5. Os serviços do Informatica Data Integration oferecem uma experiência de design comum junto com diferentes mecanismos de execução.
- Os serviços IDMC se integram entre si em termos de troca de metadados e automação com seu mecanismo CLAIRE ® AI / ML. Um exemplo comum é a qualidade dos dados. Conforme mostrado na Figura 6, o processo de qualidade de dados melhora os recursos de gerenciamento de dados.
Uma regra criada no serviço Informatica Cloud Data Quality pode ser usada no serviço Informatica Cloud Data Integration ou no serviço Informatica Multidomain Master Data Management . A partir daí, os resultados podem ser visualizados e agregados no serviço Informatica Cloud Data Governance , no serviço Informatica Data Catalog ou no Informatica Cloud Data Marketplace . Isso leva a uma maior produtividade a partir de insights orientados por metadados e reduz o esforço manual e os erros.
Figura 6. O processo de qualidade de dados de ponta a ponta melhora os recursos de gerenciamento de dados.
- Com sua amplitude e profundidade de serviços, o IDMC pode ser aproveitado em vários setores e em vários casos de uso, desde modernização de nuvem, fusões e aquisições e iniciativas de gerenciamento de dados.
O IDMC também oferece suporte a diferentes padrões de arquitetura, como malha de dados, malha de dados, data lakes/armazéns, pilha de dados moderna etc. Isso reduz custos e oferece imensa flexibilidade.
Créditos: Informatica.