Quais recursos do catálogo de dados eu realmente preciso?

Certos recursos e capacidades essenciais do catálogo de dados fornecem uma base muito importante para o gerenciamento de metadados à medida que o cenário de dados cresce e muda rapidamente. O novo campo de batalha do nosso tempo é obter vantagem competitiva por meio da mineração de inteligência de negócios a partir de Big Data encontrados nos data lakes e armazéns de hoje. No entanto, apesar de assumir o compromisso de se tornar orientado por dados, muitas organizações parecem estar falhando em seus esforços.¹

Em uma pesquisa recente com executivos², apenas 26,5% relataram ter uma organização e uma cultura orientadas por dados. As organizações precisam transformar seus ativos de dados em inteligência de dados que alimentam a tomada de decisões orientada por dados para crescimento e lucros. 

E qual é o primeiro passo em qualquer iniciativa de transformação digital orientada por dados? Governar e compartilhar seus dados com confiança, conectando consumidores de dados com a inteligência de negócios de que precisam.

• Em outras palavras, faça um inventário de seus big data e avalie seu valor. Em seguida, maximize esse valor democratizando o uso de dados em toda a sua organização, conectando produtores e consumidores de dados com mais eficiência por meio da automação.

Resolva desafios organizacionais com recursos e capacidades modernas do catálogo de dados em nuvem

Hoje, as organizações consideram desafiador democratizar o uso de dados. Dados diversos e distribuídos em muitos silos e aplicativos departamentais diferentes não são fáceis de encontrar, muito menos de acessar. E você não pode gerar análises de dados e resultados de negócios confiáveis ​​com dados difíceis de encontrar, entender e confiar. Alguns dos dados podem residir no local, enquanto outros estão em data warehouses e data lakes na nuvem. Não saber a origem de seus dados e quem os possui – ou se você pode confiar neles – torna difícil saber quais dados você tem para dar suporte a iniciativas de criação de valor que impulsionam o crescimento, a inovação, a eficiência e muito mais.

Outra complicação é a falta de visibilidade da movimentação de dados na cadeia de fornecimento de dados. Com o aumento do número de fontes, tipos e formatos de dados, o cenário de dados se torna ainda mais complexo. A importância de incorporar os recursos modernos de catálogo de dados em nuvem de linhagem de dados e análise de impacto não pode ser exagerada.

Considere os seguintes desafios que podem ocorrer quando a catalogação e a linhagem de dados não são aproveitadas de forma eficaz:

1. Visibilidade limitada. Os dados distribuídos tornam virtualmente impossível para uma organização obter uma visão completa sem a catalogação automatizada de dados. Os dados isolados tendem a apresentar apenas uma imagem fragmentada das atividades de negócios. Como resultado, você acaba perdendo valiosos insights de negócios ocultos nos dados.
2. Afeta a integridade dos dados. Os silos de dados criam fragmentação de dados, o que resulta em baixa garantia da qualidade dos dados. E essa fraqueza de dados causa baixa confiança na confiabilidade – até mesmo danos caros – de resultados não confiáveis. Veja o caso da empresa de energia canadense TransAlta. Um simples erro de recortar e colar cometido ao usar planilhas para armazenar, analisar e mover seus dados custou 24 milhões de dólares.
3. Risco de exfiltração de dados. Um ambiente de análise de autoatendimento pode estar em alto risco de exfiltração acidental de dados. Eventos como esse representam perda de credibilidade para o empreendimento. Isso aconteceu com a Federal Deposit Insurance Corporation (FDIC). Um funcionário baixou dados de 44.000 clientes FDIC em um dispositivo de armazenamento pessoal por engano, resultando em uma grande violação cibernética. Uma solução de catalogação e linhagem de dados conectada a um mercado de dados pode fornecer maior controle sobre o uso apropriado de dados.
4. Custos aumentados. Os dados também têm um custo financeiro. Existem custos de infraestrutura relacionados ao armazenamento de dados. Se você deseja mover dados, incorre em custos de migração. Leva tempo e esforço para coletar e usar dados também. Portanto, é bom considerar como a redundância, manutenção e duplicação de dados exigirão mais recursos.
5. Requer validação de pipelines de dados. Isso significa que você precisa garantir que todos os ativos de dados aprovados sejam de fontes de dados autorizadas. Você também precisa garantir que seus pipelines de dados não estejam transferindo dados não autorizados. Há uma necessidade crescente de conhecer a origem (proveniência) e a linhagem de dados de ativos de dados confidenciais e pessoais para políticas de residência de dados, mandatos regionais, como leis de privacidade e muito mais.
6. Isso atrapalha a colaboração. Os silos de dados emergem dos silos formados por separações organizacionais. E conforme você constrói sobre cada camada de separação, você cria limites tribais e incompatibilidades técnicas. A colaboração significativa que pode melhorar a inteligência de negócios é um desafio quando você desconecta produtores e consumidores de dados.

Então, como você aborda essas questões?

Crie uma única fonte de verdade para os dados da sua organização.

Um catálogo de dados ajuda você a enfrentar todos os desafios de dados acima e muito mais. As ferramentas de catálogo de dados permitem que uma organização crie e mantenha um inventário de ativos de dados por meio da automação. Eles fazem isso por meio da descoberta, marcação de metadados, inventário e organização de seu conjunto de dados. Um catálogo de dados também permite contexto comercial e técnico. Ele funciona em conjunto com um glossário de negócios para ajudar a definir melhor o contexto dos dados.

O contexto pode ser útil para consumidores de dados, como engenheiros de dados ou administradores de dados, conforme eles encontram e entendem conjuntos de dados relevantes. Também pode ajudar as equipes de negócios a alavancar a inteligência de dados para atividades de criação de valor. Um catálogo de dados organiza detalhes como metadados técnicos em um formato simples e consumível. Isso permite que usuários de negócios e tomadores de decisão sintetizem essas informações em muitos dicionários de dados. Os usuários corporativos podem então confiar e acessar dados limpos e de alta qualidade em todos os aplicativos.

Saiba como a inteligência de dados pode ajudar a aproveitar suas oportunidades de criação de valor e gerar melhores resultados de negócios a partir de dados confiáveis. Os dados podem ser o recurso mais valioso do mundo, mas é o que você faz com os dados brutos que conta. Organizações orientadas a dados bem-sucedidos sabem que o primeiro passo é descobrir dados brutos e catalogá-los. O próximo passo é fazer a curadoria e enriquecê-lo para confirmar se ele é adequado para o propósito. E, finalmente, democratize-o para seus usuários por meio de ferramentas de compartilhamento de dados.

Use recursos de catálogo de dados inteligentes para criar confiança nos dados

Como você deve avaliar um catálogo de dados?

Antes de embarcar em uma avaliação de soluções modernas de catalogação de dados em nuvem, você deve determinar o que deseja fazer. Os recursos e capacidades do catálogo de dados oferecem opções que podem gerar oportunidades para criar valor. Eles podem automatizar a aceleração da inteligência de dados ou democratizar o compartilhamento de dados para uma organização. Mas os dados só são significativos para os tomadores de decisão se você puder enriquecê-los com contexto, que vem de pessoas e percepções de um bom gerenciamento de metadados. Conectar dados confiáveis ​​ao seu contexto e compartilhar entre produtores e consumidores de dados é importante. Pode ser a diferença entre tomar decisões certas ou erradas com os dados. Por exemplo, usar os sistemas imperial versus métrico e usar a definição de unidade errada para pendurar uma prateleira pode não parecer um grande problema. Infelizmente para a NASA, essa lacuna na compreensão pode custar milhões de dólares.

As organizações desejam obter vantagem competitiva com melhor inteligência de negócios para uma tomada de decisão mais informada. Eles também querem automatizar tarefas rotineiras e não rotineiras. A adoção de modelos de Inteligência Artificial (IA) e aprendizado de máquina (ML) permite que eles aproveitem o poder da nuvem.

5 recursos de catálogo de dados de nuvem modernos obrigatórios

Esses cinco recursos ajudam a garantir que você aproveite ao máximo seus dados corporativos:

• Inteligência automatizada de dados. A automação de processos, incluindo insights orientados por metadados, evita as tarefas manuais que consomem tempo e recursos valiosos ao procurar respostas. As tecnologias automatizadas aproveitam o uso e as consultas de dados para vincular ou atribuir contexto de negócios a ativos de dados em escala.
• Conectividade de democratização de dados. Um catálogo de dados acessível que vincula inteligência de dados com entrega de dados para consumidores de dados permite a transparência de dados para permitir que até mesmo usuários não técnicos encontrem, acessem e usem dados. Conectar produtores e consumidores de dados permite uma colaboração mais rápida e confiável em toda a empresa, fornecendo dados confiáveis ​​e minimizando a exposição desnecessária a riscos.
• Descoberta de dados e análise de linhagem de dados . Dois pilares principais de um catálogo de dados moderno, esses dois pilares ajudam a criar confiança nos dados que você usa para derivar inteligência de negócios de big data, descobrindo fontes de dados desconhecidas e rastreando a movimentação de dados para entender seu impacto.
• Governança de dados. Recursos abrangentes que automatizam a administração de dados podem garantir a disponibilidade de dados confiáveis ​​para os usuários, alinhando os usuários comerciais e técnicos em torno da finalidade dos dados. A governança automatizada ajuda a melhorar a qualidade dos dados e a controlar a exposição apropriada dos dados. Somente aqueles que são consumidores de dados qualificados devem ser capazes de acessar e usar conjuntos de dados relevantes.
• Curadoria de metadados. As organizações que adotam ambientes de várias nuvens precisam se conectar a vários bancos de dados com uma abordagem “”. Seu sucesso também depende de visibilidade abrangente e acesso a dados. 

Eles precisam de um catálogo de dados que possa se conectar e extrair metadados da infraestrutura legada, bem como de ambientes modernos, seja no local ou na nuvem. Isso inclui data warehouses e lakes, ferramentas ETL e BI.

Simplifique os dados com a catalogação de dados integrada na nuvem

Obtenha o máximo de seus dados com esses recursos de catálogo de dados inteligentes

Um catálogo de dados em nuvem moderno ajudará você a encontrar, preparar, entender e confiar em big data. Um mecanismo de descoberta baseado em aprendizado de máquina verifica armazenamentos de dados em nuvem, ferramentas de BI, ETL, ativos de dados de terceiros e muito mais. Em seguida, você pode selecionar e preparar seus dados com descoberta e recomendações automatizadas de domínio. Os usuários corporativos e de TI podem facilmente descobrir, entender, confiar e acessar dados relevantes e aplicar percepções orientadas por dados. 

Os recursos inteligentes do catálogo de dados incluem:

• Pesquisa semântica
• Linhagem de dados de ponta a ponta
• Descoberta de domínio
• Qualidade de dados integrada

As organizações são mais produtivas quando usam ferramentas de catálogo de dados para habilitar inteligência preditiva de dados. Eles também podem economizar tempo em esforços manuais: digitalizar dezenas de milhões de registros, criar um inventário com centenas de fontes de dados e agrupar milhares de termos comerciais. As organizações também podem usar a catalogação de dados inteligente para visualizar rapidamente a linhagem de dados de ponta a ponta.

Próximos passos

Se você deseja obter visibilidade de ponta a ponta, encontrar dados críticos com uma pesquisa simples ou compartilhar dados confiáveis ​​para capacitar sua organização, a ATRA pode te ajudar! Entre em contato com nossa equipe comercial.

¹ IDC Infographic , patrocinado pela Informatica, “Delivering Data Value by Activating Data Intelligence,” (Doc# US49588722, setembro de 2022)

² https://hbr.org/2022/02/why-becoming-a-data-driven-organization-is-so-hard

Créditos: Informatica