4 maneiras de começar com o catálogo de dados
Você provavelmente já leu e ouviu muito sobre como os catálogos de dados ajudam as organizações a operacionalizar a governança de dados e a privacidade de dados em escala. Mas antes de começar, é melhor se você souber as respostas para algumas perguntas:
- Você precisa de um catálogo de dados?
- Quais são as necessidades críticas de negócios que você pode atender com um catálogo de dados?
- Onde é o melhor lugar para começar?
- Quais fatores você deve considerar ao selecionar uma ferramenta de catálogo de dados?
Os catálogos de dados desempenham um papel central na construção de uma cultura orientada por dados para uma organização. Tradicionalmente, os catálogos de dados serviam como uma plataforma central de pesquisa e descoberta de dados, permitindo que os usuários se apropriassem de seus dados. Os catálogos de dados de hoje evoluíram para uma plataforma colaborativa para proprietários e usuários de dados, permitindo também a democratização dos dados. Isso torna mais fácil para os usuários de dados encontrar dados, metadados técnicos e de negócios, entender as políticas de dados, visualizar a linhagem e ganhar confiança por meio da qualidade dos dados. Essas informações objetivas capacitarão as equipes de análise e engenharia de dados, que auxiliarão na governança geral de dados. Por exemplo, linhagem de dados as visualizações podem ser usadas para identificar dados críticos, seu uso e seu impacto downstream durante fusões e aquisições. O catálogo de dados pode ajudá-lo a escolher o melhor sistema de relatórios que atenda às suas necessidades específicas de qualidade de dados.
Você precisa de um catálogo de dados?
Uma organização não precisa de um catálogo de dados se seus engenheiros de dados puderem responder corretamente a perguntas sobre seus dados, o que significam, de onde vêm, como estão conectados e suas alterações posteriores. Agora, se você tem usuários de dados que estão constantemente perguntando a outras pessoas sobre o que um dado específico significa – ou tentando validar relatórios e seu conteúdo – isso é um sinal de que você não tem um modelo operacional de governança de dados escalável em vigor. Com tantas funções de negócios, fontes de dados, data lakes na nuvem e muito mais, é impossível que todos tenham todas as informações (a menos que tenham sido capazes de configurar todos os pipelines de dados do início ao fim). E esse geralmente não é o caso – os engenheiros de dados trabalham apenas em pipelines de dados específicos em setores com uso intensivo de dados, como saúde e varejo,
Identifique suas necessidades de negócios
Existem muitas ferramentas de governança de dados e catálogo disponíveis no mercado para você escolher com base em seu orçamento, necessidades de dados e recursos do produto. Mas qual é o mais adequado para você? Você precisa de todas as ferramentas e recursos que eles oferecem? Você já deve ter lido bastante sobre essas ferramentas e provavelmente visto muitas demonstrações para ajudá-lo a fazer a escolha certa.
Não se apresse, discuta e responda às perguntas abaixo da forma mais clara possível antes de finalizar sua seleção de uma ferramenta de catálogo de dados.
- Quais são os principais casos de uso de negócios para um catálogo de dados em sua organização?
- Quais são os recursos comerciais e técnicos desejados que você precisa para atingir seus objetivos de governança?
Descrever a necessidade de negócios de um catálogo de dados para sua organização deve ser o primeiro item em sua agenda ao pensar em investir em um catálogo de dados. Discuta com seus colegas de negócios e técnicos. Faça uma lista dos casos de uso de negócios que você deseja resolver com a ferramenta e identifique quais metadados devem estar no catálogo. Seus pares de dados precisam entender quais problemas de dados você está tentando resolver e concordar com as responsabilidades compartilhadas antes de prosseguir. Abaixo estão alguns dos requisitos de negócios mais comuns.
- Sob medida para indústria específica
- Vocabulário de negócios comum em toda a organização
- Suporta todas as fontes de dados e formatos atualmente em uso
- Gerenciamento de metadados
- Compreender os sistemas upstream que contribuem para os dados e os sistemas downstream que fazem uso de dados
- Observe as mudanças na qualidade e identifique problemas de dados
- Operacionalizar as políticas de privacidade de dados que se aplicam aos dados
Onde é o melhor lugar para você começar?
Seus objetivos para o catálogo de dados devem ser mais do que apenas pesquisa de metadados. Com a solução certa, você pode permitir que os usuários realizem ações a partir desse insight. Comece pequeno, identificando um projeto crítico na organização. Por exemplo, em uma empresa de varejo, esse projeto crítico pode ser a governança de dados para detalhes de pedidos de clientes para melhorar as oportunidades de vendas cruzadas e adicionais. Forme uma equipe envolvendo proprietários e usuários de dados e planeje a implementação de seu primeiro projeto de catálogo de dados. Comece identificando as fontes de dados necessárias para este projeto e trazendo os dados para o catálogo de dados. Se necessário, os proprietários e usuários dos dados devem validar a descrição, as políticas, a qualidade e a linhagem e adicionar contexto comercial adicional para que seja facilmente compreendido por um público maior. Depois de ter classificado, perfilado e adicionando dados ao catálogo, você pode reutilizar as informações para futuras atividades de governança de dados. Para maior impacto, certifique-se de destacar como o catálogo melhora os processos de negócios para os usuários e a qualidade geral dos dados. Seu próximo objetivo deve ser impulsionar a adoção criando fluxos de trabalho organizacionais em torno do catálogo de dados.
Muito mais do que um catálogo de dados
Nem todos os catálogos de dados são criados iguais. Alguns podem fazer muito mais do que catalogar e linhagem. Para clientes em setores altamente regulamentados, por exemplo, o catálogo deve facilitar a identificação de quais dados são afetados por regulamentações específicas. A linhagem também permite que eles vejam a origem de seus dados e como eles são consumidos. Um mecanismo de qualidade de dados integrado no catálogo de dados é um facilitador essencial para uma governança de dados eficaz de seu patrimônio de dados.
Um catálogo de dados com inteligência artificial pode fornecer inteligência, aproveitando metadados para fornecer recomendações inteligentes, sugestões e automação de tarefas de gerenciamento de dados. Ele usa um mecanismo de descoberta baseado em aprendizado de máquina para verificar e catalogar ativos de dados, no local e na nuvem.
A Informatica pode servir como balcão único para um programa de governança de dados. Nossa plataforma de tecnologia é construída para ser modular, integrada e altamente interoperável. Além disso, nosso mecanismo CLAIRE® aplica inteligência artificial e aprendizado de máquina para automatizar processos anteriormente manuais, como descoberta de dados, catalogação, relatórios e até mesmo aplicação de metadados, para que sua equipe possa dedicar mais tempo à análise e à estratégia.
Primeiro, crie seus casos de uso de negócios, comece pequeno, defina metas mensuráveis e certifique-se de mostrar o ROI. Você deve escolher uma ferramenta com base na complexidade e no tamanho do seu ecossistema de dados. Idealmente, você deve procurar um parceiro de produto cuja oferta possa ser dimensionada e ajudar na descoberta automática com inteligência artificial, associações de glossário automático, recomendações, gerenciamento de metadados ativos, gerenciamento de políticas e linhagem de ponta a ponta.
Lembre-se, esta é uma jornada. Isso torna particularmente importante escolher um parceiro com sabedoria. É sempre melhor se você puder basear sua seleção na profundidade de conhecimento do parceiro – idealmente, demonstrado com uma organização semelhante à sua. Dessa forma, você pode ter certeza de que está escolhendo um parceiro que atende às necessidades do cliente e pode apoiá-lo a longo prazo. E, assim como qualquer software que você adquire para sua organização, você também precisa da adesão e contribuição das pessoas para ter sucesso. Então, socialize o conceito e faça com que as pessoas colaborem e contribuam em todo o processo de seleção. Caso contrário, você pode acabar com uma nova ferramenta brilhante que ninguém usa.
Fale com nossa equipe Comercial para identificarmos a melhor solução para o seu negócio.
Créditos: Informatica