O futuro do gerenciamento de dados CLAIRE GPT
À medida que a inteligência artificial remodela os setores, a Informatica apresenta um novo produto baseado em IA generativa (GenAI), CLAIRE ® GPT, para redefinir o futuro do gerenciamento de dados. À medida que as organizações se afogam em dados, mas anseiam por insights confiáveis, a capacidade de navegar sem esforço em ecossistemas de dados complexos não é mais algo bom de se ter, mas uma necessidade. CLAIRE GPT fornece uma interface de linguagem natural (NL) para o Informatica Intelligent Data Management Cloud TM (IDMC) , permitindo que os usuários descubram, projetem, governem e consumam dados por meio de interações conversacionais simples.
CLAIRE GPT: simplificando o gerenciamento de dados e aumentando a produtividade
CLAIRE GPT é um assistente de gerenciamento de dados com tecnologia GenAI. Ele aprimora o IDMC aproveitando Large Language Models (LLMs) para fornecer uma interface de bate-papo baseada em linguagem natural que automatiza fluxos de trabalho complexos de gerenciamento de dados para democratizar o acesso aos dados para os negócios e aumentar a produtividade das equipes de dados.
CLAIRE GPT está focada em trazer o poder da GenAI para tarefas de gerenciamento de dados e integrar IA e aprendizado de máquina em todos os aspectos do gerenciamento de dados.
Figura 1. Como CLAIRE GPT oferece suporte a usuários corporativos
CLAIRE GPT é um assistente de dados inteligente que os profissionais de dados podem utilizar onde quer que estejam trabalhando (veja a Figura 1). É capaz de compreender o contexto e fornecer orientação e automação customizadas para tarefas de dados. Eventualmente, ele será incorporado a uma variedade de ferramentas de dados, como painéis de BI, cadernos de ciência de dados e até mesmo navegadores da web ou aplicativos de bate-papo.
Nesta postagem do blog, fornecemos uma visão geral da visão e da estratégia de produto da Informatica para aplicar GenAI ao gerenciamento de dados. Destacamos os principais recursos planejados que ajudarão CLAIRE GPT a transformar a forma como os usuários interagem com os dados e o gerenciamento de dados, ao mesmo tempo que limitam erros, alucinações e outras inconsistências frequentemente associadas ao GenAI. Nosso objetivo é melhorar a produtividade das equipes de dados e tornar o acesso de autoatendimento aos dados muito mais fácil para os usuários empresariais. Estamos confiantes de que, com esta abordagem equilibrada, o CLAIRE GPT pode ser o próximo grande salto para experiências de gerenciamento de dados de última geração.
Visão do Produto
A visão de produto da CLAIRE GPT é inspirada na missão da CLAIRE, que visa ajudar as organizações a realizar seus sonhos de transformação digital baseada em dados. Isto é conseguido equipando-os com capacidades avançadas de gerenciamento de dados alimentadas por aprendizado de máquina avançado e inteligência artificial. Hoje, CLAIRE beneficia as equipes de gerenciamento de dados de quatro maneiras principais:
- Melhorar a produtividade dos profissionais de dados,
- Melhorando a eficiência das operações de gerenciamento de dados
- Fornecendo uma experiência de dados guiada de forma mais inteligente
- Gerando um entendimento mais profundo e acelerando os processos de governança de dados.
Com o surgimento dos LLMs e do GenAI, prevemos um crescimento exponencial no impacto do CLAIRE. Isso assumirá a forma de uma experiência IDMC de produtos cruzados baseada em linguagem, chamada CLAIRE GPT. Olhando para o futuro nos próximos 5 a 10 anos, prevemos que a CLAIRE GPT transformará fundamentalmente a gestão de dados em múltiplos aspectos:
- CLAIRE GPT está definido para se tornar o principal modo de interação com dados e gerenciamento de dados: a maioria dos novos trabalhos será acionada direta ou indiretamente por meio da interface de texto para IDMC. Isso se tornará possível com a melhoria exponencial dos recursos do LLM — como precisão, desempenho, memória de longo prazo e roteamento — juntamente com uma experiência do usuário intuitiva e robusta, adaptada especificamente para esta aplicação. A crescente amplitude dos recursos de gerenciamento de dados é alcançável por meio do CLAIRE GPT. Para garantir um progresso rápido, nosso objetivo é ter todos os recursos de gerenciamento de dados — incluindo catalogação de dados , governança de dados , integração de dados , qualidade de dados , gerenciamento de dados mestres , integração de APP e mercado de dados — no IDMC via CLAIRE GPT.
- CLAIRE GPT está disponível como uma experiência autônoma no IDMC e um assistente de inteligência de dados de plantão em vários aplicativos. Está pronto para auxiliar produtores e consumidores de dados onde quer que trabalhem. CLAIRE GPT pode compreender a situação de onde ela é acionada e fornecer inteligência de dados específica ao contexto. Essa funcionalidade se estende a uma ampla variedade de plataformas, incluindo:
Aplicativos IDMC para transformações em massa e manipulação de dados não estruturados,- Ferramentas de BI como Tableau e PowerBI,
- Ambientes de IA como Jupyter Notebooks, plataformas sociais empresariais, incluindo Teams e Slack
- Navegadores como Chrome e Edge, mecanismos de pesquisa e muito mais.
Em terceiro lugar, CLAIRE GPT permite que usuários não técnicos acessem e utilizem ativos de dados com facilidade. Durante muito tempo, os utilizadores empresariais que procuravam acesso self-service aos dados não tinham os meios técnicos e as competências necessárias para compreender onde os dados são armazenados, analisados e preparados.
A necessidade de dominar ferramentas como SQL e Python sempre foi uma barreira. Ele manteve dados valiosos inacessíveis para muitos usuários empresariais — como pesquisadores clínicos que desenvolvem novos medicamentos, gerentes de risco que detectam fraudes, vendedores que determinam a demanda dos clientes e funcionários do governo que prestam novos serviços aos cidadãos. CLAIRE GPT mudará isso, permitindo que esses usuários interajam com ativos de dados usando linguagem natural.
O sistema lidará com tarefas difíceis de gerenciamento de dados, como descoberta, limpeza e identificação de ativos relevantes, aliviando assim o usuário. Desta forma, CLAIRE GPT pretende tornar-se uma plataforma de dados de autoatendimento para empresas.
Benefícios para profissionais de dados
CLAIRE GPT está focada em trazer o poder da GenAI para tarefas de gerenciamento de dados e integrar IA e aprendizado de máquina em todos os aspectos do gerenciamento de dados. Pode aumentar significativamente a produtividade dos profissionais de dados ao:
- Automatizando fluxos de trabalho, permitindo maior foco em iniciativas estratégicas em vez de tarefas manuais.
- Democratizando os dados e o gerenciamento de dados, permitindo que usuários não técnicos criem especificações e executem tarefas básicas de gerenciamento de dados por conta própria.
- Automatizando FinOps, auxiliando na redução de custos de gerenciamento de dados.
- Ajudando a integrar novos usuários ao código de gerenciamento de dados e à base de conhecimento.
Como funciona o CLAIRE GPT
Para alcançar esses benefícios, a CLAIRE GPT aproveita a seguinte ampla gama de recursos orientados por IA:
- Auxilia engenheiros de dados, administradores de dados e engenheiros de confiabilidade de dados com um copiloto de gerenciamento de dados que pode criar dados descobertos, criar pipelines de dados e explorar dados, usando linguagem natural
- Utiliza o conhecimento mundial de LLMs para aumentar as equipes de dados
- Assimila informações contextuais sobre a função e a atividade atual do usuário e, em seguida, gera conclusões substanciais em resposta
- Automatiza o tratamento de metadados e desvios de dados em pipelines de dados
Encontra ativos de dados confiáveis para análise e ciência de dados, explora a relevância e entende o contexto de negócios usando linguagem natural
Figura 2. Componentes CLAIRE GPT
Conforme ilustrado na Figura 2, o sistema CLAIRE GPT consiste nos seguintes componentes principais:
- Classificação de intenção: este módulo analisa a consulta de entrada para extrair termos e frases-chave usando técnicas como reconhecimento de entidade nomeada. Identifica a intenção do usuário e quaisquer entidades relevantes para a consulta.
- Gráfico de conhecimento de metadados: O gráfico de conhecimento contém metadados sobre os ativos de dados da organização, incluindo descrições, esquemas, linhagem, etc. Este gráfico de conhecimento é o mesmo usado pelo serviço Informatica Cloud Data Governance and Catalog (CDGC), inventariando os dados técnicos, metadados de negócios, operacionais e de uso.
- LLMs específicos de caso de uso: com base na intenção e nas entidades extraídas do classificador de intenção, a consulta — ou diferentes partes da consulta — é enviada para um LLM específico de caso de uso ajustado. Por exemplo, para uma consulta de descoberta de dados, a consulta NL é enviada ao Discovery LLM que converte o texto NL em uma consulta de gráfico de conhecimento de metadados, para encontrar os ativos de dados mais relevantes e confiáveis para a consulta.
- Resumidor: Este módulo agrega e resume os resultados do gráfico de conhecimento em respostas concisas e em linguagem natural para o usuário final. Ele aproveita técnicas de processamento de linguagem natural (PNL) para gerar um resumo legível.
Um exemplo de fluxo de trabalho para CLAIRE GPT:
- O usuário insere uma consulta em linguagem natural na interface de usuário (UI)/interface de programação de aplicativo (API) CLAIRE GPT.
- Uma consulta é analisada pelo mecanismo de PNL para extrair intenções e entidades.
- Com base na intenção, o moderador da conversa escolhe o LLM para rotear a consulta/parte da consulta.
- Se for uma consulta de descoberta, o texto de descoberta NL é enviado ao LLM ajustado responsável pela descoberta de dados. Ele constrói uma consulta gráfica formal com base nas informações extraídas.
- O mecanismo de inferência aumenta os resultados da consulta com fatos inferidos do catálogo.
- O resumidor condensa os resultados em um resumo em linguagem natural.
- A resposta resumida é apresentada de volta ao usuário por meio da UI/API CLAIRE GPT.
Fonte: Informatica.