Panorama de Dados: tendências e oportunidades

O cenário de dados evoluiu e se tornou mais complexo à medida que as organizações reconhecem a necessidade de alavancar dados e análises. A Inteligência Artificial Generativa pressionou ainda mais as organizações a gerenciar essa complexidade. Na TDWI, vemos empresas coletando dados estruturados tradicionais, bem como dados não estruturados (como texto e imagens) para dar suporte a análises mais avançadas. Uma pesquisa não publicada da TDWI em 2024 sobre dados e análises mostra que esses diversos tipos de dados estão crescendo. Além disso, os entrevistados da pesquisa dizem que sua principal prioridade de gerenciamento de dados é dar suporte a análises sofisticadas, incluindo análises preditivas, IA, aprendizado de máquina, processamento de linguagem natural (PNL) e outras técnicas avançadas de análise. Isso é mais importante do que migrar para a nuvem, implantar um catálogo de dados ou fortalecer a segurança e a privacidade. 

Dar suporte à IA requer novos algoritmos, novas plataformas e novas habilidades e papéis, juntamente com suporte para diferentes personas. As organizações devem estar cientes de várias tendências, tanto para ajudar a gerenciar a complexidade atual do ambiente de dados quanto para se preparar para o que está por vir. 

Tendência nº 1: IA Generativa faz organizações perceberem que suas bases de dados precisam de trabalho

A IA Generativa se refere a sistemas de inteligência artificial projetados para criar novas saídas, como imagens, música, texto e outras formas de mídia, com base nos dados de entrada em que são treinados. Esse corpus geralmente é a internet, especialmente no caso de modelos de linguagem grandes (LLMs), um tipo popular de IA generativa (pense em ChatGPT). Na mesma pesquisa não publicada, o TDWI descobriu que, embora menos de 10% dos entrevistados tenham sistemas de IA generativa em produção, a maioria das organizações está explorando ou experimentando a tecnologia. Casos de uso populares incluem chatbots e sistemas de integração de funcionários. Algumas organizações estão até mesmo procurando front-end seus armazenamentos de dados com IA generativa para análise.

À medida que as organizações avançam com suas estratégias de IA Generativa, elas geralmente querem usar seus próprios dados da empresa. Muitas não querem usar modelos públicos de IA, pois não querem que esses modelos treinem em seus dados privados, então usam modelos de base privada e tentam construir seus próprios aplicativos. No entanto, os problemas geralmente surgem. Em alguns casos, as organizações percebem que sua base de dados não é adequada para IA. Os dados podem estar em silos, o que dificulta a construção de um conjunto de dados enriquecido para IA ou a construção de aplicativos de IA que utilizem dados em contexto usando técnicas como geração aumentada de recuperação (RAG). Seus dados podem não ser de alta qualidade. O TDWI rotineiramente descobre que apenas cerca de metade dos mesmos entrevistados da pesquisa estão satisfeitos com a qualidade de seus dados. Com a IA generativa, também vem a necessidade de garantir que todos os tipos de dados, estruturados e não estruturados, sejam governados. Essa base de governança precisa ser implementada como parte da jornada de gerenciamento de dados.

Tendência nº 2: As organizações estão migrando para plataformas unificadas para análises avançadas

Mesmo antes do surgimento da IA ​​generativa, a TDWI descobriu que as organizações queriam unificar seus dados para dar suporte às suas iniciativas de análise avançada. A análise orientada por IA, geralmente requer um conjunto de dados enriquecido que pode consistir em diversos tipos de dados — por exemplo, texto de notas de call center em combinação com dados tradicionais de sistemas ERP ou CRM, para determinar se um cliente provavelmente irá se desligar. As organizações gostam da ideia de unificação de dados para capturar e alavancar tipos de dados emergentes, obter um tempo de insight mais rápido, disponibilizar dados mais diversos para análise e melhorar o desempenho e a escalabilidade da plataforma. 

Plataformas unificadas estão se tornando bastante populares, e abordagens para unificação incluem arquiteturas lógicas e físicas.

A arquitetura lógica de dados permite que as organizações visualizem seus dados como se fossem uma única fonte de dados, mesmo que possam estar em vários silos físicos. Um data fabric é uma abordagem para uma arquitetura lógica. O data fabric mapeia e conecta armazenamentos de dados de aplicativos relevantes usando metadados para descrever ativos de dados e seus relacionamentos. Abordagens populares incluem camadas semânticas e camadas de virtualização. 

Arquiteturas de dados físicos envolvem a implementação física do gerenciamento de dados em várias plataformas. Algumas organizações querem centralizar todos os seus dados em uma plataforma para unificá-los. Por exemplo, Data Lake Houses estão se tornando populares. Eles combinam um data lake e um data warehouse para fornecer estruturas de dados de warehouse e funções de gerenciamento de dados em plataformas de baixo custo, como armazenamentos de objetos em nuvem. Essas novas plataformas têm borrado a distinção entre os Data Warehouses e Data Lakes tradicionais.

Pode ser que, como é quase impossível centralizar todos os dados, a abordagem de Data Fabric seja utilizada por mais organizações no futuro, pois elas precisam continuar a unificar seus dados diversos.

Tendência nº 3: Produtos de dados estão se tornando mais comuns

Tanto em relatos quanto em nossas pesquisas, vimos mais organizações adotando produtos de dados — ativos derivados de dados. Esses produtos de dados abrangem desde simples conjuntos de dados limpos até pontuações específicas do setor em determinados tópicos (por exemplo, risco) e modelos de machine learning. 

Se os dados são um produto, eles devem ser confiáveis ​​e de alta qualidade, ou ninguém os comprará. Além disso, alguém deve possuir o produto e ser responsável por ele, normalmente uma pessoa do lado comercial da casa. O TDWI reconheceu o surgimento de gerentes de produtos de dados que possuem esses produtos de dados. Em uma pesquisa do Relatório de Melhores Práticas do TDWI de 2023 , quase 40% dos entrevistados designaram indivíduos, funções ou grupos funcionais específicos com responsabilidade pela produção e/ou monetização dos dados e ativos derivados de dados que possuem. Outros 30% estão planejando implementar essa função.

Esses produtos de dados são importantes porque representam uma nova maneira de pensar e entregar dados governados a vários grupos de usuários. Eles também podem ajudar a dar ordem a parte da complexidade do ambiente de gerenciamento de dados, especialmente se houver uma maneira de oferecer esses produtos a mais usuários, como por meio de um mercado de dados interno.

Tendência nº 4: Governança de IA e IA responsável não podem mais ser ignoradas

A governança de dados sempre está no topo da lista de prioridades de gerenciamento de dados nas pesquisas, mas esse não é o caso da governança de IA. A governança de IA inclui as estratégias, processos e ferramentas para garantir que os resultados da IA ​​sejam confiáveis, acessíveis apenas a indivíduos autorizados e em total conformidade com os regulamentos relevantes. A IA responsável exige uma abordagem proativa para identificar e mitigar riscos comerciais, legais e éticos para criar confiança e entregar valor comercial tangível. Inclui segurança, justiça, aplicabilidade, sustentabilidade, confiabilidade e privacidade. 

A governança de ativos de IA inclui a capacidade de documentar, versionar e monitorar modelos de IA em produção para garantir que eles não fiquem obsoletos. Também será importante garantir que a saída desses modelos seja explicável e que os modelos não alucinem (um termo que se aplica a modelos de IA Generativos que produzem saída incorreta). Esta é uma área nova, mas que será extremamente importante para as organizações. 

Quais tendências fazem sentido para sua organização?

Sua organização precisa de IA generativa e pode construir a base de dados necessária para suportá-la? Embora a IA Generativa seja a principal prioridade de muitas empresas, isso não significa que você necessariamente precisa dela ou precisa dela agora . Será importante para sua organização primeiro determinar se há um problema de negócios que você precisa resolver que requer IA generativa. Na TDWI, os entrevistados de nossas pesquisas estão dando à IA generativa uma prioridade maior do que ao aprendizado de máquina para 2024. Isso é interessante, dado que muitas organizações têm sucesso com aplicativos de aprendizado de máquina, como previsão de rotatividade, identificação de fraudes e melhoria de sua compreensão do comportamento do cliente. Não entre na onda da IA ​​Generativa porque você acha que todo mundo está usando. Sim, há valor a ser obtido da IA Generativa, mas requer que a infraestrutura, o financiamento, as habilidades, a cultura e a governança corretos estejam em vigor.

Se você decidir seguir em frente com um aplicativo de IA Generativa , sua organização precisará determinar quais dados são necessários para o aplicativo, localizar as fontes de dados e decidir se elas são facilmente utilizáveis. Pode fazer sentido utilizar uma abordagem em fases, por meio da qual você pode primeiro construir um Chatbot (se for uma necessidade comercial) que utilize uma única fonte de dados (como informações do produto) e, em seguida, expandi-lo para incluir dados do cliente. Será importante considerar a arquitetura e construir governança no processo.

Conte com a nossa equipe especializada para propor as melhores soluções em dados para o momento do seu negócio. 

Fonte: Datamanagementblog