3 Princípios-chave para construir uma arquitetura nativa de nuvem bem-sucedida
Para criar uma arquitetura nativa da nuvem eficaz , primeiro você precisa entender os princípios subjacentes ao seu design. Aqui está um curso rápido sobre o que é nativo da nuvem, por que uma arquitetura nativa da nuvem é importante e três princípios-chave para projetar arquiteturas nativas da nuvem que geram valor comercial, escalabilidade e custo-benefício.
Arquitetura nativa da nuvem: o que é e por que é importante
De acordo com a Cloud Native Computing Foundation, “As tecnologias nativas da nuvem capacitam as organizações a criar e executar aplicativos escaláveis em ambientes modernos e dinâmicos, como nuvens públicas, privadas e híbridas. Contêineres, malhas de serviço, microsserviços, infraestrutura imutável e APIs declarativas exemplificam essa abordagem.”
Ao adotar uma abordagem nativa da nuvem, as organizações podem projetar, construir, modernizar e operacionalizar aplicativos e serviços aproveitando os benefícios de custo, velocidade, agilidade, flexibilidade, resiliência e escalabilidade da nuvem.
Em sua essência, a arquitetura nativa da nuvem é uma metodologia de design para desenvolver e melhorar as arquiteturas de sistema especificamente para a nuvem e seus recursos exclusivos. Tornar-se nativo da nuvem elimina as restrições da arquitetura tradicional enquanto expande o valor comercial.
Três princípios para arquitetura nativa em nuvem
Embora a arquitetura nativa da nuvem tenha as mesmas restrições, elementos funcionais e não funcionais da infraestrutura tradicional, a nuvem apresenta maneiras diferentes de atender a esses elementos. Embora haja uma variedade de princípios específicos da nuvem a serem considerados, é importante entender esses três princípios — XOps, preço sem servidor e baseado em consumo — e como eles beneficiam sua organização.
- XOps: O que é, o que faz e como usá-lo
XOps é um termo abrangente que se refere às operações generalizadas de todas as disciplinas e responsabilidades de TI. Isso inclui BizOps, MarketingOps, DevOps, AIOps, MLOps e DataOps. O objetivo do XOps (dados, aprendizado de máquina, modelo, plataforma) é alcançar eficiências e economias de escala usando as melhores práticas de DevOps. Ele garante confiabilidade, reutilização e repetibilidade, permitindo a automação e reduzindo a duplicação de tecnologia e processos.
A aplicação de entrega contínua e DevOps à análise de dados foi denominada DataOps. Ele aplica princípios de DevOps, desenvolvimento ágil e controle de processos estatísticos para melhorar o tempo de ciclo de extração de valor da análise de dados.
Como operacionalizar XOps para gerar valor comercial: caso de uso de varejo
Digamos que você lidere a prática de dados e análises em uma empresa multinacional de varejo. Durante a temporada de férias, há um aumento repentino na demanda devido a ofertas de desconto em consoles de videogame em todas as suas lojas na América do Norte. No entanto, suas lojas de varejo não conseguem atender à demanda, resultando em perda de clientes e receita para os concorrentes.
Para resolver a situação, você tem a tarefa de prever com precisão a demanda pelos consoles para que as lojas de varejo tenham a quantidade certa de estoque disponível. Para fazer isso, sua equipe precisa criar modelos de aprendizado de máquina para automatizar previsões com base na demanda. Mas a infraestrutura de dados em silos entre diferentes lojas e fornecedores externos torna difícil para os desenvolvedores, cientistas de dados e analistas de dados colaborar e fornecer insights confiáveis. Para quebrar os silos de dados e permitir visibilidade de ponta a ponta dos dados de inventário, sua equipe precisa empregar os princípios do DataOps para criar um modelo de colaboração ágil e contínuo.
Agora, vamos ver como você pode melhorar o gerenciamento de inventário com recursos DataOps integrados da Informatica para integração, entrega e operações contínuas para automatizar a entrega oportuna de dados confiáveis.
Para começar, seus desenvolvedores precisam entender os atributos e padrões de ponto de venda (POS) e dados de inventário de várias fontes, como seu software de planejamento de recursos empresariais (ERP), ferramentas de gerenciamento de recursos do cliente (CRM) e software como um aplicativos de serviço (SaaS).
Mas como você descobre e acompanha a transformação desses dados para que sejam consumíveis para análise?
Ao descobrir ativos de dados com o recurso de pesquisa semelhante ao Google no Informatica Enterprise Data Catalog , seus desenvolvedores obtêm uma visão holística dos dados de PDV e inventário. Eles veem todos os atributos de dados, como nome do cliente, data, hora, quantidade, frequência, inventário de estoque, alterações de estoque e muito mais.
Agora que você descobriu os ativos de dados, precisa ingeri-los dos bancos de dados Oracle da loja e dos sistemas de mainframe do fornecedor no Snowflake, que é a plataforma de análise unificada da sua empresa. A abordagem baseada em assistente do In nformatica Cloud Mass Ingestion permite que você ingira terabytes de dados de bancos de dados Oracle no Snowflake. Você captura e atualiza automaticamente as alterações nos dados em tempo real e as replica no Snowflake.
Depois que os dados são ingeridos, seus engenheiros de dados integram e processam os dados criando um pipeline de dados sem código com o Informatica Cloud Data Integration . Os administradores de dados usam o Cloud Data Quality para criar perfis, limpar e transformar os dados para consumo de análise. Os cientistas de dados agora podem usar esses dados limpos e confiáveis para criar modelos de aprendizado de máquina.
Depois de criar os modelos de aprendizado de máquina, os engenheiros de dados os operacionalizam implantando-os usando uma transformação python na interface do Cloud Data Integration.
Por fim, usando o Informatica Operational Insights , você monitora continuamente os pipelines de dados fornecidos para identificar falhas de trabalho e garantir que os modelos de aprendizado de máquina sejam funcionais.
Após implementar o DataOps com a Informatica, suas lojas preveem com precisão a previsão de demanda, resultando em vendas mais altas, aumento da receita da loja e clientes satisfeitos.
- Desenvolvimento sem servidor: ajudando você a fazer mais com menos
O Serverless é um modelo de desenvolvimento nativo da nuvem que permite que os desenvolvedores criem e executem aplicativos sem precisar gerenciar servidores. Ainda existem servidores em serverless, mas eles são abstraídos do desenvolvimento. Um provedor de nuvem lida com o trabalho rotineiro de provisionamento, manutenção e dimensionamento da infraestrutura do servidor.
Uma vez implantados, os aplicativos sem servidor respondem à demanda e aumentam e diminuem automaticamente conforme necessário. As ofertas sem servidor de provedores de nuvem pública geralmente são medidas sob demanda por meio de um modelo de execução orientado a eventos. Como resultado, quando uma função sem servidor está ociosa, não custa nada.
Um exemplo real de desenvolvimento sem servidor: entrega de alimentos
Digamos que você lidere o grupo de análise e engenharia de dados para uma startup de entrega de alimentos em rápido crescimento. Sua empresa acabou de assinar um acordo com uma grande empresa de cartão de crédito que permite que os titulares de cartões recebam entrega gratuita de alimentos em seu aplicativo. Você espera um grande aumento nas transações, tráfego na web e volume de dados nos próximos dias.
Seu mecanismo de recomendação personalizado sugere pratos e restaurantes com base em pedidos anteriores e preferências do usuário. Mas foi construído em uma estrutura MapReduce mais antiga que não pode ser dimensionada. Para fornecer recomendações personalizadas em tempo real, sua equipe de ciência de dados cria um algoritmo de classificação com base nas preferências do usuário, semelhança demográfica e um recurso de pré-filtragem com base na geolocalização. Esse algoritmo apresenta aos usuários apenas restaurantes dentro de sua faixa de entrega.
Para levar esse modelo de aprendizado de máquina rapidamente à produção, você precisa executá-lo como parte de seu pipeline de engenharia de dados, que foi criado principalmente para um padrão do tipo lote. Há questões-chave a serem consideradas:
- Como você executa carregamentos em lote e mecanismos de recomendação em tempo real no mesmo pipeline de dados?
- Quanto volume de dados você deve planejar?
- Você tem poder de processamento suficiente para gerar recomendações em tempo real para novos usuários que estão usando seu serviço pela primeira vez, evitando estouros de custo?
Não se preocupe, a Informatica pode ajudar. Com nossa oferta Advanced Serverless , você operacionaliza seus modelos de machine learning e aproveita seus pipelines de dados existentes, enquanto o mecanismo baseado no Informatica Spark processa terabytes de dados em poucos minutos.
Para configurar o Informatica serverless, seus administradores de TI só precisam fornecer sua infraestrutura de nuvem e detalhes de rede na interface de usuário (UI) da Informatica. Como alternativa, você pode implementar a infraestrutura como código usando nossos modelos de Cloud Formation prontos para uso na AWS. Isso permite que você provisione todos os recursos necessários de maneira segura e repetível em alguns minutos.
Uma vez configurado, você executa seus pipelines de dados e operacionaliza seus modelos de aprendizado de máquina sob demanda em resposta a um evento ou até mesmo em uma programação predefinida. E a melhor parte? Você não precisa alterar nenhum dos mapeamentos da Informatica. Basta redirecionar seu tempo de execução para usar o ambiente sem servidor.
No primeiro dia de entrega gratuita, você viu um aumento de mais de 10 vezes no tráfego. Felizmente, a Informatica dimensionou automaticamente a capacidade de processamento para suas necessidades. E quando o tráfego diminuiu, a Informatica desligou dois dos clusters para evitar custos de computação desnecessários.
Os trabalhos de processamento do Spark também levam menos tempo do que você viu com outros clusters do Spark — em alguns casos, é até 65% mais rápido. Isso ocorre porque o mecanismo de inteligência artificial e aprendizado de máquina (AI/ML), CLAIRE™ da Informatica , ajusta automaticamente os clusters em tempo de execução para obter o melhor desempenho.
Além disso, com o painel de medição, você monitora o uso do serviço em tempo real. Assim, você não apenas mantém os custos de computação mais baixos, mas também poderá acompanhá-los de perto em tempo real.
- Preços baseados no consumo: cresça na nuvem em um ritmo que faça sentido para seus negócios
O preço baseado no consumo é cobrado de acordo com a quantidade do serviço que você consome — e pelo armazenamento de dados ou quantidade de poder de computação necessária para uma tarefa.
Em um mundo nativo da nuvem, essa é a opção de preço mais flexível, alinhada às suas necessidades como cliente. Você está pagando apenas pelo que eles estão usando. O retorno sobre o investimento (ROI) desse modelo é óbvio: tempo de retorno rápido sem muito comprometimento.
Preços baseados no consumo: o modelo de uma empresa
Digamos que você lidere o grupo de engenharia e análise de dados em uma seguradora multinacional. Sua organização tem vários sistemas para gerenciar dados sobre apólices de seguro, sinistros, vendas e oportunidades dos clientes. O Salesforce CRM é usado para manter registros de clientes, o Snowflake para relatórios e análises e o Azure Data Lake para implantar modelos de aprendizado de máquina para detectar declarações fraudulentas.
À medida que a empresa cresceu e os casos de uso evoluíram, sua plataforma de integração existente não conseguiu acompanhar as diversas necessidades de integração. Tampouco conseguiu controlar os custos. Seus pipelines de integração de dados estão demorando muito mais para processar dados e exigem mais recursos. Esses desafios levaram a derrapagens de custos e atrasos nos relatórios. Sem mencionar que sua plataforma de integração existente oferece visibilidade limitada do consumo de recursos e não tem capacidade para limitá-lo. Para piorar as coisas, sua empresa já está incorrendo em custos de transferência de dados caros para processar dados no Snowflake e no Azure Data Lake.
Você sabe que sua organização precisa de uma solução de integração de dados em nuvem que possa cuidar de diversos casos de uso de integração e controlar o consumo de recursos, ao mesmo tempo em que oferece suporte a ecossistemas de várias nuvens.
O Cloud Data Integration da Informatica pode ajudá-lo a operacionalizar seus casos de uso rapidamente com a flexibilidade de seu mecanismo de otimização. Além disso, oferece a você a liberdade de uma governança de custos completa.
Primeiro, você pode transferir seus dados semanais de vendas e oportunidades de seguros do Salesforce para o Snowflake usando um assistente simples de quatro etapas, alimentado pelo mecanismo de execução Extract Transform Load (ETL) , que pode transformar os dados com eficiência e carregá-los rapidamente. Quando os dados estão na zona de destino do Snowflake, eles são selecionados, agregados e movidos para a zona de data warehouse empresarial. Usando o mecanismo de execução de ELT com capacidade avançada de pushdown, você pode economizar nas taxas de transferência de dados e obter um desempenho até 50 vezes mais rápido do que sua integração ETL existente.
Por fim, usando o processamento do mecanismo baseado no Informatica Spark no Kubernetes, sua empresa pode limpar e transformar os dados históricos de sinistros de seguro armazenados em seu data lake do Azure e usá-los para casos de uso de IA/ML para detectar sinistros fraudulentos.
Quando o volume de processamento de dados flutua devido a aumentos ou diminuições repentinos no número de declarações, o mecanismo CLAIRE com inteligência artificial da Informatica fornece recursos de dimensionamento automático e ajuste automático que permitem que você escolha a opção mais adequada à sua carga de trabalho. Além disso, o mecanismo Informatica Spark ajuda você a detectar declarações fraudulentas até 10 vezes mais rápido do que antes. Para cada um desses casos de uso, o Informatica Optimization Engine ajuda a limitar as horas de computação e os custos de transferência de dados enviando o processamento para a opção mais rápida e econômica.
Por fim, o Informatica Operational Insights oferece uma visão agregada de todas as suas operações e análises de consumo de recursos para ajustar os recursos para atender à demanda. O painel da Unidade de Processamento Informatica permite rastrear e monitorar todo o seu uso e custos com um único painel de controle. Com recursos integrados para otimização de custos e governança, você poderá otimizar seu orçamento de TI e aumentar o ROI pagando apenas pelo que usar com nossos preços baseados no consumo.
Créditos: Informatica