1/2 – Conhecendo BigQuery sandbox
Introdução
O BigQuery é um serviço de armazenamento e análise de dados na nuvem, desenvolvido pelo Google. Ele faz parte da plataforma de computação em nuvem chamada Google Cloud Platform (GCP). O BigQuery é projetado para lidar com grandes conjuntos de dados e oferece recursos poderosos de consulta e análise.
O BigQuery opera no modelo de armazenamento colunar, onde os dados são armazenados em colunas separadamente, ao invés de linhas. Os bancos de dados orientados por coluna são especialmente eficientes na verificação de colunas individuais em um conjunto de dados inteiro. Isso melhora significativamente a eficiência nas consultas, especialmente ao lidar com grandes volumes de dados.
Os bancos de dados orientados por coluna são otimizados para cargas de trabalho analíticas que agregam dados sobre um número muito grande de registros. Muitas vezes, uma consulta analítica precisa apenas ler algumas colunas de uma tabela. Por exemplo, se você quiser calcular a soma de uma coluna em milhões de linhas, o BigQuery pode ler os dados dessa coluna sem ler todos os campos de todas as linhas.
O BigQuery também utiliza a tecnologia de processamento distribuído, permitindo a execução de consultas em paralelo em várias máquinas para acelerar o desempenho.
Os usuários podem realizar consultas SQL nos dados armazenados no BigQuery. Ele suporta uma ampla variedade de tipos de dados e oferece recursos como funções analíticas, agregações e filtragem avançada para análise de dados complexa.
O BigQuery desempenha um papel crucial no ecossistema de Big Data por várias razões:
- Escalabilidade: Pode lidar com conjuntos de dados massivos, escalando automaticamente conforme a necessidade.
- Desempenho: A arquitetura distribuída e a indexação colunar proporcionam consultas rápidas, mesmo em grandes volumes de dados.
- Facilidade de Uso: Oferece uma interface SQL familiar, permitindo que usuários realizem consultas sem a necessidade de habilidades de programação avançadas.
- Integração com Ecossistema Google Cloud: É parte integrante da plataforma Google Cloud, facilitando a integração com outros serviços e ferramentas do ecossistema, como Google Cloud Storage, Dataflow e Dataprep.
- Análise em Tempo Real: Pode ser usado para análises em tempo real, permitindo que as organizações tomem decisões com base em dados atualizados.
- BigQuery ML: Esta feature permite que usuários sem conhecimento avançado em Machine learning criem e executem modelos de ML internos e externos utilizando SQL. Ele também permite executar tarefas de IA usando modelos de linguagem grandes (LLMs) e APIs do cloud AI.
Em resumo, o BigQuery desempenha um papel fundamental no processamento e análise de grandes conjuntos de dados na nuvem, tornando mais acessível e eficiente o trabalho com dados em ambientes de Big Data. Ele contribui para a transformação de dados brutos em insights valiosos para tomada de decisões estratégicas.
A seguir neste artigo, abordaremos como acessar o BigQuery, escolher entre as opções de sandbox e avaliação gratuita, conhecer mais sobre essa poderosa ferramenta e colocar as mãos na massa.
O BigQuery possui acesso a versões pagas e gratuitas, nesse artigo abordaremos sobre as versões gratuitas: Avaliação gratuita e Sandbox.
Sandbox: É uma versão sem custos e sem necessidade de inserir algum método de pagamento, entretanto, limitada. As limitações são:
- 12 projetos por vez, se você precisar de um 13 projeto, terá de excluir algum dos outros projetos.
- Não suporta Data Manipulation Language (DML), ou seja, não pode inserir ou modificar valores de registros existentes.
Obs: você pode atualizar sua sandbox para versão paga a qualquer momento.
Avaliação Gratuita: É uma versão sem custos, porém, você precisa inserir um método de pagamento. Ao escolher esta opção, você ganha US$300,00 em crédito para usar na Google Cloud Platform pelos primeiros 90 dias. Ao usar todo o limite ou atingir os 90 dias, sua avaliação gratuita acaba e você precisará atualizar para uma conta paga.
Obs: Você nunca será cobrado automaticamente quando sua avaliação gratuita terminar.
A seguir, escolha entre a sandbox ou avaliação gratuita. Caso opte pela segunda opção, pule os passos a seguir..
1 – Criando uma conta e usando o BigQuery sandbox:
1 – Para criar uma conta na Google Cloud Platform, você precisa ter uma conta google ou criar uma aqui.
2 – Para acessar a página do Google console, clique aqui.
3 – Em seguida, clique em Console no canto superior direito. Você será levado a página do google cloud console.
4 – Na nova página, selecione a conta google que será utilizada. Escolha o País, leia e concorde com os Termos de Serviço e em seguida, clique em concordar e continuar.
Sua conta será criada…
5 – No menu lateral esquerdo, selecione BigQuery. Você será levado ao BigQuery studio.
6 – Em seguida, clique em criar projeto. Você será direcionado para uma nova página.
7 – Em Nome do projeto * insira um nome, ou deixe o sugerido pelo google.
8 – Em Local, deixe selecionado “Sem organização” e em seguida, clique em criar.
Aguarde o carregamento … .seu projeto estará pronto.
9 – Um novo Pop-up aparecerá, leia-o e em seguida clique em concluir.
Parabéns, você está na Sandbox BigQuery.
2 – Criando uma conta e usando a avaliação gratuita do BigQuery:
1 – Para criar uma conta na Google Cloud Platform, você precisa ter uma conta Google ou criar uma clicando aqui.
2 – Para acessar a página do Google console, clique aqui.
3 – Em seguida, clique em Comece gratuitamente no canto superior direito. Você será levado a uma nova página.
4 – Na nova página, selecione a conta google e o país, clique em Concordar e Continuar.
5 – Em seguida, preencha as informações de pagamento solicitadas e clique em Iniciar meu teste gratuito.
6 – Responda a breve pesquisa do Google.
7 – Clique no menu burger no canto superior esquerdo, e em seguida navegue e clique em BigQuery.
Parabéns, você está utilizando a versão de avaliação gratuita do BigQuery!
Em breve parte 2 – Como criar um conjunto de dados, uma tabela e subir arquivos da máquina local.
Conteúdo criado por: Heitor Cesarino.