Já vimos aqui no blog a importância do Spark e do PySpark no mundo de Big Data e Engenharia de Dados (post). Hoje, vamos aprender como configurar um ambiente para trabalhar com o pyspark e utilizá-lo em sua máquina local e, posteriormente, exportá-lo para uma arquitetura mais robusta e profissional. Para facilitar a explicação e […]
Preparando um ambiente para trabalhar com o PySpark Read More »
No mundo dos dados, um problema bastante relevante é a capacidade de processar, analisar e extrair informações de grandes volumes de dados. Por exemplo, imagine uma tabela com o registro de todas as transações financeiras de um grande banco — essa tabela pode conter bilhões de registros. Quando lidamos com um volume pequeno de dados,
Quando falamos sobre Cloud, muita gente imagina que essa tecnologia e o conceito dela são novos. Na verdade, não são. Ao falarmos de nuvem, existem três tipos principais: nuvem privada, nuvem pública e nuvem híbrida. Essa divisão já nos mostra que a ideia de nuvem não é recente. Vamos entender melhor: Quando observamos grandes empresas,
A Databricks Community Edition é uma versão gratuita da plataforma Databricks, projetada para aprendizado e experimentação. Embora tenha limitações em comparação às versões pagas, é uma excelente ferramenta para quem deseja explorar conceitos de Big Data, Spark e ambientes de análise de dados em nuvem. Com ela, é possível: Trabalhar com notebooks para escrever e
Databricks Community Edition: Read More »
No universo dos dados, existem diversas ferramentas importantes, e uma delas é o Databricks. Atualmente, o Databricks se destaca como uma das plataformas mais relevantes em áreas como Engenharia de Dados, Análise de Dados e Machine Learning em ambientes de nuvem. Ele é uma ferramenta fundamental para engenheiros de dados, pois facilita diversas atividades, como
Introdução ao Databricks Read More »
