Case
Smart Retail Lakehouse (Azure Databricks)
Plataforma de dados ponta a ponta no Azure Databricks, com arquitetura Medallion e modelagem Kimball.
Visão geral
Projeto de engenharia de dados que simula uma varejista, gerando dados sintéticos e implementando um Lakehouse completo (Bronze → Silver → Gold) com Delta Lake, Unity Catalog, Workflows e MLflow.
Desafio
Demonstrar, de forma reprodutível, uma plataforma analítica moderna que cubra ingestão, qualidade, modelagem dimensional, governança e rastreamento de experimentos — sem depender de dados corporativos sensíveis.
Solução
Foi construído um pipeline em PySpark seguindo o padrão Medallion, com validação de qualidade e rejeição de registros, camada Gold em star schema (dimensões de Cliente, Produto, Loja, Data e fato de Vendas), governança com Unity Catalog, orquestração via Databricks Workflows e MLflow para experimentos.
Impacto
- Arquitetura Lakehouse completa e reproduzível com dados sintéticos
- Modelagem dimensional Kimball pronta para consumo por BI
- Governança, qualidade de dados e rastreamento de ML com MLflow