Arquitetura Lakehouse: a solução unificada para BI e Big Data
Gabarito: letra E. A arquitetura Lakehouse combina o melhor do Data Warehouse e do Data Lake, oferecendo suporte a transações ACID para dados estruturados (vendas) e armazenamento bruto para dados semiestruturados (logs e IoT), com governança e baixa latência para BI. É a única alternativa que atende a todos os requisitos sem duplicação de silos.
O cenário exige uma arquitetura que suporte simultaneamente:
Consistência ACID e baixa latência em consultas complexas (joins) para BI.
Armazenamento de petabytes de dados brutos (clickstream, sensores) para Machine Learning, sem perda de informação.
Redução de custo e governança unificada.
A tabela comparativa a seguir ilustra as diferenças entre as abordagens tradicionais e a Lakehouse:
Característica | Data Warehouse | Data Lake | Data Lakehouse |
|---|
Uso típico | BI tradicional | Big Data e ML | BI, Big Data e ML |
Tipo de Dados | Estruturados | Estruturados, semiestruturados e não estruturados | Estruturados, semiestruturados e não estruturados |
Esquema | Schema-on-write | Schema-on-read | Combina schema-on-read e schema-on-write |
Processamento | ETL | ELT | Suporta ELT e ETL |
Transações ACID | Sim | Não (pode ser adicionado) | Sim (ex.: Delta Lake, Iceberg) |
Latência para BI | Alta (dados agregados) | Baixa (mas varreduras brutas) | Baixa (camada Gold otimizada) |
Custo | Mais elevado | Mais baixo | Otimizado |
Nenhuma das alternativas A a D resolve o trade-off entre ACID/performance e flexibilidade/volume. Vejamos cada uma.
Alternativa A — ❌ Incorreta
Propor um EDW normalizado (3FN) para todos os dados é inviável. Dados de clickstream e IoT são semiestruturados e em petabytes; a normalização rígida aumentaria custo e complexidade, e o desempenho em consultas analíticas (joins) seria prejudicado. Além disso, a normalização não é a única forma de garantir ACID – o próprio Lakehouse oferece ACID em formatos abertos. A alternativa ignora a necessidade de manter dados brutos para ML.
Alternativa B — ❌ Incorreta
Um Data Lake puro com Schema-on-Read atenderia à equipe de ciência de dados, mas os painéis de BI exigem baixa latência em consultas com múltiplas junções – impraticável sobre arquivos brutos mesmo com ferramentas como Presto ou Spark. A latência e a complexidade das transformações em tempo de execução inviabilizam o uso para BI operacional. Além disso, faltam transações ACID para os dados de vendas, comprometendo a consistência.
Alternativa C — ❌ Incorreta
Manter Data Marts dimensionais separados e usar federação (virtualização) para a equipe de ciência de dados não resolve: os Data Marts armazenam dados agregados/modelados, não brutos. A equipe de ML precisa de dados no formato original, sem perdas – o que a virtualização não oferece (ela apenas consulta os dados modelados). Além disso, a federação aumenta a latência e não resolve o problema de volume (petabytes). A alternativa nega a necessidade de um Data Lake.
Alternativa D — ❌ Incorreta
Bancos NoSQL orientados a documentos (como MongoDB) não são adequados para workloads de BI com múltiplas junções; a desnormalização extrema (documentos aninhados) pode até evitar joins, mas dificulta consultas ad hoc e compromete a consistência. Além disso, o suporte a transações ACID em bancos NoSQL é limitado (geralmente apenas no nível de documento), não atendendo ao requisito de consistência estrita das vendas. A alternativa também não prevê armazenamento de dados brutos para ML.
Alternativa E — ✅ Correta ⟵ GABARITO
A arquitetura Lakehouse, implementada com formatos de tabela abertos (Delta Lake, Apache Iceberg) sobre object storage (ex.: S3, ADLS), oferece:
Camada Bronze (raw): dados brutos ingeridos no formato original (logs, sensores), acessíveis para ciência de dados sem perda de informação.
Camada Silver: dados limpos e validados, com possibilidade de Schema Enforcement.
Camada Gold: dados modelados dimensionalmente (esquema estrela) para BI, com suporte a transações ACID (garantindo consistência nos dados de vendas) e performance otimizada para consultas complexas.
Governança unificada: metadados, linhagem, controle de acesso, tudo em um único ambiente.
Custo reduzido: armazenamento em object storage é barato e elástico.
Assim, a Lakehouse elimina a duplicação de silos (DW + Data Lake), atende tanto a BI quanto a IA, e reduz custo. É a abordagem moderna recomendada para cenários híbridos como o descrito.
🎯 Pegadinha: A banca tenta confundir o candidato com alternativas que focam em apenas uma das necessidades (ex.: só Data Lake para ML, ou só Data Warehouse para BI). A chave é perceber que a arquitetura deve atender a AMBAS as frentes sem duplicação. A Lakehouse é a única que integra transações ACID, suporte a dados brutos e modelagem dimensional otimizada.
💡 Dica: Em questões sobre arquitetura de dados, lembre-se do tripé: consistência (ACID), volume (Big Data) e variedade (estruturados + não estruturados). A Lakehouse surge como resposta moderna para unificar esses requisitos. Estude os conceitos de Bronze/Silver/Gold e formatos como Delta Lake e Iceberg.
Gabarito: letra E.