Arquitetura de Dados: Data Lakehouse vs. DW vs. Data Lake
Gabarito: letra C. A evolução para um Data Lakehouse (com tabelas transacionais Delta/Iceberg/Hudi, catálogo unificado e camadas otimizadas) atende simultaneamente a governança, desempenho para BI e flexibilidade analítica, combinando o melhor do Data Lake (schema-on-read, dados brutos) e do Data Warehouse (schema-on-write, ACID, performance SQL). O material de apoio compara as três arquiteturas e evidencia que o Data Lakehouse suporta BI, Big Data e Machine Learning no mesmo repositório, com alta confiabilidade e governança.
A banca testa o conhecimento sobre as limitações de cada abordagem em um cenário híbrido (dados estruturados e semiestruturados, BI tradicional + ciência de dados). A tabela a seguir resume as diferenças:
Característica | Data Warehouse | Data Lake | Data Lakehouse |
|---|
Uso típico | BI tradicional | Big Data e ML | BI, Big Data e ML |
Tipo de dados | Estruturados | Estruturados, semiestruturados e não estruturados | Estruturados, semiestruturados e não estruturados |
Esquema | Schema-on-write | Schema-on-read | Combina ambos |
Processamento | ETL | ELT | ELT e ETL |
Governança | Integrada | Requer implementação adicional | Integrada |
Escalabilidade | Limitada | Alta | Alta |
Alternativa A — ❌ Incorreta
Centralizar tudo no Data Warehouse relacional exigiria converter XML de NF-e e logs (dados semiestruturados) para tabelas normalizadas, o que reduz a flexibilidade para experimentos de ciência de dados e ML. Além disso, o DW tem escalabilidade limitada e maior custo de armazenamento, sendo inadequado para grandes volumes de dados brutos.
Alternativa B — ❌ Incorreta
Desativar o Data Warehouse e operar apenas sobre o Data Lake com schema-on-read maximiza flexibilidade, mas compromete a governança (risco de "data swamp") e o desempenho para consultas de BI, que exigem dados estruturados e otimização SQL. BI tradicional não se beneficia de schema-on-read puro.
Alternativa C — ✅ Correta ⟵ GABARITO
O Data Lakehouse (ex.: usando Apache Iceberg/Delta Lake/Hudi) unifica o repositório: dados brutos no formato Parquet (já existente) são gerenciados com transações ACID, catálogo centralizado e camadas de acesso otimizadas. Permite consultas SQL rápidas para BI (schema-on-write nas tabelas curadas) e acesso direto aos dados brutos para ciência de dados (schema-on-read). É a solução mais moderna e alinhada ao cenário.
Alternativa D — ❌ Incorreta
Manter dois ambientes paralelos sem metadados unificados nem consistência gera duplicidade, retrabalho e falta de governança. A ausência de mecanismo de consistência entre DW e Data Lake dificulta a confiabilidade dos dados e aumenta a complexidade operacional.
Alternativa E — ❌ Incorreta
Usar o Data Lake apenas como staging e arquivamento, alimentando BI e ML exclusivamente por data marts do DW, limita o uso direto de dados semiestruturados (XML, logs) e impede experimentação rápida em ciência de dados. A padronização total sacrifica flexibilidade analítica.
Gabarito: letra C