GabaritoC — Certo
Gabarito: CERTO. A camada de ingestão de dados é, de fato, responsável por coletar e carregar dados de diversas fontes para o data lake, sendo essa a primeira etapa do pipeline de dados. A afirmação está correta porque descreve com precisão a função dessa camada na arquitetura de dados moderna.
A ingestão de dados é o processo fundamental que alimenta qualquer ambiente analítico, seja um data warehouse ou um data lake. No contexto de data lakes, essa camada assume importância ainda maior, pois é ela que permite a captura de dados em seu formato original, sem a necessidade de pré-processamento. O data lake, como um vasto reservatório digital, armazena grandes volumes de dados em diversos formatos — estruturados, semiestruturados e não estruturados — e a camada de ingestão é a porta de entrada para todos esses dados.
Para entender a afirmação, é preciso distinguir os papéis das diferentes camadas na arquitetura de dados. A camada de ingestão é responsável por coletar os dados das fontes (bancos de dados transacionais, aplicações, arquivos, APIs, etc.) e carregá-los no repositório de destino. No caso do data lake, essa carga é feita de forma bruta, preservando o formato original dos dados. Já a camada de transformação (que no data warehouse é o processo ETL — Extract, Transform, Load) é responsável por processar e padronizar esses dados para análise. No data lake, essa transformação pode ocorrer posteriormente, na camada de processamento, seguindo o conceito de "schema-on-read" (esquema na leitura), em contraste com o "schema-on-write" (esquema na escrita) do data warehouse.
Um exemplo prático: uma empresa que deseja armazenar logs de servidores, dados de redes sociais e informações de vendas em um data lake. A camada de ingestão será responsável por conectar-se a cada uma dessas fontes, extrair os dados e carregá-los no data lake em seu formato bruto (JSON, CSV, Parquet, etc.). Somente depois, em uma etapa posterior, esses dados serão processados, limpos e transformados para análises específicas.
A distinção crucial que a banca explora neste tema é entre a ingestão (coleta e carga) e a transformação (processamento e padronização). Enquanto a ingestão apenas transporta os dados para o repositório, a transformação altera sua forma, estrutura ou conteúdo. No data lake, a ingestão é frequentemente chamada de ELT (Extract, Load, Transform), pois a carga ocorre antes da transformação, aproveitando a flexibilidade do repositório.
A pegadinha que poderia aparecer seria afirmar que a camada de ingestão é responsável por transformar ou padronizar os dados, o que não é sua função primária. A transformação é uma etapa separada, que pode ocorrer antes (ETL) ou depois (ELT) da carga, dependendo da arquitetura. A afirmação da questão, no entanto, limita-se corretamente à coleta e carga, que são as funções essenciais da camada de ingestão.
Guarde a fronteira entre ingestão (coletar e carregar) e transformação (processar e padronizar): é exatamente nela que as questões sobre arquitetura de dados se dividem.
A afirmação está correta. A camada de ingestão de dados é responsável por coletar dados de diversas fontes e carregá-los no data lake. Isso está alinhado com o conceito de data lake como um repositório que armazena dados em seu formato original, sem pré-processamento. A ingestão é a primeira etapa do pipeline, e a transformação (quando necessária) ocorre em uma camada posterior, seguindo o modelo ELT (Extract, Load, Transform) típico de data lakes.
Para questões sobre data lake vs. data warehouse, lembre-se do momento em que o esquema é aplicado: no data lake, o esquema é aplicado na leitura (schema-on-read), enquanto no data warehouse é aplicado na escrita (schema-on-write). Isso explica por que a ingestão no data lake é mais simples e rápida — os dados são carregados brutos, sem transformação prévia.
Gabarito: CERTO
Link permanente: /questoes/qg594739