Questão de TI - Ciência de Dados e Inteligência Artificial — Ecossistema Hadoop — FCC 2025
TI - Ciência de Dados e Inteligência ArtificialEcossistema Hadoop
- Código
- fc150373
- Banca
- FCC
- Órgão
- Pref SP
- Ano
- 2025
- Cargo
- Ana ( )
Uma Prefeitura Municipal está desenvolvendo uma solução de Big Data para gerenciar dados de mobilidade, saúde pública e planejamento urbano. O objetivo é processar grandes volumes de dados provenientes de diversas fontes, como sensores de tráfego, prontuários eletrônicos e imagens. Optando por integrar as tecnologias Hadoop e Spark, a equipe técnica decidiu
- Autilizar o MapReduce do Hadoop para processamento em lotes e o GraphX do Spark como sistema de arquivos para dados distribuídos, garantindo escalabilidade.
- Bimplementar o Mlib do Spark para armazenamento distribuído e o MapReduce do Hadoop para processamento em tempo real, aproveitando a capacidade paralela das tecnologias.
- Cutilizar o HDFS do Hadoop para armazenamento distribuído dos grandes volumes de dados e o Spark Core para processar os dados em memória, integrando o Spark Streaming para transmissões em tempo real.
- Dadotar o Hadoop Common para processamento em memória e o Spark Streaming para armazenamento distribuído, otimizando a integração entre os componentes.
- Econfigurar o YARN do Hadoop como um sistema de armazenamento nativo para o Spark, utilizando o Spark SQL para processar os dados em tempo real.