Questão de Engenharia de Software — Geral — CESPE / CEBRASPE 2025
- Código
- ce217105
- Banca
- CESPE / CEBRASPE
- Órgão
- TJ-PA
- Ano
- 2025
- Nível
- Superior
- Cargo
- Analista Judiciário - Especialidade: Análise de Sistemas
- CCerto
- EErrado
GabaritoC — Certo
Gabarito: ✅ CERTO. A afirmação está correta. Comparadas às redes neurais recorrentes tradicionais (RNNs, LSTMs, GRUs), os modelos transformer realmente capturam dependências de longo alcance de forma mais eficaz graças ao mecanismo de autoatenção (self-attention). Essa é a principal razão pela qual transformers se tornaram dominantes em tarefas de PLN como sumarização e busca semântica, inclusive em domínios jurídicos.
Problema das RNNs: sofrem com o desaparecimento/explosão do gradiente, o que limita a captura de dependências muito distantes no texto. Mesmo com LSTMs/GRUs, o desempenho degrada para sequências longas.
Mecanismo de autoatenção: permite que o modelo pondere a relevância de todas as palavras da sequência simultaneamente, não importa a distância. Isso dá acesso direto a tokens distantes, resolvendo a limitação de memória das RNNs.
Processamento paralelo: transformers processam a sequência inteira em paralelo, enquanto RNNs são sequenciais (passo a passo), o que acelera o treinamento.
Documentos jurídicos são tipicamente extensos e repletos de referências cruzadas. A capacidade de manter contexto global é crucial para sumarização (extrair pontos-chave) e busca semântica (encontrar passagens relevantes). Os transformers, como BERT e GPT, são a arquitetura padrão para essas tarefas.
Em provas de concurso sobre IA/NLP, lembre-se: a palavra-chave que diferencia transformers de RNNs é autoatenção. Enquanto RNNs processam a sequência de forma linear e têm memória limitada, transformers enxergam toda a sequência de uma vez, ponderando as relações.
✅ CERTO.
Link permanente: /questoes/ce217105