Questão de Engenharia de Software — Inteligencia Artificial — CESPE / CEBRASPE 2025
Engenharia de Software›Inteligencia Artificial
Código
ce195210
Banca
CESPE / CEBRASPE
Órgão
BANRISUL
Ano
2025
Nível
Superior
Cargo
Técnico em Tecnologia da Informação II - Desenvolvimento de Software
Nas IA generativas baseadas em arquiteturas transformer, com mecanismo de atenção, o modelo consegue relacionar diferentes palavras para produzir texto coerente; ao gerar, por exemplo, a frase “Maria foi ao mercado porque ela precisava comprar leite”, o modelo deve lembrar que “ela” se refere a “Maria”. Com base nesse contexto, assinale a opção correta.
AModelos de IA que geram texto processam simultaneamente todas as palavras de saída, sem considerar a ordem em que elas aparecem.
BNa geração de texto palavra por palavra, a cada nova palavra gerada, o modelo de IA deve dedicar a atenção às palavras que já foram geradas anteriormente.
CA principal função do mecanismo de atenção é verificar a gramática do texto, não suas relações semânticas.
DO mecanismo de atenção distribui o mesmo peso para todas as palavras anteriores, sem priorizar palavras quanto à relevância no contexto.
EO mecanismo de atenção cria conexões para relações entre palavras adjacentes, não conectando palavras que estão distantes entre si no texto.
Revelar gabarito e comentário▾
GabaritoB — Na geração de texto palavra por palavra, a cada nova palavra gerada, o modelo de IA deve dedicar a atenção às palavras que já foram geradas anteriormente.
Comentário gerado por IA. É um apoio ao estudo, ancorado em fontes, mas pode conter imprecisões — confira sempre na fonte oficial (lei, súmula, edital e gabarito da banca). Encontrou um erro? Use “Reportar”.
Mecanismo de Atenção em Transformers
Gabarito: letra B. O mecanismo de atenção em modelos transformer permite que, durante a geração de texto palavra por palavra, o modelo foque seletivamente nas palavras já geradas que são mais relevantes para prever a próxima palavra. Isso é essencial para capturar relações semânticas como a anáfora (ex.: relacionar "ela" a "Maria"), conforme descrito no enunciado. A alternativa B descreve exatamente esse processo.
O mecanismo de atenção, introduzido por Vaswani et al. (2017), atribui pesos dinâmicos a diferentes partes da entrada (ou das saídas anteriores) com base em sua importância para a tarefa. Diferente de modelos que tratam todas as palavras igualmente, a atenção permite que o modelo priorize informações contextuais relevantes, mesmo que estejam distantes na sequência.
Alternativa
Descrição
Correta?
Justificativa
A
Modelos de IA que geram texto processam simultaneamente todas as palavras de saída, sem considerar a ordem em que elas aparecem.
❌ Incorreta
Modelos generativos baseados em transformers produzem texto de forma sequencial (autoregressiva), gerando uma palavra por vez e considerando a ordem das palavras já geradas.
B
Na geração de texto palavra por palavra, a cada nova palavra gerada, o modelo de IA deve dedicar a atenção às palavras que já foram geradas anteriormente.
✅ Correta (GABARITO)
Descreve corretamente o processo: a cada nova palavra, o modelo aplica atenção às palavras anteriores para capturar o contexto relevante, permitindo associar referências como "ela" → "Maria".
C
A principal função do mecanismo de atenção é verificar a gramática do texto, não suas relações semânticas.
❌ Incorreta
A atenção é fundamental para capturar relações semânticas e de dependência entre palavras, indo além da gramática. O exemplo do enunciado ilustra uma relação semântica (referência anafórica).
D
O mecanismo de atenção distribui o mesmo peso para todas as palavras anteriores, sem priorizar palavras quanto à relevância no contexto.
❌ Incorreta
O mecanismo de atenção atribui pesos distintos às palavras com base em sua relevância, priorizando as mais importantes para o contexto atual.
E
O mecanismo de atenção cria conexões para relações entre palavras adjacentes, não conectando palavras que estão distantes entre si no texto.
❌ Incorreta
Uma das principais vantagens do mecanismo de atenção é capturar dependências de longo alcance, conectando palavras distantes, como "ela" e "Maria".
Alternativa A — ❌ Incorreta
Afirma que todas as palavras de saída são processadas simultaneamente, ignorando a ordem. Modelos generativos baseados em transformers produzem texto de forma sequencial (autoregressiva), gerando uma palavra por vez e considerando a ordem das palavras já geradas.
Alternativa B — ✅ Correta ⟵ GABARITO
Descreve corretamente o processo: a cada nova palavra, o modelo aplica atenção às palavras anteriores para capturar o contexto relevante. Isso permite que referências como "ela" → "Maria" sejam corretamente associadas, garantindo coerência semântica.
Alternativa C — ❌ Incorreta
Reduz o mecanismo de atenção à verificação gramatical. Na verdade, a atenção é fundamental para capturar relações semânticas e de dependência entre palavras, indo além da gramática. O exemplo do enunciado ilustra uma relação semântica (referência anafórica), não gramatical.
Alternativa D — ❌ Incorreta
Afirma que todos os pesos são iguais. O mecanismo de atenção atribui pesos distintos às palavras com base em sua relevância, priorizando as mais importantes para o contexto atual. O texto do contexto (ANPD) afirma que ele "atribui de forma dinâmica pesos distintos às partes do texto com base na sua importância".
Alternativa E — ❌ Incorreta
Limita a atenção a palavras adjacentes. Uma das principais vantagens do mecanismo de atenção é justamente capturar dependências de longo alcance, conectando palavras distantes na sequência (ex.: "ela" e "Maria").
PEGA ESSA DICA!
Em provas sobre transformers, lembre-se de que o mecanismo de atenção é o que permite ao modelo "olhar para trás" de forma seletiva, atribuindo pesos diferentes — nunca iguais — e capturando relações mesmo entre palavras distantes.