Questão de Noções de Informática — Inteligência Artificial e Automação — CESPE / CEBRASPE 2025

LLMs e o Mecanismo de Atenção

Gabarito: letra E. Em LLMs (como o GPT), o mecanismo principal que permite gerar texto coerente e contextualizado é a arquitetura de redes transformer baseadas em atenção (attention). O contexto fornecido confirma que modelos como GPT-3 consolidaram conceitos como Transformers e mecanismos de Atenção, sendo estes o motor da geração de linguagem natural.

Alternativa A — ❌ Incorreta

Algoritmos de busca por vizinhos mais próximos (k-NN) são utilizados para classificação e regressão, não para a geração sequencial de texto em LLMs.

Alternativa B — ❌ Incorreta

Redes neurais convolucionais (CNNs) são predominantes em visão computacional e processamento de imagens, não em modelos de linguagem baseados em sequência como os LLMs.

Alternativa C — ❌ Incorreta

Modelos de Markov de alta ordem são modelos probabilísticos para sequências, mas os LLMs atuais superaram essa abordagem com o uso de transformers e mecanismos de atenção, que capturam dependências de longo alcance de forma mais eficaz.

Alternativa D — ❌ Incorreta

Árvores de decisão com bagging (Random Forest) são técnicas de aprendizado de máquina para classificação e regressão, não adequadas para a geração de texto contextualizado.

Alternativa E — ✅ Correta ⟵ GABARITO

As redes transformer baseadas em atenção são a base dos LLMs modernos, como o GPT. O mecanismo de atenção permite que o modelo pondere a relevância de diferentes palavras da entrada ao gerar cada token, produzindo texto fluente e coerente. O contexto do material de apoio destaca que o salto tecnológico dos LLMs foi impulsionado pela consolidação de Transformers e mecanismos de Atenção.