Pular para o conteúdo principal

Questão de Programação — Linguagens de programação — FGV 2024

ProgramaçãoLinguagens de programação
Código
fg096783
Banca
FGV
Órgão
TCE-PA
Ano
2024
Nível
Superior
Cargo
Auditor de Controle Externo - Área Administrativa - Ciência de Dados
As arquiteturas de modelos de linguagem de larga escala (Large Language Models - LLM) surgiram recentemente, revolucionando a área de inteligência artificial nas áreas de processamento e geração de texto.A arquitetura desses modelos baseia-se, majoritariamente, nas redes neurais do tipo transformers. Relacione as arquiteturas a seguir com suas características principais:1. BERT2. GPT3. T5( ) Utiliza decoders das redes transformer para prever novos tokens a partir de uma sequência, tornando-se ideal para a geração de textos.( ) Utiliza encoders das redes transformer para "entender" o contexto de frases, tornando-se ideal para classificação de textos.( ) Utiliza encoders e decoders das redes transformer, sendo adaptável a situações em que seja necessário gerar novos textos ou processar textos para "entender" o contexto das frases.( ) Em comparação com as outras arquiteturas, tem menor necessidade de fine-tuning para melhora de performance.A relação correta, na ordem apresentada, é
  1. A1 – 3 – 2 – 2.
  2. B2 – 3 – 1 – 3.
  3. C3 – 2 – 1 – 2.
  4. D3 – 1 – 2 – 2.
  5. E2 – 1 – 3 – 3.
Revelar gabarito e comentário

GabaritoE — 2 – 1 – 3 – 3.

Comentário gerado por IA. É um apoio ao estudo, ancorado em fontes, mas pode conter imprecisões — confira sempre na fonte oficial (lei, súmula, edital e gabarito da banca). Encontrou um erro? Use “Reportar”.

Arquiteturas de Transformers em LLMs

Gabarito: letra E. A sequência correta é 2 (GPT) – 1 (BERT) – 3 (T5) – 3 (T5). Cada arquitetura possui um papel distinto: GPT é puramente decoder (geração de texto), BERT é encoder (compreensão de contexto), e T5 é encoder-decoder (ambos). O T5 também é associado à característica de menor necessidade de fine-tuning, segundo a banca.

Análise das correspondências:

  • Primeira lacuna — "Utiliza decoders das redes transformer para prever novos tokens... ideal para geração de textos" → GPT (2). O GPT é uma arquitetura autoregressiva composta apenas pelo decoder do transformer, adequada para geração sequencial.

  • Segunda lacuna — "Utiliza encoders das redes transformer para 'entender' o contexto... ideal para classificação de textos" → BERT (1). O BERT é um modelo baseado exclusivamente no encoder, capturando contexto bidirecional para tarefas de compreensão.

  • Terceira lacuna — "Utiliza encoders e decoders... adaptável a situações de geração ou processamento" → T5 (3). O T5 emprega a arquitetura completa encoder-decoder, sendo versátil para ambas as tarefas.

  • Quarta lacuna — "Em comparação com as outras arquiteturas, tem menor necessidade de fine-tuning para melhora de performance" → T5 (3). Embora todos exijam fine-tuning, o T5 é um modelo unificado que pode ser aplicado a múltiplas tarefas com o mesmo formato texto-a-texto, reduzindo a necessidade de ajustes específicos (entendimento da banca).

Arquitetura

Componente Principal

Função Principal

Exemplo de Tarefa

BERT

Encoder

Compreensão de contexto (bidirecional)

Classificação de textos

GPT

Decoder

Geração de texto (autoregressivo)

Predição de novos tokens

T5

Encoder + Decoder

Ambas (geração e compreensão)

Texto-a-texto (versátil)

1GPT (decoder)
Prever novos tokens
Geração de texto
2BERT (encoder)
Entender contexto
Classificação de texto
3T5 (encoder-decoder)
Geração e processamento
Menos fine-tuning
Arquiteturas Transformer
LEVELsoulevel.com.br
Arquiteturas Transformer: GPT (decoder) (Prever novos tokens, Geração de texto); BERT (encoder) (Entender contexto, Classificação de texto); T5 (encoder-decoder) (Geração e processamento, Menos fine-tuning)

Verificação das alternativas:

  • A) 1 – 3 – 2 – 2: Incorreta; a primeira lacuna não é BERT (1), e a quarta não é GPT (2).

  • B) 2 – 3 – 1 – 3: Incorreta; a segunda lacuna não é T5 (3), e sim BERT (1).

  • C) 3 – 2 – 1 – 2: Incorreta; a primeira lacuna não é T5 (3), e a quarta não é GPT (2).

  • D) 3 – 1 – 2 – 2: Incorreta; a primeira lacuna não é T5 (3), e a quarta não é GPT (2).

  • E) 2 – 1 – 3 – 3: Correta, conforme a análise.

Gabarito: letra E.

Link permanente: /questoes/fg096783