Engenharia de Software · FGV · 2023 | Questão sqc-fg071335

Engenharia de SoftwareInteligencia Artificial

Código: fg071335
Banca: FGV
Órgão: TCE-ES
Ano: 2023
Nível: Superior

Cargo: Auditor de Controle Externo - Tecnologia da informação

João e Júlio fazem parte da equipe de Ciência de Dados do TCE/ES e estão realizando um estudo para o desenvolvimento de um classificador binário (classes positiva e negativa) usando Naive Bayes. Com o intuito de dividirem suas tarefas, João ficou responsável por treinar o modelo de classificação, e Júlio, por avaliar o desempenho do modelo. Após o treinamento do modelo, João aplicou-o ao conjunto de teste e enviou um e-mail a Júlio com a matriz de confusão resultante.Dessa forma, Júlio poderá calcular:

Aa acurácia do modelo, mas não o seu recall;
Bo recall do modelo, mas não a sua precisão;
Ca precisão do modelo, mas não o seu F₁-score;
Do F₁-score do modelo, mas não a sua AUC;
Ea AUC do modelo, mas não a sua acurácia.

Revelar gabarito e comentário

GabaritoD — o F₁-score do modelo, mas não a sua AUC;

Comentário gerado por IA. É um apoio ao estudo, ancorado em fontes, mas pode conter imprecisões — confira sempre na fonte oficial (lei, súmula, edital e gabarito da banca). Encontrou um erro? Use “Reportar”.

Classificação: Métricas a partir da Matriz de Confusão

Gabarito: letra D. A matriz de confusão fornece os valores de verdadeiros positivos (VP), falsos positivos (FP), verdadeiros negativos (VN) e falsos negativos (FN). Com esses quatro números é possível calcular diretamente:

Acurácia = (VP+VN)/(VP+FP+VN+FN)
Precisão = VP/(VP+FP)
Recall (sensibilidade) = VP/(VP+FN)
Especificidade = VN/(VN+FP)
F1-score = 2 × (precisão × recall)/(precisão + recall)

A AUC (área sob a curva ROC) não pode ser calculada apenas com a matriz de confusão, pois a curva ROC é construída variando o limiar de classificação e plotando a sensibilidade versus 1-especificidade para cada ponto. A matriz de confusão corresponde a um único limiar, portanto não informa a área total sob a curva.

NÃO CAIA NESSA!

O candidato pode pensar que AUC é derivável da matriz de confusão, mas isso é falso. A matriz só permite calcular métricas pontuais; a AUC exige a curva ROC completa.

Métrica	Calculável a partir da Matriz de Confusão?	Fórmula (a partir da matriz)	Depende de Curva ROC?
Acurácia	Sim	(VP+VN)/(VP+FP+VN+FN)	Não
Precisão	Sim	VP/(VP+FP)	Não
Recall	Sim	VP/(VP+FN)	Não
F₁-score	Sim	2×(precisão×recall)/(precisão+recall)	Não
AUC	Não	—	Sim (requer múltiplos limiares)

Métricas da matriz de confusão

1Calculáveis (VP, FP, VN, FN)
- Acurácia
- Precisão
- Recall
- Especificidade
- F1-score
2Não calculáveis
- AUC (curva ROC)

LEVEL · soulevel.com.br

Alternativa A — ❌ Incorreta

A acurácia é calculável, mas o recall também. Logo, a afirmação é falsa.

Alternativa B — ❌ Incorreta

O recall é calculável, assim como a precisão. Ambos saem da mesma matriz.

Alternativa C — ❌ Incorreta

Tanto a precisão quanto o F1-score são calculáveis diretamente da matriz de confusão.

Alternativa D — ✅ Correta ⟵ GABARITO

O F1-score é calculável (depende de precisão e recall, ambos da matriz), enquanto a AUC não é, por depender da curva ROC. Essa é a única alternativa que descreve corretamente uma limitação real.

Alternativa E — ❌ Incorreta

A AUC não é calculável, mas a acurácia é. A afirmação inverte os fatos.

Gabarito: letra D.

Link permanente: /questoes/fg071335