Questão de Engenharia de Software — Inteligencia Artificial — FGV 2024
Engenharia de Software›Inteligencia Artificial
Código
fg077009
Banca
FGV
Órgão
CGE-PB
Ano
2024
Nível
Superior
Cargo
Auditor de Contas Públicas - Auditoria de Tecnologia da Informação
O cientista de dados João deverá criar um modelo de aprendizado de máquina com o objetivo de classificar transações de cartão de crédito como "fraudulentas" ou "não fraudulentas". Dentre as métricas de avaliação da qualidade geral do modelo criado, João deverá utilizar a que avalia o equilíbrio entre precisão e sensibilidade (recall):
Aacurácia;
BF1-score;
Cespecificidade;
Díndice Jaccard (J);
Eárea sob a curva ROC (AUC-ROC).
Revelar gabarito e comentário▾
GabaritoB — F1-score;
Comentário gerado por IA. É um apoio ao estudo, ancorado em fontes, mas pode conter imprecisões — confira sempre na fonte oficial (lei, súmula, edital e gabarito da banca). Encontrou um erro? Use “Reportar”.
Métricas de Avaliação de Modelos de Classificação
Gabarito: letra B. O F1-score é a métrica que avalia o equilíbrio entre precisão e sensibilidade (recall), sendo definido como a média harmônica entre essas duas medidas. É amplamente utilizado em problemas de classificação desbalanceada, como a detecção de fraudes, onde tanto falsos positivos quanto falsos negativos são importantes.
A banca testa o conhecimento das métricas básicas de classificação. Vamos analisar cada alternativa:
Métricas de Classificação — só Precisão: 0; só Recall: 0; Precisão∩Recall: F1-score
Alternativa A — ❌ Incorreta
A acurácia mede a proporção de acertos totais (VP+VN / total). Não reflete o equilíbrio entre precisão e recall, especialmente em classes desbalanceadas.
Alternativa B — ✅ Correta ⟵ GABARITO
O F1-score é exatamente a média harmônica entre precisão e recall: . Ele captura o trade-off entre as duas métricas, sendo ideal quando se deseja um único número que balanceie ambos.
Alternativa C — ❌ Incorreta
A especificidade mede a taxa de verdadeiros negativos (VN / (VN+FP)). Não envolve precisão ou recall diretamente.
Alternativa D — ❌ Incorreta
O índice de Jaccard (J = |A∩B| / |A∪B|) é usado para medir similaridade entre conjuntos, não para balancear precisão e recall.
Alternativa E — ❌ Incorreta
A área sob a curva ROC (AUC-ROC) avalia a capacidade do modelo de distinguir entre classes em vários limiares, mas não mede diretamente o equilíbrio entre precisão e recall.
PEGA ESSA DICA!
Lembre-se que o F1-score é a média harmônica, não a média aritmética. Em problemas com classes desbalanceadas (como fraudes), prefira F1-score à acurácia.