Questão de Engenharia de Software — Inteligencia Artificial — CESPE / CEBRASPE 2025

Métricas de avaliação de modelos de classificação: precisão × recall

Gabarito: Errado (E). A afirmação está incorreta porque a precisão não é a métrica ideal para minimizar falsos negativos — quem mede a capacidade de não deixar casos positivos passarem despercebidos é o recall (sensibilidade). A precisão, ao contrário, mede a proporção de positivos previstos que realmente são positivos, ou seja, preocupa-se com os falsos positivos, não com os falsos negativos.

No contexto de aprendizado de máquina supervisionado, a avaliação de um modelo de classificação binária (como o de aprovação de garantia) se apoia em métricas derivadas da matriz de confusão, que cruza as classes reais com as classes previstas. Os quatro elementos dessa matriz são: verdadeiros positivos (VP), verdadeiros negativos (VN), falsos positivos (FP) e falsos negativos (FN). A partir deles, calculam-se as métricas mais comuns: acurácia, precisão, recall (ou sensibilidade) e F1-score.

A precisão é definida como $\text{Precisão} = \frac{VP}{VP + FP}$. Ela responde à pergunta: "de tudo que o modelo classificou como positivo, quanto realmente é positivo?". Portanto, uma alta precisão indica poucos falsos positivos — ou seja, poucas solicitações negadas que, na verdade, deveriam ser aprovadas. Já o recall (ou sensibilidade) é definido como $\text{Recall} = \frac{VP}{VP + FN}$. Ele responde: "de tudo que é realmente positivo, quanto o modelo conseguiu capturar?". Um alto recall indica poucos falsos negativos — ou seja, poucas solicitações que deveriam ser aprovadas e foram negadas pelo sistema.

No caso da empresa, o objetivo é "identificar casos para aprovação de garantia". Se o sistema nega uma solicitação que deveria ser aprovada (falso negativo), o cliente fica insatisfeito e a empresa pode perder credibilidade ou até sofrer consequências legais. Por isso, a métrica que melhor reflete a minimização de falsos negativos é o recall, não a precisão. A precisão seria mais relevante se o custo de um falso positivo fosse alto — por exemplo, se aprovar uma garantia indevida gerasse prejuízo financeiro significativo.

A escolha entre precisão e recall (ou um equilíbrio via F1-score) depende do custo assimétrico dos erros. Quando o custo de um falso negativo é alto, prioriza-se o recall; quando o custo de um falso positivo é alto, prioriza-se a precisão. No cenário descrito, o foco em não negar garantias legítimas aponta para o recall como métrica ideal, tornando a afirmação do item incorreta.

Item — ❌ Errado

A afirmação diz que "a métrica ideal de sucesso é a da precisão, pois objetiva minimizar falsos negativos". Há dois erros conceituais: (1) a precisão não é a métrica que minimiza falsos negativos — essa função é do recall; (2) a precisão, na verdade, está associada à minimização de falsos positivos. Portanto, o item está errado.

Gabarito: Errado (E).