Questão de Estatística — Conhecimentos de estatística — FGV 2024

Avaliação de resultados de classificação: acurácia global, matriz de confusão, acurácia do produtor e do usuário

Gabarito: letra B. A sequência correta é 4 – 1 – 2 – 3: a primeira definição (erros de comissão, proporção de classificados corretamente em relação ao total classificado como a classe) corresponde à acurácia do usuário; a segunda (avaliação geral do desempenho) é a acurácia global; a terceira (tabela de visualização do desempenho) é a matriz de confusão; e a quarta (erros de omissão, proporção em relação ao total de referência da classe) é a acurácia do produtor. A pegadinha está em inverter as duas últimas, que é exatamente o que as alternativas C, D e E fazem.

A avaliação de um modelo de classificação se apoia na matriz de confusão, uma tabela que cruza o que o modelo previu com o que realmente é (a referência). Nela temos quatro combinações: verdadeiros positivos (VP), falsos positivos (FP), falsos negativos (FN) e verdadeiros negativos (VN). A partir desses quatro números derivam-se as métricas de desempenho, e cada uma usa um denominador diferente — é isso que gera a confusão clássica entre acurácia do produtor e acurácia do usuário.

A acurácia global é a métrica mais simples: soma de todos os acertos (VP + VN) dividida pelo total de amostras. Ela dá uma visão geral do modelo, mas pode mascarar problemas quando as classes são desbalanceadas.

A acurácia do produtor (também chamada de sensitivity ou recall) mede a capacidade do modelo de identificar corretamente as amostras de uma classe em relação ao total que realmente pertence a ela. O denominador é a linha da matriz (o real). Ela está ligada aos erros de omissão (FN): quando o modelo deixa de classificar uma amostra que deveria ser daquela classe.

A acurácia do usuário (também chamada de precision) mede a confiabilidade da previsão: das amostras que o modelo classificou como sendo de uma classe, quantas realmente são. O denominador é a coluna da matriz (o previsto). Ela está ligada aos erros de comissão (FP): quando o modelo classifica erroneamente uma amostra como sendo daquela classe.

A distinção crucial é: produtor olha para a linha (real) e sofre com omissão; usuário olha para a coluna (previsto) e sofre com comissão. A banca explora exatamente essa inversão.

Alternativa A — ❌ Incorreta

A sequência 3 – 1 – 2 – 4 coloca a acurácia do produtor na primeira definição, que fala de erros de comissão e usa como denominador o total classificado como a classe — isso é a acurácia do usuário, não do produtor. Além disso, inverte a quarta definição (erros de omissão) atribuindo-a à acurácia do usuário, quando é do produtor.

Alternativa B — ✅ Correta ⟵ GABARITO

A sequência 4 – 1 – 2 – 3 é a correta: a primeira definição (erros de comissão, proporção em relação ao total classificado) é a acurácia do usuário (4); a segunda (avaliação geral) é a acurácia global (1); a terceira (tabela de visualização) é a matriz de confusão (2); e a quarta (erros de omissão, proporção em relação ao total de referência) é a acurácia do produtor (3).

Alternativa C — ❌ Incorreta

A sequência 3 – 2 – 1 – 4 erra ao colocar a acurácia do produtor na primeira definição (que é do usuário) e a matriz de confusão na segunda (que é da acurácia global). A terceira definição (tabela) é atribuída à acurácia global, quando é da matriz de confusão.

Alternativa D — ❌ Incorreta

A sequência 4 – 2 – 1 – 3 erra ao colocar a matriz de confusão na segunda definição (que é da acurácia global) e a acurácia global na terceira (que é da matriz de confusão). A primeira e a quarta estão corretas (usuário e produtor), mas a inversão das duas centrais derruba a alternativa.

Alternativa E — ❌ Incorreta

A sequência 3 – 4 – 2 – 1 erra ao colocar a acurácia do produtor na primeira definição (que é do usuário) e a acurácia do usuário na segunda (que é da acurácia global). A terceira (matriz de confusão) e a quarta (acurácia do produtor) também estão trocadas.

Gabarito: letra B — sequência 4 – 1 – 2 – 3.