Questão de Estatística — Conhecimentos de estatística — FGV 2024

Coeficiente Kappa: concordância, acaso e classes raras

Gabarito: letra D — corretos apenas os itens II e III. O kappa mede a concordância da classificação além do que seria esperado ao acaso (item II), e essa é justamente a diferença em relação à acurácia global, que simplesmente soma a diagonal principal da matriz de confusão (item I é falso). O item III também é verdadeiro: o kappa é sensível à prevalência das classes, podendo mascarar o desempenho nas classes menos frequentes.

O coeficiente kappa (ou índice Kappa de Cohen) é uma medida de concordância entre dois avaliadores ou entre uma classificação e um padrão de referência. Ele foi originalmente proposto para medir a concordância entre dois especialistas, mas hoje é amplamente usado na avaliação de classificações digitais de imagens de sensoriamento remoto e em outras áreas. A fórmula básica é:

onde $P_o$ é a proporção de concordância observada (a soma da diagonal principal dividida pelo total) e $P_e$ é a proporção de concordância esperada ao acaso, calculada a partir dos totais marginais da matriz de confusão. O kappa, portanto, não é uma simples medida de acurácia: ele desconta o que seria obtido por mero acaso.

A principal distinção que a banca explora é entre acurácia global e kappa. A acurácia global é a razão entre a soma dos elementos da diagonal principal e o total de observações — ela ignora os valores fora da diagonal. O kappa, por sua vez, usa os valores fora da diagonal para calcular a concordância esperada ao acaso. É exatamente por isso que o item I está errado: ele afirma que o kappa tem características similares à acurácia global por ignorar os valores fora da diagonal, quando na verdade o kappa depende desses valores para calcular $P_e$.

O item II está correto: o kappa compara a concordância observada com a concordância esperada ao acaso. Se a concordância esperada ao acaso for alta (por exemplo, quando uma classe é muito dominante), o denominador $1 - P_e$ fica pequeno, e mesmo um modelo mediano pode produzir um kappa alto — o que pode levar a uma conclusão enganosa sobre o desempenho real. Esse é um problema conhecido do kappa, chamado de "paradoxo do kappa".

O item III também está correto: o kappa não pondera as classes pela sua frequência. Ele trata todas as classes de forma igual, de modo que, se algumas classes são muito mais comuns que outras, o kappa pode não refletir com precisão o desempenho nas classes menos frequentes. Isso é uma limitação importante, especialmente em problemas de classificação com classes desbalanceadas.

Item I — ❌ Incorreto

O item afirma que o kappa tem características similares à acurácia global, sobretudo por ignorar os valores fora da diagonal principal. Isso é falso. A acurácia global realmente ignora os valores fora da diagonal (ela é a soma da diagonal dividida pelo total), mas o kappa não os ignora: ele os utiliza para calcular a concordância esperada ao acaso ($P_e$), que é um componente essencial da fórmula. Sem os valores fora da diagonal, não é possível calcular $P_e$ e, portanto, não é possível calcular o kappa. A banca inverteu a relação: o kappa é justamente a medida que leva em conta os valores fora da diagonal, ao contrário da acurácia global.

Item II — ✅ Correto

O item descreve corretamente o mecanismo do kappa: ele compara a concordância observada com a concordância esperada ao acaso. A fórmula $\kappa = (P_o - P_e)/(1 - P_e)$ mostra que, se $P_e$ for alto, o denominador diminui e o kappa pode ser alto mesmo com um modelo mediano. Isso é um problema real e conhecido, e o item o descreve com precisão: "Se a concordância esperada ao acaso for alta, mesmo um modelo de classificação mediano pode ter um valor de kappa alto, causando conclusão enganosa sobre seu real desempenho." Portanto, o item está correto.

Item III — ✅ Correto

O item afirma que o kappa não leva em conta se algumas classes são muito mais comuns do que outras, o que pode mascarar o desempenho nas classes menos frequentes. Isso é verdadeiro. O kappa é calculado com base nas proporções marginais, mas não faz nenhuma ponderação explícita pela frequência das classes. Em problemas com classes desbalanceadas, o kappa pode ser dominado pelas classes mais comuns, e o desempenho nas classes raras pode não ser bem refletido. Essa é uma limitação reconhecida do coeficiente, e o item a descreve corretamente.

Gabarito: letra D — corretos apenas os itens II e III.