Questão de TI - Ciência de Dados e Inteligência Artificial — Treinamento e Avaliação de Modelos — FCC 2023
TI - Ciência de Dados e Inteligência ArtificialTreinamento e Avaliação de Modelos
- Código
- fc144464
- Banca
- FCC
- Órgão
- TRT 18
- Ano
- 2023
- Cargo
- AJ TRT18
Considere a matriz de confusão abaixo, que mostra o desempenho de um modelo de classificação, na qual TP = Verdadeiro positivo, TN = Verdadeiro negativo, FP = Falso positivo e FN = Falso negativo:
| Predição | ||
| Realidade | Sim | Não |
| Sim | 600 (TP) | 400 (FN) |
| Não | 100 (FP) | 900 (TN) |
Para se fazer a avaliação do modelo, utilizam-se as métricas de classificação acurácia, especificidade e sensibilidade, assim definidas:
Acurácia= Especificidade= Sensibilidade=
Com base na matriz de confusão e nas métricas indicadas, afirma-se que a
- Aespecificidade, também conhecida como recall ou revocação, que avalia a capacidade do modelo de detectar com sucesso resultados classificados como positivos, é de 0,9%.
- Bsensibilidade, que avalia a capacidade do modelo de detectar com sucesso resultados classificados como positivos, é de 90%.
- Cacurácia, ou precision, que mostra a razão entre a quantidade de exemplos classificados corretamente como positivos e o total de exemplos classificados como positivos, dando maior ênfase para os erros FP, é de 0.75.
- Dsensibilidade, também conhecida como F-measure, F-score ou score F1, que avalia a capacidade do modelo de detectar com sucesso resultados classificados como negativos, é de 0,6%.
- Eacurácia, que indica a assertividade de classificações positivas e negativas, independente da classe, é de 75%.