Questão de Engenharia de Software — Inteligencia Artificial — CESPE / CEBRASPE 2025

CRISP-DM: métricas de sucesso e a fase de modelagem

Gabarito: Errado (E). No método CRISP-DM, as métricas de sucesso do projeto de descoberta de conhecimento são definidas na fase de Entendimento do Negócio (Business Understanding), e não na fase de Modelagem (Modeling). A modelagem é a fase em que se selecionam e aplicam técnicas de modelagem (como árvores de decisão, redes neurais) aos dados preparados, com o objetivo de construir o modelo preditivo ou descritivo.

O CRISP-DM (Cross-Industry Standard Process for Data Mining) é o processo padrão de fato para projetos de mineração de dados e descoberta de conhecimento em bancos de dados (KDD). Ele organiza o trabalho em seis fases, que não são executadas de forma estritamente sequencial, mas sim com idas e vindas constantes, refletindo a natureza iterativa e exploratória desses projetos. A primeira fase, Entendimento do Negócio, é o alicerce de todo o projeto: é nela que se compreendem os objetivos do negócio, se traduzem esses objetivos em metas de mineração de dados e, crucialmente, se definem os critérios de sucesso. Esses critérios podem ser tanto do ponto de vista do negócio (por exemplo, "reduzir em 20% o custo de atendimento de garantia") quanto do ponto de vista técnico da mineração de dados (por exemplo, "atingir uma acurácia de 90% na classificação das solicitações"). A definição dessas métricas é um pré-requisito para que as fases seguintes tenham um norte claro: sem saber o que é sucesso, não há como avaliar se o modelo construído é bom o suficiente.

A fase de Modelagem, por sua vez, é onde o conhecimento técnico de machine learning é aplicado. Nela, a equipe seleciona a(s) técnica(s) de modelagem mais adequada(s) ao problema (classificação, regressão, agrupamento), define os parâmetros e constrói o modelo. No caso da empresa do enunciado, que deseja decidir automaticamente se uma solicitação de garantia deve ser aprovada ou negada, a modelagem envolveria, por exemplo, escolher entre uma árvore de decisão, uma rede neural ou uma máquina de vetores de suporte, treinar o modelo com os dados históricos e ajustar seus hiperparâmetros. A avaliação do modelo construído, comparando seu desempenho com as métricas de sucesso definidas na primeira fase, ocorre na fase seguinte, chamada de Avaliação (Evaluation). Portanto, a afirmação do item troca a responsabilidade de uma fase pela outra: as métricas de sucesso são definidas no início do processo, não no meio dele.

A pegadinha da banca está em associar a definição de métricas a uma fase técnica e central do processo, quando na verdade ela pertence à fase inicial e estratégica. O candidato que conhece apenas os nomes das fases, sem entender o propósito de cada uma, pode facilmente cair na armadilha de achar que "modelagem" é um termo genérico que engloba a definição de como medir o sucesso. No entanto, a modelagem é uma fase de construção e experimentação, e não de definição de critérios de avaliação. Para fixar, é útil lembrar que o CRISP-DM começa com o entendimento do problema (negócio e dados) e termina com a implantação da solução, passando pela preparação dos dados, modelagem e avaliação. As métricas de sucesso são o "contrato" estabelecido no início, que guiará toda a avaliação do projeto.

Item — ❌ Errado

A afirmativa está errada porque atribui à fase de Modelagem uma atividade que é própria da fase de Entendimento do Negócio. No CRISP-DM, a definição das métricas de sucesso do projeto é uma das primeiras tarefas, realizada logo no início do processo, para que todos os esforços subsequentes sejam direcionados a atingir esses critérios. A fase de Modelagem é onde se seleciona e aplica a técnica de modelagem, como a construção de uma árvore de decisão para classificar as solicitações de garantia, mas a definição do que constitui sucesso (ex.: precisão, recall, redução de custos) já foi estabelecida anteriormente.

Gabarito: Errado (E).