Questão de TI - Ciência de Dados e Inteligência Artificial — Conceitos Gerais de Machine Learning — FGV 2024

Padronização (Z-Score) vs. Normalização (Min-Max) no pré-processamento de dados

Gabarito: letra D. João deve usar a padronização (standardization Z-Score), pois ela transforma os dados para que tenham média 0 e desvio padrão 1, exatamente o que o enunciado pede, e é robusta à presença de outliers — ao contrário da normalização min-max, que é sensível a valores extremos. A técnica é amplamente utilizada em machine learning e estatística para colocar variáveis em escalas comparáveis.

A padronização (ou standardization) é uma técnica de pré-processamento que reescala as variáveis numéricas para que tenham média zero e desvio padrão um. A fórmula é:

onde $x$ é o valor original, $\mu$ é a média da variável e $\sigma$ é o desvio padrão. O resultado é uma distribuição com média 0 e desvio padrão 1, o que é exatamente o que João precisa. Essa transformação é recomendada quando há outliers, pois o desvio padrão é uma medida que considera todos os valores, mas a padronização não é tão influenciada por valores extremos quanto a normalização min-max, que usa o mínimo e o máximo — valores que são diretamente afetados por outliers.

Vamos aplicar a fórmula aos dados do enunciado para ver como funciona na prática. Para o Produto A (Preço: R$ 50, Peso: 300g) e Produto B (Preço: R$ 500, Peso: 1000g), primeiro calculamos a média e o desvio padrão de cada variável:

• Preço: média = (50 + 500) / 2 = 275; desvio padrão = √[((50-275)² + (500-275)²) / 2] = √[(50625 + 50625) / 2] = √50625 = 225.

• Peso: média = (300 + 1000) / 2 = 650; desvio padrão = √[((300-650)² + (1000-650)²) / 2] = √[(122500 + 122500) / 2] = √122500 = 350.

Agora, padronizamos cada valor:

• Produto A: Preço z = (50 - 275) / 225 = -1; Peso z = (300 - 650) / 350 = -1.

• Produto B: Preço z = (500 - 275) / 225 = 1; Peso z = (1000 - 650) / 350 = 1.

Após a padronização, ambas as variáveis têm média 0 e desvio padrão 1, e os valores estão na mesma escala, o que permite compará-los diretamente. Note que, com apenas dois pontos, os valores padronizados são sempre -1 e 1, mas o conceito se aplica a qualquer conjunto de dados.

A principal distinção que a banca explora é entre padronização (Z-Score) e normalização (Min-Max). Enquanto a padronização usa média e desvio padrão, a normalização min-max usa mínimo e máximo para reescalar os dados para um intervalo fixo, geralmente [0, 1]:

A normalização min-max é sensível a outliers, pois um valor extremo pode comprimir os demais valores em um intervalo muito pequeno. Por exemplo, se houvesse um preço de R$ 10.000, o valor R$ 500 ficaria muito próximo de 0, distorcendo a distribuição. A padronização, por outro lado, é menos afetada por outliers, pois o desvio padrão é uma medida mais robusta do que a amplitude.

A pegadinha desta questão está em associar a necessidade de "distribuição normal" com a normalização min-max, quando na verdade o que se pede é média 0 e desvio padrão 1, que é a definição de padronização. Além disso, a presença de outliers é um indicador claro de que a padronização é a escolha correta, pois a normalização min-max seria inadequada.

Guarde a fronteira entre padronização e normalização: padronização = média 0 e desvio 1, robusta a outliers; normalização = intervalo [0,1], sensível a outliers. É exatamente nessa fronteira que as alternativas se dividem.

Alternativa A — ❌ Incorreta

A discretização (KBinsDiscretizer) é uma técnica que transforma variáveis contínuas em variáveis categóricas, dividindo o intervalo de valores em bins (intervalos). Ela não tem relação com a padronização para média 0 e desvio padrão 1, e não é indicada para lidar com outliers dessa forma. O objetivo da discretização é simplificar a variável, não reescalá-la.

Alternativa B — ❌ Incorreta

A codificação one-hot encoding é usada para transformar variáveis categóricas em variáveis numéricas binárias (0 ou 1), criando uma coluna para cada categoria. Não se aplica a variáveis numéricas contínuas e não realiza qualquer reescalonamento. É uma técnica de codificação, não de padronização.

Alternativa C — ❌ Incorreta

A normalização (min-max scaling) reescala os dados para um intervalo fixo, geralmente [0, 1], usando a fórmula $x_{norm} = \frac{x - \min(x)}{\max(x) - \min(x)}$. Embora seja uma técnica de reescalonamento, ela não garante média 0 e desvio padrão 1 — apenas coloca os valores em um intervalo. Além disso, é sensível a outliers, pois o mínimo e o máximo são diretamente afetados por valores extremos, o que a torna inadequada quando há outliers, como no caso de João.

Alternativa D — ✅ Correta ⟵ GABARITO

A padronização (standardization Z-Score) transforma os dados para que tenham média 0 e desvio padrão 1, exatamente o que o enunciado pede. A fórmula é $z = \frac{x - \mu}{\sigma}$, onde $\mu$ é a média e $\sigma$ é o desvio padrão. Essa técnica é robusta à presença de outliers, pois o desvio padrão é uma medida que considera a dispersão de todos os valores, mas não é tão influenciada por valores extremos quanto a amplitude (máx - mín). Portanto, é a escolha correta para o cenário descrito.

Alternativa E — ❌ Incorreta

A transformação logarítmica (log transformation) aplica o logaritmo aos dados, o que pode ajudar a reduzir a assimetria e a influência de outliers, mas não garante média 0 e desvio padrão 1. Ela é útil para dados com distribuição assimétrica ou exponencial, mas não é a técnica adequada para o objetivo específico de padronizar para média 0 e desvio 1.

Gabarito: letra D