Questão de Estatística — Modelos lineares — FGV 2022

Estimador de Mínimos Quadrados em Regressão Múltipla

Gabarito: letra E. O estimador de mínimos quadrados ordinários (MQO) para o vetor de parâmetros $\mathbf{b}$ no modelo $\mathbf{Y} = \mathbf{X}\mathbf{b} + \mathbf{e}$ é dado por $\hat{\mathbf{b}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y}$. Essa é a solução clássica das equações normais, obtida ao minimizar a soma dos quadrados dos resíduos $\mathbf{e}^T\mathbf{e}$.

O problema pede a forma matricial do estimador. A dedução parte da minimização da soma de quadrados dos erros: $S(\mathbf{b}) = (\mathbf{Y} - \mathbf{X}\mathbf{b})^T(\mathbf{Y} - \mathbf{X}\mathbf{b})$. Derivando em relação a $\mathbf{b}$ e igualando a zero, chega-se às equações normais: $\mathbf{X}^T\mathbf{X}\mathbf{b} = \mathbf{X}^T\mathbf{Y}$. Isolando $\mathbf{b}$, obtemos $\hat{\mathbf{b}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y}$, desde que $\mathbf{X}^T\mathbf{X}$ seja invertível (o que exige posto coluna completo de $\mathbf{X}$).

A pegadinha da banca está na ordem das matrizes: muitos candidatos confundem a posição da transposta e da inversa. A forma correta tem a inversa de $\mathbf{X}^T\mathbf{X}$ multiplicando $\mathbf{X}^T\mathbf{Y}$ pela esquerda. As alternativas trocam a ordem, invertem a matriz errada ou colocam a transposta no lugar errado.

Alternativa A — ❌ Incorreta

Apresenta $(\mathbf{X}\mathbf{X}^T)^{-1}\mathbf{X}^T\mathbf{Y}$. O erro está em usar $\mathbf{X}\mathbf{X}^T$ (dimensões $n \times n$) em vez de $\mathbf{X}^T\mathbf{X}$ (dimensões $(k+1) \times (k+1)$). A matriz $\mathbf{X}\mathbf{X}^T$ não é a que aparece nas equações normais; além disso, para $n > k+1$, ela não é invertível (posto no máximo $k+1$).

Alternativa B — ❌ Incorreta

Apresenta $(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}\mathbf{Y}$. O erro está em usar $\mathbf{X}\mathbf{Y}$ em vez de $\mathbf{X}^T\mathbf{Y}$. As dimensões não batem: $\mathbf{X}$ é $n \times (k+1)$ e $\mathbf{Y}$ é $n \times 1$, então $\mathbf{X}\mathbf{Y}$ não é um produto matricial definido (a menos que $n = k+1$, caso degenerado). O correto é $\mathbf{X}^T\mathbf{Y}$, que tem dimensão $(k+1) \times 1$.

Alternativa C — ❌ Incorreta

Apresenta $\mathbf{X}^T\mathbf{Y}(\mathbf{X}^T\mathbf{X})^{-1}$. O erro está na ordem da multiplicação: a inversa deve vir à esquerda, não à direita. Como multiplicação de matrizes não é comutativa, $\mathbf{X}^T\mathbf{Y}(\mathbf{X}^T\mathbf{X})^{-1}$ não é igual a $(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y}$. Além disso, as dimensões do produto $\mathbf{X}^T\mathbf{Y}$ ($(k+1) \times 1$) com a inversa ($(k+1) \times (k+1)$) resultariam em um vetor, mas a ordem está errada.

Alternativa D — ❌ Incorreta

Apresenta $\mathbf{X}^T\mathbf{X}(\mathbf{X}^T\mathbf{Y})^{-1}$. Aqui há dois erros: primeiro, $\mathbf{X}^T\mathbf{Y}$ é um vetor, não uma matriz quadrada, portanto não possui inversa. Segundo, mesmo que tivesse, a expressão não corresponde à solução das equações normais.

Alternativa E — ✅ Correta ⟵ GABARITO

Apresenta exatamente $(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y}$, que é a forma matricial do estimador de mínimos quadrados. Essa expressão resolve as equações normais $\mathbf{X}^T\mathbf{X}\hat{\mathbf{b}} = \mathbf{X}^T\mathbf{Y}$.

Gabarito: letra E