Questão de Estatística — Cálculo de Probabilidades — FGV 2025

Modelos n-grama em processamento de linguagem natural

Gabarito: letra E — sequência V – F – V. A primeira afirmativa está correta (bigrama usa apenas a palavra imediatamente anterior), a segunda está incorreta (trigrama é modelo de Markov de segunda ordem, não terceira) e a terceira está correta (logaritmos evitam underflow numérico). A base conceitual está na definição de modelos de Markov aplicados a sequências de palavras, tema clássico de processamento de linguagem natural e modelagem estatística de texto.

Um n-grama é uma sequência contígua de $n$ itens (palavras, caracteres, etc.) extraída de um texto. Em modelagem de linguagem, o objetivo é estimar a probabilidade de uma sequência de palavras $P(w_1, w_2, \dots, w_m)$. Pela regra da cadeia, essa probabilidade seria o produto de probabilidades condicionais de cada palavra dado todo o histórico anterior — algo computacionalmente inviável. A aproximação de Markov simplifica isso: assume-se que a probabilidade de uma palavra depende apenas de um número fixo de palavras anteriores, não de todo o histórico.

No bigrama ($n=2$), a probabilidade de uma palavra depende apenas da palavra imediatamente anterior: $P(w_i | w_1, \dots, w_{i-1}) \approx P(w_i | w_{i-1})$. No trigrama ($n=3$), depende das duas palavras anteriores: $P(w_i | w_{i-1}, w_{i-2})$. A ordem do modelo de Markov é definida pelo número de palavras anteriores consideradas: um modelo de Markov de ordem $k$ usa as $k$ palavras anteriores. Portanto, o bigrama é um modelo de Markov de primeira ordem, o trigrama de segunda ordem, e assim por diante.

A terceira afirmativa trata de um aspecto prático crucial: ao multiplicar muitas probabilidades pequenas (como as de um modelo n-grama), o resultado tende a zero rapidamente, causando underflow numérico — o computador não consegue representar números tão pequenos. A solução é trabalhar com logaritmos das probabilidades, transformando o produto em soma, o que mantém a precisão e evita o underflow. Essa é uma técnica padrão em PLN e em qualquer modelo probabilístico com muitos fatores.

Afirmativa 1 — ✅ Verdadeira

A afirmativa descreve exatamente a aproximação bigrama: a probabilidade da próxima palavra é aproximada pela probabilidade condicional apenas da palavra imediatamente anterior. Isso é a essência do modelo de Markov de primeira ordem aplicado a texto. A regra da cadeia completa seria $P(w_i | w_1, \dots, w_{i-1})$, mas o bigrama simplifica para $P(w_i | w_{i-1})$. Portanto, a afirmativa está correta.

Afirmativa 2 — ❌ Falsa

O trigrama considera as duas palavras anteriores, não três. A ordem do modelo de Markov é o número de palavras anteriores usadas: bigrama = 1ª ordem, trigrama = 2ª ordem, 4-grama = 3ª ordem, e assim por diante. A afirmativa diz que o trigrama é de terceira ordem, o que está errado — seria de segunda ordem. Essa é uma pegadinha clássica: confundir o tamanho do n-grama (n=3) com a ordem do modelo (k=2).

Afirmativa 3 — ✅ Verdadeira

O uso de logaritmos para evitar underflow é uma prática padrão em modelos n-grama e em qualquer modelo probabilístico com muitos fatores. Ao multiplicar muitas probabilidades pequenas, o resultado tende a zero, e o computador pode não conseguir representá-lo (underflow). Trabalhar com logaritmos transforma o produto em soma, evitando esse problema e mantendo a precisão. A afirmativa está correta.

Gabarito: letra E — sequência V – F – V.