Questão de Noções de Informática — Inteligência Artificial e Automação — FGV 2025

Layer Normalization em LLMs

Gabarito: letra C. Layer Normalization é uma técnica que normaliza as ativações de todos os neurônios de uma camada individualmente para cada exemplo de treinamento, calculando média e variância ao longo das dimensões da camada (isto é, através das features/neurônios). Isso difere do Batch Normalization, que normaliza entre exemplos de um lote. A alternativa C descreve exatamente esse processo.

A banca testa a diferença entre as principais técnicas de normalização usadas em deep learning, especialmente em modelos de linguagem como GPT-4, onde Layer Normalization é preferida por não depender do tamanho do lote e funcionar bem em sequências de tamanho variável.

erDiagram
    LLM_TRAINING {
        string technique LayerNormalization
    }
    LAYER_NORMALIZATION {
        string description "Normaliza ativacoes individualmente para cada exemplo, considerando todos os neuronios da mesma camada"
    }
    BATCH_NORMALIZATION {
        string description "Normaliza entre exemplos de treinamento, reduzindo variacao dentro de um mesmo lote"
    }
    CHANNEL_NORMALIZATION {
        string description "Normaliza ativacoes ao longo dos canais de entrada, ideal para CNNs"
    }
    MOVING_AVERAGE_NORMALIZATION {
        string description "Aplica normalizacao por media movel das ativacoes de camadas anteriores"
    }
    GRADIENT_NORMALIZATION {
        string description "Normaliza baseada em gradientes acumulados na retropropagacao"
    }

    LLM_TRAINING ||--|| LAYER_NORMALIZATION : "usa"
    LAYER_NORMALIZATION ||--o{ BATCH_NORMALIZATION : "diferente_de"
    LAYER_NORMALIZATION ||--o{ CHANNEL_NORMALIZATION : "diferente_de"
    LAYER_NORMALIZATION ||--o{ MOVING_AVERAGE_NORMALIZATION : "diferente_de"
    LAYER_NORMALIZATION ||--o{ GRADIENT_NORMALIZATION : "diferente_de"

Alternativa A — ❌ Incorreta

Descreve a normalização por canal (como Batch Normalization em CNNs), reduzindo desvio padrão espacial. Isso é típico de redes convolucionais (CNN), não de LLMs, e não é Layer Normalization.

Alternativa B — ❌ Incorreta

Descreve a normalização entre exemplos de treinamento (Batch Normalization), que calcula média e variância ao longo do lote. Layer Normalization não usa o lote; normaliza cada exemplo individualmente.

Alternativa C — ✅ Correta ⟵ GABARITO

Descreve precisamente a Layer Normalization: normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada. É a técnica usada em Transformer models como GPT-4.

Alternativa D — ❌ Incorreta

Refere-se a uma média móvel das ativações de camadas anteriores, o que não corresponde à Layer Normalization. Médias móveis são usadas em Batch Normalization durante a inferência, mas Layer Normalization não as utiliza.

Alternativa E — ❌ Incorreta

Menciona gradientes acumulados durante a retropropagação, que é uma técnica de otimização (ex.: gradiente acumulado para lotes grandes), não uma normalização de ativações.

Gabarito: letra C.