Pular para o conteúdo principal

Questão de Programação — Linguagens de programação — FGV 2025

ProgramaçãoLinguagens de programação
Código
fg120035
Banca
FGV
Órgão
SEDUC-SP
Ano
2025
Nível
Superior
Cargo
Eixo IV - Tec da Informação (Cursos de Ciência de Dados e Desenvolvimento de Sistemas)
O programa em linguagem Python a seguir realiza a tokenização de uma pequena frase.Descrevendo-o de modo superficial, é implementada nele a importação da biblioteca NLTK (Natural Language Toolkit), que é especializada no tratamento de processamento de linguagem natural.Para evitar qualquer sobrecarga, é utilizada especificamente a função word_tokenize do submódulo (package) nltk.tokenize da biblioteca nltk.É definida uma variável do tipo string nomeada como 'texto', que contém a seguinte frase em língua portuguesa: “Tokenização é o processo de dividir textos em unidades menores. Tais unidades são nomeadas como: Tokens”.A função word_tokenize é utilizada para dividir o conteúdo da variável 'texto' em partes individuais (tokens) as quais são colocadas na lista 'tokens', com o argumento language ='portuguese' especificando que o texto está em língua portuguesa, e assim garantindo que o modelo de tokenizador correto será utilizado.Ao final, a frase tokenizada é então exibida na tela do usuário.A quantidade total de tokens exibidos na saída será de
  1. A103.
  2. B18
  3. C16.
  4. D20.
  5. E88.
Revelar gabarito e comentário

GabaritoB — 18

Comentário gerado por IA. É um apoio ao estudo, ancorado em fontes, mas pode conter imprecisões — confira sempre na fonte oficial (lei, súmula, edital e gabarito da banca). Encontrou um erro? Use “Reportar”.

Tokenização em Python com NLTK

Gabarito: letra B. A tokenização da frase "Tokenização é o processo de dividir textos em unidades menores. Tais unidades são nomeadas como: Tokens" (sem ponto final após Tokens) com a função word_tokenize do NLTK, usando language='portuguese', resulta em 18 tokens. Isso porque o tokenizador separa palavras e sinais de pontuação como tokens individuais.

Como contar os tokens

A lista de tokens obtida seria:

  1. Tokenização

  2. é

  3. o

  4. processo

  5. de

  6. dividir

  7. textos

  8. em

  9. unidades

  10. menores

  11. .

  12. Tais

  13. unidades

  14. são

  15. nomeadas

  16. como

  17. :

  18. Tokens

Total: 18 tokens. Note que o ponto final da primeira sentença e os dois-pontos são tokens separados. A segunda sentença não tem ponto final no texto original.

Alternativa A — ❌ Incorreta (103)

103 tokens é um valor muito alto, provavelmente referente à contagem de caracteres ou a um processamento diferente.

Alternativa B — ✅ Correta ⟵ GABARITO

Conforme demonstrado, a contagem correta é 18 tokens.

Alternativa C — ❌ Incorreta (16)

16 tokens é um valor próximo, mas faltam dois tokens: provavelmente o ponto final e os dois-pontos ou outra combinação.

Alternativa D — ❌ Incorreta (20)

20 tokens é um valor a mais; contaria tokens a mais como espaços ou palavras extras.

Alternativa E — ❌ Incorreta (88)

88 tokens também é um valor muito alto, possivelmente contando substrings ou letras.

PEGA ESSA DICA!

Lembre-se de que o word_tokenize do NLTK separa pontuações em tokens próprios. Ao contar tokens, inclua pontos, vírgulas, dois-pontos, etc. Não conte espaços, apenas palavras e símbolos.

Gabarito: letra B (18 tokens).

Link permanente: /questoes/fg120035