Pular para o conteúdo principal

Questão de TI - Ciência de Dados e Inteligência Artificial — NLTK (Natural Language Toolkit) — FGV 2025

TI - Ciência de Dados e Inteligência ArtificialNLTK (Natural Language Toolkit)
Código
fg169101
Banca
FGV
Órgão
SEDUC SP
Ano
2025
Cargo
Prof EFM ( )

O programa em linguagem Python a seguir realiza a tokenização de uma pequena frase.

 

Descrevendo-o de modo superficial, é implementada nele a importação da biblioteca NLTK (Natural Language Toolkit), que é especializada no tratamento de processamento de linguagem natural.

 

Para evitar qualquer sobrecarga, é utilizada especificamente a função word_tokenize do submódulo (package) nltk.tokenize da biblioteca nltk.

 

É definida uma variável do tipo string nomeada como 'texto', que contém a seguinte frase em língua portuguesa: “Tokenização é o processo de dividir textos em unidades menores. Tais unidades são nomeadas como: Tokens”.

 

A função word_tokenize é utilizada para dividir o conteúdo da variável 'texto' em partes individuais (tokens) as quais são colocadas na lista 'tokens', com o argumento language ='portuguese' especificando que o texto está em língua portuguesa, e assim garantindo que o modelo de tokenizador correto será utilizado.

 

Ao final, a frase tokenizada é então exibida na tela do usuário.

 

import nltk

from nltk.tokenize import word_tokenize

  texto = "Tokenização é o processo de dividir textos em unidades

menores. Tais unidades são

  nomeadas como: Tokens"

  tokens = word_tokenize(texto, language='portuguese')

print(tokens)

 

A quantidade total de tokens exibidos na saída será de

  1. A103.
  2. B18.
  3. C16.
  4. D20.
  5. E88.
Revelar gabarito e comentário

GabaritoB — 18.

Link permanente: /questoes/fg169101