Questão de Ciência e Tecnologia — Intervenção do estado na propriedade — FIOCRUZ 2024
Ciência e TecnologiaIntervenção do estado na propriedade
- Código
- qg147229
- Banca
- FIOCRUZ
- Órgão
- FIOCRUZ
- Ano
- 2024
- Nível
- Superior
- Cargo
- Tecnologista em Saúde Pública - TE56 - Cientista de Dados em Saúde
A evolução das tecnologias de Inteligência Artificial, especialmente no campo do Processamento de Linguagem Natural (PLN), tem sido marcada por inovações significativas que transformaram a maneira como as máquinas entendem e geram linguagem humana. Uma dessas inovações é a arquitetura de Transformers, introduzida pelo artigo Attention is All You Need em 2017, superando as limitações das abordagens anteriores baseadas em Redes Neurais Recorrentes (RNNs) e tornando-se a base fundamental para o surgimento dos Large Language Models (LLMs).Sobre essa arquitetura, pode-se afirmar que:
- Aa arquitetura dos Transformers depende exclusivamente de camadas recorrentes para processar sequências de texto, o que melhora a eficiência computacional em comparação com as RNNs.
- Bos Transformers introduziram o conceito de atenção seletiva, permitindo que modelos focassem em partes relevantes do texto ao gerar respostas, algo que as RNNs não podem fazer.
- Cos Transformers utilizam mecanismos de atenção que permitem a modelagem de dependências de longo alcance sem a necessidade de processamento sequencial, superando as limitações das RNNs.
- Da arquitetura dos Transformers substituiu as unidades de processamento baseadas em regras pelas redes neurais, o que não era possível com as RNNs.
- Ea arquitetura dos Transformers elimina a necessidade de encoders e decoders, diferenciando-se das RNNs que dependem dessa estrutura para o Processamento de Linguagem Natural.