Recentemente, o Centro de Ciências Computacionais (C3) comemorou a publicação de um artigo científico sobre treinamento de Large Language Models (LLMs), aceito pelo Neural Computing and Applications, periódico de altíssimo impacto internacional, vinculado ao grupo Springer Nature. A pesquisa é fruto do Trabalho de Conclusão de Curso (TCC) do estudante Paulo Santos Neto, sob orientação do professor Rodrigo Guerra. O estudo, na íntegra, está disponível em acesso aberto pela CAPES.
Últimos dias para inscrições no processo seletivo para Bacharelado em Administração Pública EaD
FURG é selecionada em programa nacional de mentoria para implantação de Células BIM
Em Brasília, FURG participa do primeiro Encontro Nacional de Cuidotecas
A investigação se concentrou nos chamados “top-n tokens”, conjunto de palavras ou símbolos mais prováveis previstos por modelos de inteligência artificial durante a geração de texto. Estudos recentes já indicavam que respostas de maior qualidade nem sempre surgiam a partir do token mais provável escolhido pelo modelo. Em muitos casos, os melhores encadeamentos de raciocínio, conhecidos como chain-of-thought (CoT), apareciam a partir de alternativas menos prováveis.
Foi então que surgiu a hipótese que deu origem ao trabalho. “E se treinássemos apenas o primeiro token, e mais nada? Parecia absurdo. Mas quanto mais jogávamos pedras na ideia, mais encontrávamos fundamentação sólida. Eu sabia que Paulo Neto tinha condições de encarar o desafio, pois era um aluno de graduação muito motivado e que já tinha feito experimentações na área antes. Encontramos várias dificuldades, uma delas foi a instabilidade: o LLM iniciava bem, mas descambava em delírios e alucinações para além do ponto onde deveria ter encerrado a resposta. Decidimos então treinar também o último token. O resultado virou o TCC do Paulo, defendido com honras no final de 2024, que apresentou o método Two-Token Fine-tuning (2T-FT)”, detalha o professor.
IA: o tema do momento
Para além da excelência acadêmica e do uso doméstico, atualmente, a Inteligência Artificial Generativa alimenta debates de toda sorte, desde a otimização de rotinas de estudo e trabalho até polêmicas envolvendo direitos autorais. Para Rodrigo, independentemente de desdobramentos, os modelos generativos, em especial aqueles de linguagem de larga escala, vêm revolucionando várias áreas do conhecimento, desenvolvendo-se de forma bastante acelerada.
“São diversos os segmentos que fazem uso desses modelos hoje, com impactos em áreas como a medicina, programação e geração de códigos, geração e revisão de textos, tradução, assistentes virtuais, e, conforme esses espaços são qualificados, começam a aparecer outras aplicações. Hoje a gente já vive em um mundo em que consideramos natural e comum conversar com o computador como quem conversa com um amigo, colega ou até mesmo um especialista em determinada área. Essa tecnologia despertou o interesse de laboratórios importantes do planeta inteiro, e com a FURG não é diferente”, declarou o professor.
No C3, o professor, ao lado de outros colegas docentes, pesquisadores, bolsistas e estudantes, vem estudando o fenômeno desde a considerada primeira onda das IAs generativas. “Claro que o estudo dessas ferramentas não consta oficialmente no currículo de nenhum curso de graduação atualmente, porque não se fazem reformas curriculares com essa velocidade, mas venho trazendo essa discussão para as disciplinas de sistemas inteligentes. Em 2024 dei aula para o Paulo, e pude conversar com ele sobre a sua experiência prévia na implementação de pequenos modelos, com código próprio. Quando ele me procurou para fazer o seu TCC pensamos na possibilidade de trabalhar dentro desse escopo”, relembrou Guerra.
Início do trabalho, motivação e ajuste
O trabalho parte de estudos sobre criatividade e geração de respostas em modelos de inteligência artificial, especialmente a partir da observação do comportamento desses modelos quando o usuário tenta tornar os resultados mais criativos, fugindo do padrão de resposta esperado. No campo científico, esse ajuste é chamado de “temperatura”; conforme essa variável aumenta, o modelo linguístico tende a se comportar de forma criativa. “Quando se aumenta essa variável, o modelo deixa de escolher sempre a próxima palavra mais provável e passa a selecionar entre várias possibilidades plausíveis, aumentando a variabilidade das respostas”, explicou o professor.
De acordo com Guerra, trabalhos anteriores já mostravam que, ao analisar diferentes possibilidades para o primeiro token, ou seja, para a primeira palavra prevista pelo modelo, algumas respostas apresentavam raciocínios mais sofisticados e reflexões mais profundas do que aquelas geradas pelo caminho considerado inicialmente mais provável.
“O que os estudos faziam era calcular dez ou quinze respostas diferentes, analisar todas elas e então escolher a melhor. Isso exigia muito processamento”, afirmou o professor. A partir dessa constatação, surgiu a proposta que originou o método Two-Token Fine-tuning (2T-FT): em vez de recalcular diversas respostas completas, o caminho tomado foi o de refinar apenas pontos específicos do comportamento do modelo.
“Treinar um LLM do zero custa milhões de dólares, exige supercomputadores, grandes clusters e meses de processamento. Isso está ao alcance apenas de grandes empresas. O que conseguimos fazer na Universidade é o refinamento: pegar um modelo já existente e ajustar parcialmente o comportamento dele”, explicou Guerra.
Incentivo e desenvolvimento acadêmico
Os resultados obtidos pelo estudo são fruto da persistência e da confiança no potencial científico desenvolvido pelo estudante e pela equipe docente do C3. Para Guerra, tanto o TCC quanto o artigo que o seguiu só foram possíveis pela combinação entre a capacidade técnica do estudante que comandou a pesquisa e o incentivo acadêmico dado a ele durante o desenvolvimento do trabalho.
Ainda segundo o professor, muitos estudantes talentosos não conseguem enxergar o próprio potencial sem apoio. “O aluno é jovem, tem grande potencial, mas geralmente não percebe isso sozinho. O papel do professor também é mostrar que, mesmo estando em uma universidade distante dos grandes centros, como a FURG, em Rio Grande, no sul do Brasil, é possível produzir pesquisa de excelência e altíssimo impacto”, destacou.
O desenvolvimento do método Two-Token Fine-tuning (2T-FT) exigiu meses de tentativas frustradas até que os resultados começassem a aparecer. “Não funcionou na primeira vez, nem na segunda, nem na vigésima. A gente insistiu muito”, apontou o professor. Atualmente, o resultado alcançado pelo trabalho representa um dos métodos de refinamento mais econômicos já desenvolvidos para modelos de linguagem. “Com poucas horas de processamento e algumas milhares de amostras, conseguimos melhorar a performance de modelos de altíssimo padrão usando apenas um computador pessoal”, completou.
Desenvolvimento do artigo
Após a conclusão da graduação, Paulo Neto continuou colaborando com grupos de pesquisa ao longo de 2025 na tentativa de transformar o seu TCC em um artigo científico internacional. O esforço resultou na publicação em um periódico de alto impacto. Atualmente, a publicação está em acesso aberto graças ao convênio da CAPES com a editora científica, permitindo que o material seja acessado gratuitamente por pesquisadores de qualquer lugar do mundo.
Por fim, Guerra avalia a dificuldade de transformar um TCC, formato expandido que permite mais tempo de desenvolvimento de ideias, em artigo de alto impacto, que demanda mais agilidade na exposição das ideias, sem perder a qualidade e a densidade do escopo abordado. “A área é disputadíssima. Competimos com grupos de universidades de altíssimo renome e com empresas multibilionárias que investem pesado nesse tipo de tecnologia. Agradeço aos coautores: Felipe Kühne, Jardel Dyonisio, João Francisco Lemos e Paulo Drews Jr; e principalmente ao Paulo Neto, que acreditou e puxou todo o trabalho pesado”, concluiu o professor.