11-03-2025
Fotografia: Amazon Science
A proposta de investigação sobre como tornar os Grandes Modelos de Linguagem (Large Language Models - LLMs) mais confiáveis, de David Semedo e João Magalhães, professores no Departamento de Informática da NOVA FCT e investigadores do grupo Multimodal Systems do NOVA LINCS, foi selecionada para o Amazon Nova AI Challenge.
A equipa, que ainda inclui os estudantes Diogo Silva (líder da equipa), Rafael Ferreira e Diogo Tavares, com novas e importantes adições: João Pedro Soares, Daniel Pina, Iago Paulo, Artur Horal e Henrique Paz, volta a ser a única portuguesa nesta competição internacional.
Esta edição é dedicada ao tema "IA Confiável: avançando no desenvolvimento de software assistido por IA de forma segura para criar aplicações mais seguras e fiáveis". Com base em desafios anteriores—onde foram desenvolvidos LLMs inovadores para assistência em tarefas e abordadas questões fundamentais de segurança—este desafio tem como objetivo alcançar a segurança por design na Inteligência Artificial Generativa. O desafio de investigação foca-se na geração de código seguro com LLMs robustos a ataques, contando com a participação de 10 universidades de todo o mundo (Carnegie Mellon University, University of Illinois Urbana-Champaign, Czech Tech University, University of California at Davis,Virginia Tech, University of Texas at Dallas, Columbia University, University of Wisconsin, Purdue University e a NOVA FCT).
A equipa da NOVA FCT investigará métodos para testar os limites dos LLMs e quebrar o seu comportamento, de forma a expor vulnerabilidades e identificar como melhorar a sua confiabilidade. Em 2023 a equipa desenvolveu o melhor sistema, baseado em LLMs, para apoio à execução de tarefas manuais.
