“Os resultados mostram que o AMALIA-DPO [Direct Preference Optimization] alcança o melhor desempenho entre os modelos totalmente abertos por uma margem considerável, obtendo até mesmo os melhores resultados entre todos os modelos em lexicologia e semântica, demonstrando um domínio robusto das competências linguísticas específicas” do português em várias categorias.

O Amália LLM [Large Language Model] português tem evoluído constantemente pelo consórcio de universidades portuguesas, liderando seu desenvolvimento.

De acordo com o relatório técnico, em uma avaliação aprofundada do português europeu, Amália tem vantagens claras sobre outros modelos abertos.

Nos exames nacionais de português (perguntas em português de resposta longa), Amália “obtém a melhor pontuação de todos os modelos totalmente de código aberto, demonstrando boa compreensão de frases complexas e produção de texto coerente, com gramática e registro apropriados”.

Neste relatório, “apresentamos um LLM que prioriza a língua portuguesa europeia e seu contexto cultural”, diz o documento, que afirma que Amália usa dados do arquivo.pt e dados pós-treinamento preparados especificamente para o português europeu.

O documento indica que o LLM foi treinado usando estratégias de modelagem de linguagem e ajuste de instruções.

“Um desafio fundamental no desenvolvimento desse modelo foi a falta de benchmarks para monitorar o progresso do desempenho do modelo”, observa o relatório.

Para mitigar essa limitação, “usamos exames nacionais de PT-PT, criamos uma referência linguística e traduzimos vários conjuntos de dados” com um modelo dedicado de tradução automática (MT) de alta qualidade.

“A avaliação mostrou que Amália supera todos os modelos de código aberto anteriores em PT-PT e muitos modelos de “peso aberto” [que compartilham os pesos (parâmetros treinados)]”, conclui o relatório técnico.

“Experimentos em benchmarks de compreensão e inferência de linguagem mostram resultados de última geração ou comparáveis, enquanto nos benchmarks de geração de linguagem, o modelo se destaca na qualidade do texto gerado. Experimentos de segurança também mostram que o modelo está alinhado com o estado da arte”, diz o relatório.

No futuro, “exploraremos outros métodos de aprendizado por reforço e desenvolveremos novas combinações de dados de treinamento para melhorar as habilidades de raciocínio em PT-PT”.

Em outras palavras, na prática, esses resultados indicam que Amália está se tornando confiável como assistente em português europeu.

O relatório foi escrito por João Magalhães (UNL) e André Martins (IST), os coordenadores, e uma equipe de cerca de 20 pessoas da Universidade de Lisboa e da Universidade Nova de Lisboa.

O modelo Amalia está a ser desenvolvido por uma equipa formada pela Universidade Nova de Lisboa, pelo Instituto Superior Técnico, pela Universidade de Coimbra, pela Universidade do Porto, pela Universidade do Minho e pela Fundação para a Ciência e Tecnologia.

O processo de criação de Amália começou com a coleta e processamento de dados do português europeu em grande escala, que foram filtrados com base em sua relevância e qualidade linguística. O Arquivo da Web Portuguesa foi usado para esse fim. O modelo foi pré-treinado com base nesses dados e depois ajustado em outros conjuntos de dados para seguir as instruções, raciocinar

e resolver problemas.

A infraestrutura de computação em grande escala foi usada para treinar os modelos, usando supercomputadores nacionais (Mare Nostrum 5 e Deucalion) e supercomputadores europeus (por meio da rede EuroHPC).