"I risultati mostrano che AMALIA-DPO [Direct Preference Optimisation] raggiunge le migliori prestazioni tra i modelli completamente aperti con un margine considerevole, ottenendo anche i migliori risultati tra tutti i modelli in lessicologia e semantica, dimostrando una solida padronanza delle competenze linguistiche specifiche" del portoghese in diverse categorie.

Il LLM [Large Language Model] portoghese Amália è stato costantemente evoluto dal consorzio di università portoghesi che ne guidano lo sviluppo.

Secondo la relazione tecnica, in una valutazione approfondita del portoghese europeo, Amália presenta chiari vantaggi rispetto ad altri modelli aperti.

Negli esami nazionali portoghesi (domande in portoghese a risposta lunga), Amália "ottiene il miglior punteggio di tutti i modelli completamente open source, dimostrando una buona comprensione di frasi complesse e una produzione di testo coerente, con una grammatica e un registro appropriati".

In questa relazione, "presentiamo un LLM che dà priorità alla lingua portoghese europea e al suo contesto culturale", si legge nel documento, in cui si afferma che Amália utilizza dati provenienti da arquivo.pt e dati post-training preparati specificamente per il portoghese europeo.

Il documento indica che il LLM è stato addestrato utilizzando strategie di modellazione linguistica e di adattamento dell'istruzione.

"Una sfida fondamentale nello sviluppo di questo modello è stata la mancanza di parametri di riferimento per monitorare i progressi delle prestazioni del modello", si legge nel rapporto.

Per ovviare a questa limitazione, "abbiamo utilizzato esami nazionali di PT-PT, creato un benchmark linguistico e tradotto diversi set di dati" con un modello di traduzione automatica (MT) dedicato di alta qualità.

"La valutazione ha dimostrato che Amália supera tutti i precedenti modelli open-source in PT-PT e molti modelli "open-weight" [che condividono i pesi (parametri addestrati)]", conclude la relazione tecnica.

"Gli esperimenti sulla comprensione del linguaggio e sui benchmark di inferenza mostrano risultati allo stato dell'arte o comparabili, mentre nei benchmark di generazione del linguaggio, il modello eccelle nella qualità del testo generato. Anche gli esperimenti sulla sicurezza mostrano che il modello è in linea con lo stato dell'arte", si legge nel rapporto.

In futuro, "esploreremo altri metodi di apprendimento per rinforzo e svilupperemo nuove combinazioni di dati di addestramento per migliorare le capacità di ragionamento del PT-PT".

In altre parole, nella pratica, questi risultati indicano che Amália sta diventando affidabile come assistente in portoghese europeo.

La relazione è stata redatta da João Magalhães (UNL) e André Martins (IST), i coordinatori, e da un team di circa 20 persone dell'Università di Lisbona e dell'Universidade Nova de Lisboa.

Il modello Amalia è stato sviluppato da un team composto dall'Universidade Nova de Lisboa, dall'Instituto Superior Técnico, dall'Universidade de Coimbra, dall'Universidade do Porto, dall'Universidade do Minho e dalla Fundação para a Ciência e Tecnologia.

Il processo di creazione di Amália è iniziato con la raccolta e l'elaborazione di dati europei in portoghese su larga scala, filtrati in base alla loro rilevanza e qualità linguistica. A questo scopo è stato utilizzato l'Archivio Web Portoghese. Il modello è stato pre-addestrato su questi dati e poi messo a punto su altri set di dati per seguire istruzioni, ragionare e risolvere problemi.

Per addestrare i modelli è stata utilizzata un'infrastruttura di calcolo su larga scala, utilizzando supercomputer nazionali (Mare Nostrum 5 e Deucalion) ed europei (attraverso la rete EuroHPC).