"Die Ergebnisse zeigen, dass AMALIA-DPO [Direct Preference Optimisation] die mit Abstand beste Leistung unter den vollständig offenen Modellen erreicht und sogar die besten Ergebnisse unter allen Modellen in Lexikologie und Semantik erzielt, was eine robuste Beherrschung der spezifischen linguistischen Kompetenzen" des Portugiesischen in mehreren Kategorien beweist.

Das portugiesische Amália LLM [Large Language Model] wurde von dem Konsortium portugiesischer Universitäten, das für seine Entwicklung federführend war, ständig weiterentwickelt.

Dem technischen Bericht zufolge hat Amália in einer eingehenden Bewertung des europäischen Portugiesisch klare Vorteile gegenüber anderen offenen Modellen.

In portugiesischen nationalen Prüfungen (lange portugiesische Fragen) erzielt Amália "die beste Punktzahl aller vollständig quelloffenen Modelle und zeigt ein gutes Verständnis komplexer Sätze und eine kohärente Textproduktion mit angemessener Grammatik und Register".

In diesem Bericht "präsentieren wir ein LLM, das die europäische portugiesische Sprache und ihren kulturellen Kontext in den Vordergrund stellt", heißt es in dem Dokument, in dem erklärt wird, dass Amália Daten von arquivo.pt und speziell für das europäische Portugiesisch aufbereitete Nachtrainingsdaten verwendet.

Das Dokument weist darauf hin, dass das LLM mit Hilfe von Sprachmodellierungs- und Unterrichtsanpassungsstrategien trainiert wurde.

"Eine grundlegende Herausforderung bei der Entwicklung dieses Modells war das Fehlen von Benchmarks zur Überwachung des Leistungsfortschritts des Modells", heißt es in dem Bericht.

Um diese Einschränkung zu mildern, "verwendeten wir nationale PT-PT-Prüfungen, erstellten einen linguistischen Benchmark und übersetzten mehrere Datensätze" mit einem speziellen, qualitativ hochwertigen maschinellen Übersetzungsmodell (MT).

"Die Auswertung hat gezeigt, dass Amália alle bisherigen Open-Source-Modelle in PT-PT und viele "Open-Weight"-Modelle [die die Gewichte (trainierte Parameter) teilen] übertrifft", heißt es in dem technischen Bericht abschließend.

"Experimente zum Sprachverständnis und zu Inferenz-Benchmarks zeigen State-of-the-Art- oder vergleichbare Ergebnisse, während das Modell bei Benchmarks zur Spracherzeugung durch die Qualität des erzeugten Textes glänzt. Sicherheitsexperimente zeigen ebenfalls, dass das Modell dem Stand der Technik entspricht", heißt es in dem Bericht.

In Zukunft "werden wir andere Methoden des verstärkten Lernens erforschen und neue Kombinationen von Trainingsdaten entwickeln, um die Schlussfolgerungsfähigkeiten in PT-PT zu verbessern".

Mit anderen Worten: In der Praxis zeigen diese Ergebnisse, dass Amália als Assistentin für europäisches Portugiesisch immer zuverlässiger wird.

Der Bericht wurde von João Magalhães (UNL) und André Martins (IST), den Koordinatoren, und einem Team von etwa 20 Personen von der Universität Lissabon und der Universidade Nova de Lisboa verfasst.

Das Amalia-Modell wird von einem Team entwickelt, das sich aus der Universidade Nova de Lisboa, dem Instituto Superior Técnico, der Universidade de Coimbra, der Universidade do Porto, der Universidade do Minho und der Fundação para a Ciência e Tecnologia zusammensetzt.

Der Entstehungsprozess von Amália begann mit der Sammlung und Verarbeitung von portugiesischen Daten in großem Umfang, die nach Relevanz und sprachlicher Qualität gefiltert wurden. Zu diesem Zweck wurde das portugiesische Webarchiv verwendet. Das Modell wurde mit diesen Daten vortrainiert und dann mit anderen Datensätzen feinabgestimmt, um Anweisungen zu folgen, Schlussfolgerungen zu ziehen und Probleme zu lösen.

Für das Training der Modelle wurde eine umfangreiche Computerinfrastruktur genutzt, wobei nationale Supercomputer (Mare Nostrum 5 und Deucalion) und europäische Supercomputer (über das EuroHPC-Netzwerk) zum Einsatz kamen.