“Sonuçlar, AMALIA-DPO 'nun [Doğrudan Tercih Optimizasyonu] tamamen açık modeller arasında önemli bir farkla en iyi performansı elde ettiğini, hatta sözlükbilim ve anlambilimdeki tüm modeller arasında en iyi sonuçları elde ettiğini ve Portekizce'nin çeşitli kategorilerde belirli dilsel yeterliliklerinin sağlam bir ustalığını gösterdiğini gösteriyor.

Portekizli Amália LLM [Büyük Dil Modeli], Portekiz üniversiteleri konsorsiyumu tarafından sürekli gelişmekte ve gelişimine öncülük etmektedir.

Teknik rapora göre, Avrupa Portekizcesinin derinlemesine bir değerlendirmesinde Amália, diğer açık modellere göre açık avantajlara sahip.

Portekiz ulusal sınavlarında (uzun cevaplı Portekizce sorular), Amália “tüm tamamen açık kaynaklı modellerden en iyi puanı alır, karmaşık cümlelerin iyi anlaşılmasını ve uygun gramer ve kayıt ile tutarlı metin üretimini gösterir”.

Bu raporda, Amália'nın arquivo.pt'den gelen verileri ve özellikle Avrupa Portekizcesi için hazırlanan eğitim sonrası verileri kullandığını belirten belgede, “Avrupa Portekizcesi diline ve kültürel bağlamına öncelik veren bir LLM sunuyoruz” yazıyor.

Belge, LLM'nin dil modelleme ve talimat ayarlama stratejileri kullanılarak eğitildiğini göstermektedir.

Raporda, “Bu modelin geliştirilmesindeki temel zorluk, modelin performansının ilerlemesini izlemek için kriterlerin olmamasıydı” diyor.

Bu sınırlamayı azaltmak için, özel bir yüksek kaliteli makine çevirisi (MT) modeliyle “ulusal PT-PT sınavlarını kullandık, dilsel bir kıyaslama oluşturduk ve birkaç veri kümesini tercüme ettik”.

Teknik rapor, “Değerlendirme, Amália'nın PT-PT'deki önceki tüm açık kaynaklı modellerden ve [ağırlıkları (eğitimli parametreler) paylaşan] birçok “açık ağırlık” modelinden daha iyi performans gösterdiğini gösterdi” diye bitiriyor.

“Dil anlama ve çıkarım kriterleri üzerine yapılan deneyler, son teknoloji veya karşılaştırılabilir sonuçlar gösterirken, dil oluşturma kriterlerinde model, oluşturulan metnin kalitesinde mükemmeldir. Güvenlik deneyleri ayrıca modelin son teknoloji ile uyumlu olduğunu gösteriyor” diyor raporda.

Gelecekte, “PT-PT'de akıl yürütme yeteneklerini geliştirmek için diğer pekiştirici öğrenme yöntemlerini keşfedeceğiz ve yeni eğitim verisi kombinasyonları geliştireceğiz”.

Başka bir deyişle, pratikte bu sonuçlar Amália'nın Avrupa Portekizcesinde asistan olarak güvenilir hale geldiğini göstermektedir.

Rapor, koordinatörler João Magalhães (UNL) ve André Martins (IST) ve Lizbon Üniversitesi ve Universidade Nova de Lisboa'dan yaklaşık 20 kişilik bir ekip tarafından yazıldı.

Amalia modeli, Universidade Nova de Lisboa, Instituto Superior Técnico, Universidade de Coimbra, Universidade do Porto, Universidade do Minho ve Fundação para a Ciência e Tecnologia'dan oluşan bir ekip tarafından geliştirilmektedir.

Amá@@

lia'yı yaratma süreci, Avrupa Portekiz verilerinin alaka düzeyine ve dilsel kalitesine göre filtrelenen büyük ölçekte toplanması ve işlenmesi ile başladı. Bu amaçla Portekiz Web Arşivi kullanıldı. Model, bu veriler üzerinde önceden eğitildi ve ardından talimatları takip etmek, akıl yürütmek ve sorunları çözmek için diğer veri setlerinde ince ayar

yapıldı.

Ulusal süper bilgisayarlar (Mare Nostrum 5 ve Deucalion) ve Avrupa süper bilgisayarları (EuroHPC ağı aracılığıyla) kullanılarak modelleri eğitmek için büyük ölçekli bilgi işlem altyapısı kullanıldı.