"结果表明,AMALIA-DPO [直接偏好优化]在完全开放的模型中以相当大的优势取得了最佳成绩,甚至在词汇学和语义学方面取得了所有模型中的最佳成绩,显示出对葡萄牙语在多个类别中的特定语言能力的强大掌握能力"。

葡萄牙语 Amália LLM[大语言模型]一直在葡萄牙大学联盟的领导下不断发展。

根据技术报告,在对欧洲葡萄牙语的深入评估中,Amália 比其他开放式模式具有明显优势。

在葡萄牙语国家考试(葡萄牙语长答题)中,Amália "在所有完全开放源代码的模型中获得了最好的成绩,显示出对复杂句子的良好理解能力和连贯的文字表达能力,以及适当的语法和语域"。

在这份报告中,"我们介绍了一种优先考虑欧洲葡萄牙语及其文化背景的 LLM",文件中写道,Amália 使用了 arquivo.pt 中的数据和专门为欧洲葡萄牙语准备的后期培训数据。

文件指出,LLM 的培训采用了语言建模和教学调整策略。

报告指出,"开发该模型的一个基本挑战是缺乏监测模型性能进展的基准"。

为了缓解这一限制,"我们使用了国家 PT-PT 考试,创建了一个语言基准,并使用专用的高质量机器翻译 (MT) 模型翻译了几个数据集"。

"评估结果表明,Amália 在 PT-PT 中的表现优于之前的所有开源模型和许多 "开放权重 "模型(这些模型共享权重(训练参数)),"技术报告总结道。

"在语言理解和推理基准方面的实验表明,该模型取得了最先进或类似的结果,而在语言生成基准方面,该模型在生成文本的质量方面表现出色。安全实验也表明,该模型符合最新技术水平。

今后,"我们将探索其他强化学习方法,开发新的训练数据组合,以提高 PT-PT 的推理能力"。

换句话说,在实践中,这些结果表明,Amália 正在成为欧洲葡萄牙语的可靠助手。

报告由协调人若昂-马加良斯(João Magalhães,UNL)和安德烈-马丁斯(André Martins,IST)以及来自里斯本大学和里斯本新大学的约20人组成的团队撰写。

由里斯本新大学、高等技术学院、科英布拉大学、波尔图大学、米尼奥大学和科技基金会组成的团队正在开发阿玛丽亚模式。

Amália 的创建过程始于大规模收集和处理欧洲葡萄牙语数据,并根据其相关性和语言质量进行筛选。为此使用了葡萄牙语网络档案。先在这些数据上对模型进行预训练,然后在其他数据集上对模型进行微调,使其能够听从指令、推理并解决问题。

利用国家超级计算机(Mare Nostrum 5 和 Deucalion)和欧洲超级计算机(通过 EuroHPC 网络),大规模计算基础设施被用于训练模型。