"Los resultados muestran que AMALIA-DPO [Direct Preference Optimisation] alcanza el mejor rendimiento entre los modelos totalmente abiertos por un margen considerable, obteniendo incluso los mejores resultados entre todos los modelos en lexicología y semántica, lo que demuestra un dominio sólido de las competencias lingüísticas específicas" del portugués en varias categorías.

El portugués Amália LLM [Large Language Model] ha sido objeto de una evolución constante por parte del consorcio de universidades portuguesas que lideran su desarrollo.

Según el informe técnico, en una evaluación en profundidad del portugués europeo, Amália presenta claras ventajas sobre otros modelos abiertos.

En los exámenes nacionales portugueses (preguntas portuguesas de respuesta larga), Amália "obtiene la mejor puntuación de todos los modelos totalmente abiertos, demostrando una buena comprensión de frases complejas y una producción de textos coherente, con una gramática y un registro adecuados".

En este informe, "presentamos un LLM que da prioridad a la lengua portuguesa europea y a su contexto cultural", reza el documento, que afirma que Amália utiliza datos de arquivo.pt y datos de post-entrenamiento preparados específicamente para el portugués europeo.

El documento indica que el LLM se entrenó utilizando estrategias de modelado lingüístico y ajuste de la instrucción.

"Un reto fundamental en el desarrollo de este modelo fue la falta de puntos de referencia para supervisar el progreso del rendimiento del modelo", señala el informe.

Para paliar esta limitación, "utilizamos exámenes nacionales de PT-PT, creamos un punto de referencia lingüístico y tradujimos varios conjuntos de datos" con un modelo de traducción automática (TA) específico de alta calidad.

"La evaluación demostró que Amália supera a todos los modelos de código abierto anteriores en PT-PT y a muchos modelos de "peso abierto" [que comparten los pesos (parámetros entrenados)]", concluye el informe técnico.

"Los experimentos de comprensión e inferencia del lenguaje muestran resultados comparables o de vanguardia, mientras que en los de generación de lenguaje, el modelo destaca por la calidad del texto generado. Los experimentos de seguridad también muestran que el modelo está en línea con el estado del arte", reza el informe.

En el futuro, "exploraremos otros métodos de aprendizaje por refuerzo y desarrollaremos nuevas combinaciones de datos de entrenamiento para mejorar la capacidad de razonamiento en PT-PT".

En otras palabras, en la práctica, estos resultados indican que Amália se está convirtiendo en un asistente fiable en portugués europeo.

El informe ha sido redactado por João Magalhães (UNL) y André Martins (IST), los coordinadores, y un equipo de unas 20 personas de la Universidad de Lisboa y la Universidad Nova de Lisboa.

El modelo Amália está siendo desarrollado por un equipo formado por la Universidade Nova de Lisboa, el Instituto Superior Técnico, la Universidade de Coimbra, la Universidade do Porto, la Universidade do Minho y la Fundação para a Ciência e Tecnologia.

El proceso de creación de Amália comenzó con la recopilación y el tratamiento de datos europeos en portugués a gran escala, que se filtraron en función de su relevancia y calidad lingüística. Para ello se utilizó el Archivo Web de Portugués. El modelo se entrenó previamente con estos datos y luego se perfeccionó con otros conjuntos de datos para seguir instrucciones, razonar y resolver problemas.

Para entrenar los modelos se utilizó infraestructura informática a gran escala, empleando superordenadores nacionales (Mare Nostrum 5 y Deucalion) y europeos (a través de la red EuroHPC).