Veliki jezični modeli za generiranje ugradbenih vektora

master's thesis

• Author: Goran Ivanković
• Mentor: Marko Horvat (mentor)
• Mentor: Marko Horvat (mentor)
• Committee member: Marko Horvat (predsjednik povjerenstva)
• Committee member: Marko Horvat (član povjerenstva)
• Committee member: Mladen Jurak (član povjerenstva)
• Committee member: Rudi Mrazović (član povjerenstva)
• Granter: University of Zagreb; Faculty of Science; (Department of Mathematics); Zagreb
• Defense date and country: 2025-02-26, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing; Artificial Intelligence

Abstract

Veliki jezični modeli donijeli su značajan napredak u području obrade prirodnog jezika, omogućujući dublje razumijevanje teksta putem ugradbenih vektora.

U ovom radu analizirali smo arhitekturu transformera, koja predstavlja temelj velikih jezičnih modela i ima ključnu ulogu u suvremenim tehnološkim rješenjima obrade jezika. Istražili smo metode pretraživanja teksta koristeći ugradbene vektore, kao i klasične pristupe poput BM25. Također smo razmatrali kako se ugradbeni vektori u kombinaciji s jezičnim modelima mogu koristiti unutar sustava RAG, čime se značajno proširuje raspon znanja i povećava primjenjivost velikih jezičnih modela.

Naš doprinos obuhvaća razvoj ugradbenog modela \(\text{Gemma}_{\text{last}}\), temeljenog na arhitekturi Gemma, koji generira ugradbene vektore prilagođene pretraživanju teksta na hrvatskom jeziku. Eksperimentalni rezultati pokazali su da ovaj model na našem skupu podataka postiže nešto bolje rezultate u usporedbi s ostalim metodama. Kao završni korak, implementirali smo sustav RAG koristeći razvijeni model.

Abstract (english)

Large language models have brought significant advancements in the field of natural language processing, enabling a deeper understanding of text through embedding vectors.

In this study, we analyzed the transformer architecture, which serves as the foundation of large language models and plays a crucial role in modern language processing technologies. We explored text retrieval methods using embedding vectors, as well as classical approaches such as BM25. Additionally, we examined how embedding vectors, in combination with language models, can be utilized within the RAG system, significantly expanding the knowledge scope and increasing the applicability of large language models.

Our contribution includes the development of the embedding model \(\text{Gemma}_{\text{last}}\), based on the Gemma architecture, which generates embedding vectors tailored for text retrieval in the Croatian language. Experimental results have shown that this model achieves slightly better performance on our dataset compared to other methods. Finally, we implemented a RAG system using the developed model.

• Keywords: Veliki jezični modeli; ugradbeni vektori; pretraživanje teksta; fino podešavanje; transformeri
• Keywords (english): Large Language Models; Embeddings; Information retrieval; Fine tuning; Transformers
• Language: croatian
• URN:NBN: urn:nbn:hr:217:362283
• Study programme: Title: Computer science and mathematics; Study programme type: university; Study level: graduate; Academic / professional title: sveučilišni magistar računarstva i matematike (sveučilišni magistar računarstva i matematike)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2025-02-12 01:12:48