Veliki jezični modeli za generiranje ugradbenih vektora

diplomski rad

• Autor: Goran Ivanković
• Mentor: Marko Horvat (mentor)
• Mentor: Marko Horvat (mentor)
• Član povjerenstva: Marko Horvat (predsjednik povjerenstva)
• Član povjerenstva: Marko Horvat (član povjerenstva)
• Član povjerenstva: Mladen Jurak (član povjerenstva)
• Član povjerenstva: Rudi Mrazović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2025-02-26, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo; Umjetna inteligencija

Sažetak

Veliki jezični modeli donijeli su značajan napredak u području obrade prirodnog jezika, omogućujući dublje razumijevanje teksta putem ugradbenih vektora.

U ovom radu analizirali smo arhitekturu transformera, koja predstavlja temelj velikih jezičnih modela i ima ključnu ulogu u suvremenim tehnološkim rješenjima obrade jezika. Istražili smo metode pretraživanja teksta koristeći ugradbene vektore, kao i klasične pristupe poput BM25. Također smo razmatrali kako se ugradbeni vektori u kombinaciji s jezičnim modelima mogu koristiti unutar sustava RAG, čime se značajno proširuje raspon znanja i povećava primjenjivost velikih jezičnih modela.

Naš doprinos obuhvaća razvoj ugradbenog modela \(\text{Gemma}_{\text{last}}\), temeljenog na arhitekturi Gemma, koji generira ugradbene vektore prilagođene pretraživanju teksta na hrvatskom jeziku. Eksperimentalni rezultati pokazali su da ovaj model na našem skupu podataka postiže nešto bolje rezultate u usporedbi s ostalim metodama. Kao završni korak, implementirali smo sustav RAG koristeći razvijeni model.

Sažetak (engleski)

Large language models have brought significant advancements in the field of natural language processing, enabling a deeper understanding of text through embedding vectors.

In this study, we analyzed the transformer architecture, which serves as the foundation of large language models and plays a crucial role in modern language processing technologies. We explored text retrieval methods using embedding vectors, as well as classical approaches such as BM25. Additionally, we examined how embedding vectors, in combination with language models, can be utilized within the RAG system, significantly expanding the knowledge scope and increasing the applicability of large language models.

Our contribution includes the development of the embedding model \(\text{Gemma}_{\text{last}}\), based on the Gemma architecture, which generates embedding vectors tailored for text retrieval in the Croatian language. Experimental results have shown that this model achieves slightly better performance on our dataset compared to other methods. Finally, we implemented a RAG system using the developed model.

• Ključne riječi: Veliki jezični modeli; ugradbeni vektori; pretraživanje teksta; fino podešavanje; transformeri
• Ključne riječi (engleski): Large Language Models; Embeddings; Information retrieval; Fine tuning; Transformers
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:362283
• Studijski program: Naziv: Računarstvo i matematika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: sveučilišni magistar računarstva i matematike (univ. mag. inf. et math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2025-02-12 01:12:48