Arhitekture dubokih neuronskih mreža u problemu obrade prirodnog jezika

diplomski rad

• Naslov (engleski): Architectures of deep neural networks in the problem of natural language processing
• Autor: Tin Štefanić
• Mentor: Luka Grubišić (mentor)
• Član povjerenstva: Luka Grubišić (predsjednik povjerenstva)
• Član povjerenstva: Zvonimir Bujanović (član povjerenstva)
• Član povjerenstva: Andrej Dujella (član povjerenstva)
• Član povjerenstva: Goran Muić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2021-09-22, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

U ovom diplomskom radu obrađuju se izabrane arhitekture dubokih neuronskih mreža korištene u problemu obrade prirodnog jezika. U prvom poglavlju cilj je obraditi klasične arhitekture, rekurzivne neuronske mreže i LSTM, te njihove prednosti i mane. Zatim u idućem poglavlju se obrađuje modernija Transformer arhitektura, arhitektura koja sadrži prednosti klasičnih arhitektura, ali nema njihove mane. U trećem poglavlju su obrađene napredne pred-trenirane Transformer arhitekture, BERT i njegova nadogradnja ALBERT. Zatim u zadnjem poglavlju te arhitekture su primjenjene na problem odgovaranja na pitanja, problem na kojem su izražene mane klasičnih arhitektura.

Sažetak (engleski)

This thesis deals with selected architectures of deep neural networks used in the problem of natural language processing. In the first chapter, the goal is to deal with classical architectures, recurrent neural networks and LSTM, and their advantages and disadvantages. Then, in the next chapter, we discuss the modern Transformer architecture, an architecture that possesses the advantages of classical architectures, but doesn’t share their disadvantages (e.g. it is easier to use parallel algorithms and it allows for transfer learning). The third chapter deals with the advanced pre-trained Transformer architecture, BERT and its upgrade ALBERT. Then, in the last chapter, these architectures are applied to a question answering problem, a problem on which the flaws of classical architectures are expressed.

• Ključne riječi: klasične arhitekture; rekurzivne neuronske mreže; LSTM; Transformer arhitektura; ERT; nadogradnja ALBERT
• Ključne riječi (engleski): classical architectures; recurrent neural networks; LSTM; Transformer architecture; BERT; ALBERT
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:848781
• Studijski program: Naziv: Računarstvo i matematika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra računarstva i matematike (mag. inf. et math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2021-11-08 12:54:39