Rekurentne neuronske mreže

diplomski rad

• Naslov (engleski): Recurrent neural networks
• Autor: Ivana Rajić
• Mentor: Maro Cvitan (mentor)
• Član povjerenstva: Maro Cvitan (predsjednik povjerenstva)
• Član povjerenstva: Karolina Matejak Cvenić (član povjerenstva)
• Član povjerenstva: Davor Horvatić (član povjerenstva)
• Član povjerenstva: Željko Skoko (član povjerenstva)
• Član povjerenstva: Nikola Poljak (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Fizički odsjek); Zagreb
• Datum i država obrane: 2024-12-20, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Fizika

Sažetak

U ovom radu istražuju se rekurentne neuronske mreže (RNN) i njihova primjena u analizi sekvencijalnih podataka. Poseban naglasak stavljen je na arhitekturu Long Short-Term Memory (LSTM) koja se koristi za rješavanje problema nestajanja i eksplodiranja gradijenata u standardnim RNN modelima. Rad također opisuje poznata svojstva i izazove s kojima se susreću RNN, LSTM kao i nedavno predložena xLSTM arhitektura. U završnom dijelu implementirane su RNN i LSTM mreže za generiranje teksta te su rezultati analizirani kako bi se usporedile ove dvije arhitekture.

Sažetak (engleski)

This thesis explores recurrent neural networks (RNN) and their application in the analysis of sequential data. Special emphasis is placed on the Long Short-Term Memory (LSTM) architecture, which is used to address the issues of vanishing and exploding gradients in standard RNN models. The paper also describes known properties and challenges encountered by RNNs, LSTMs, as well as the recently proposed xLSTM architecture. In the final section, RNN and LSTM networks are implemented for text generation and the results are analyzed to compare these two architectures.

• Ključne riječi: rekurentna neuronska mreža; Long short term memory; neuron; trening; generiranje teksta; gubitak; funkcija gubitka; aktivacijska funkcija; xLSTM
• Ključne riječi (engleski): recurent neural network; Long short term memory; neuron; training; text generating; loss; loss function; activation function; xLSTM
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:923477
• Studijski program: Naziv: Fizika i informatika; smjerovi: Nastavnički; Smjer: Nastavnički; Vrsta studija: sveučilišni; Stupanj studija: integrirani prijediplomski i diplomski; Akademski / stručni naziv: sveučilišni magistar edukacije fizike i informatike (univ. mag. educ. phys. et inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2025-01-29 13:30:14