Rekurentne neuronske mreže

diplomski rad

• Autor: Lovre Pešut
• Mentor: Miljenko Huzak (mentor)
• Član povjerenstva: Miljenko Huzak (predsjednik povjerenstva)
• Član povjerenstva: Zoran Vondraček (član povjerenstva)
• Član povjerenstva: Matija Bašić (član povjerenstva)
• Član povjerenstva: Igor Ciganović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2019-11-26, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

U ovom radu prezentiramo osnovne definicije i činjenice o neuronskim mrežama, s naglaskom na rekurentne mreže. Prvo prezentiramo perceptron i njegov algoritam za učenje, te unaprijedne neuronske mreže s fokusom na višeslojni perceptron. Posebno, izvodimo algoritam unazadne propagacije za višeslojni perceptron. Proučavamo ``obične'' rekurentne neuronske mreže i LSTM mreže. Diskutiramo dvosmjerne rekurentne neuronske mreže i problem eksplodirajućeg/iščezavajućeg gradijenta. Naposljetku, prezentiramo neke primjene rekurentnih neuronskih mreža, te testiramo snagu rekurentnih neuronskih mreža na nekoliko jednostavnih zadataka.

Sažetak (engleski)

In this work we discuss neural networks, particularly recurrent ones. We present the perceptron and its learning algorithm, as well as feedforward neural networks with emphasis on multilayer perceptron (MLP). In particular, we derive backpropagation algorithm for the MLP. We then present vanilla recurrent neural networks (RNNs) and LSTM networks. We discuss bidrectional RNNs and vanishing/exploding gradient problem. Finally, we present some applications of RNNs, as well as conduct several experiments testing RNNs ability to perform some simple tasks.

• Ključne riječi: neuronske mreže; rekurentne mreže; perceptron
• Ključne riječi (engleski): neural networks; recurrent networks; perceptron
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:487817
• Studijski program: Naziv: Matematička statistika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra matematike (mag. math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2020-07-14 10:27:09