Neuronske mreže i statističko učenje

diplomski rad

• Naslov (engleski): Neural networks and statistical learning
• Autor: Alen Softić
• Mentor: Miljenko Huzak (mentor)
• Član povjerenstva: Miljenko Huzak (predsjednik povjerenstva)
• Član povjerenstva: Nela Bosner (član povjerenstva)
• Član povjerenstva: Bojan Basrak (član povjerenstva)
• Član povjerenstva: Vjekoslav Kovač (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2024-05-02, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

Prvo poglavlje započinjemo s principima rada neurona i bioloških neuronskih mreža. Nakon dane motivacije, započinjemo s njihovim matematičkim modeliranjem umjetnim neuronskim mrežama. Prvo se susrećemo s McCulloch-Pittsovim neuronom - prvim matematičkim modelom neurona. Kako ima određene nedostatke, uvodimo perceptron kao općenitiji model umjetnog neurona. Uz perceptrona dolazi algoritam perceptronskog učenja te ADALINE algoritam učenja. Nadalje, uvodimo višeslojni perceptron kao matematički model bioloških neuronskih mreža te predstavljamo tzv. "Backpropagation" algoritam učenja.Drugo poglavlje formalizira problem učenja jezikom Teorije Vjerojatnosti. Problem učenja smatramo pronalaskom optimalnih parametara umjetne neuronske mreže. Svaka umjetna neuronska mreža, kao parametarska funkcija, generira određenu klasu funkcija koje dobivamo variranjem njenih parametara. Cilj drugog poglavlja je odgovoriti na pitanje ima li smisla tražiti optimalne parametre modela unutar dane klase funkcija koju sam model generira. Pokazuje se da je odgovor potvrdan. Naime, postoji metrika zvana Vapnik-Chervonenkisova dimenzija, pridružena proizvoljnoj klasi funkcija, čija konačnost u potpunosti karakterizira naučivost same klase. Ovaj rezultat je iskazan kao Osnovni Teorem Statističkog Učenja. Na samom kraju pokazujemo kako sve klase funkcija koje generiraju umjetne neuronske mreže definirane u prvom poglavlju imaju konačnu Vapnik-Chervonenkisovu dimenziju.

Sažetak (engleski)

We start the first chapter by explaining the workings of neurons and biological neural networks. After providing some motivation, we begin their mathematical modelling with artificial neural networks. We define the McCulloch-Pitts neuron -- the first mathematical model of a neuron. As it has certain limitations, we introduce the perceptron as a more general model of an artificial neuron. Along with the perceptron come the perceptron learning algorithm and the ADALINE learning algorithm. Furthermore, we introduce the multilayer perceptron as a mathematical model of biological neural networks and present the so-called "Backpropagation" learning algorithm. The second chapter formalizes the problem of learning in the language of Probability Theory. We consider the learning problem as the search for the optimal parameters of an artificial neural network. Each artificial neural network, as a parametric function, generates a certain class of functions that we obtain by varying its parameters. The goal of the second chapter is to answer the question of whether it makes sense to search for the optimal model parameters within a given class of functions generated by the model itself. It turns out that the answer is yes. Namely, there is a metric called the Vapnik-Chervonenkis dimension, associated with an arbitrary class of functions, whose finiteness completely characterizes the learnability of said class. This result is stated as the Fundamental Theorem of Statistical Learning. At the very end, we show how all classes of functions generated by artificial neural networks defined in the first chapter have a finite Vapnik-Chervonenkis dimension.

• Ključne riječi: neuroni; biološke neuronske mreže; ADALINE algoritam učenja; "Backpropagation" algoritam učenja
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:794131
• Studijski program: Naziv: Matematička statistika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: sveučilišni magistar matematike (univ. mag. math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-05-21 14:16:30