Randomizirana metoda optimizacije ADAM

diplomski rad

• Naslov (engleski): Randomized optimization method ADAM
• Autor: Igor Marić
• Mentor: Luka Grubišić (mentor)
• Član povjerenstva: Luka Grubišić (predsjednik povjerenstva)
• Član povjerenstva: Zvonimir Bujanović (član povjerenstva)
• Član povjerenstva: Mladen Vuković (član povjerenstva)
• Član povjerenstva: Igor Ciganović (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2023-05-04, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

U ovom radu obrađene su stohastičke gradijentne metode. Analizu smo većinom sproveli na metodi linearne regresije. Svi opimizatori su zbog te svrhe implementirani. Iz primjera smo vidjeli da se u preciznosti i efikasnosti najviše iskazala metoda adaptivnog reduciranja varijance Adam. Potom, opisali smo biblioteke automatskog deriviranja koda Jax i Autograd te na osnovu njih uvidjeli znatnu olakšicu u primjenama optimizatora. Naposljetku, implementirali smo algoritam za restauraciju slika naziva HRMC.

Sažetak (engleski)

This thesis deals with stochastic gradient methods. We mostly conducted the analysis using the linear regression method. All optimizers are implemented for this purpose. From the examples, we saw that the method of adaptive variance reduction Adam was the most accurate and efficient. Then, we described the automatic code derivation libraries Jax and Autograd, and based on them, we saw a significant improvement in optimizer applications. Finally, we implemented an image restoration algorithm called HRMC.

• Ključne riječi: stohastičke gradijentne metode; metoda linearne regresije; metoda adaptivnog reduciranja varijance Adam; algoritam za restauraciju slika HRMC; Jax; Autograd
• Ključne riječi (engleski): stochastic gradient methods; linear regression method; method of adaptive variance reduction Adam; Jax; Autograd; mage restoration algorithm HRMC
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:188192
• Studijski program: Naziv: Računarstvo i matematika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: sveučilišni magistar računarstva i matematike (univ. mag. inf. et math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-02-09 12:40:52