Varijante gradijentnog spusta u strojnom učenju s primjerima

diplomski rad

• Naslov (engleski): Variants of gradient descent in machine learning with examples
• Autor: Dorotea Bošnjak
• Mentor: Nikola Sandrić (mentor)
• Član povjerenstva: Nikola Sandrić (predsjednik povjerenstva)
• Član povjerenstva: Maja Resman (član povjerenstva)
• Član povjerenstva: Marko Erceg (član povjerenstva)
• Član povjerenstva: Filip Najman (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2023-09-26, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

U ovom radu stječemo dublje razumijevanje gradijentnog spusta u strojnom i dubokom učenju, istraživajući različite varijante i optimizacije. U prvom poglavlju iznosimo ključne koncepte i teoreme vezane uz konvergenciju gradijentnog spusta i metoda ubrzanja. Nadalje, analiziramo varijante gradijentnog spusta koje se razlikuju po broju točaka iz skupa za treniranje koje se uzimaju u obzir u svakoj iteraciji. Iz njihove jednostavnosti proizlaze brojni izazovi i ograničenja, što nas potiče na istraživanje optimizacijskih algoritama. Za svaku od optimizacijskih metoda proučavamo teorijske temelje i opis koraka algoritma s ciljem stjecanja intuicije i razumijevanja njihovog funkcioniranja. Nakon teorijskog objašnjenja slijedi primjena varijanti i optimizacijskih algoritama na dva različita modela. Jedan je iz područja medicine, a drugi je iz genetike. Na taj način dobivamo uvid u praktičnu primjenu ovih metoda i njihovu implementaciju u Pythonu. Istražujemo njihovu učinkovitost na konkretnim modelima.

Sažetak (engleski)

In this thesis, we aim to better understand gradient descent in machine and deep learning by exploring its different versions and improvements. In the first chapter, we cover essential concepts and theorems related to how gradient descent works and how it can be made faster. We also look at different variations of gradient descent that involve considering different amounts of data in each step. While studying these variations, we encounter various challenges and computer limitations that lead us to optimization techniques. For each of these optimization methods, we dive into the theory behind them and explain how they work step by step. Our goal is to help readers gain an intuitive understanding of these methods. After explaining the theory, we apply these optimization techniques to two different models. One in the medical field and the other in genetics. This allows us to see how these methods are used in practice and how they can be implemented using Python. We also evaluate how well they perform on real-world models.

• Ključne riječi: konvergencija gradijentnog spusta; metode ubrzanja; optimizacijski algoritmi; Python
• Ključne riječi (engleski): gradient descent convergence; acceleration methods; optimization algorithms; Python
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:216150
• Studijski program: Naziv: Matematička statistika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: sveučilišni magistar matematike (univ. mag. math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2024-01-30 11:59:55