Usporedba algoritama temeljenih na paradigmi gradient boostinga: Primjena na stvarne medicinske i fizikalne skupove podataka

diplomski rad

• Naslov (engleski): Comparison of algorithms based on the gradient boosting paradigm: Application to real medical and physical datasets
• Autor: Alan Brkičić
• Mentor: Davor Horvatić (mentor)
• Član povjerenstva: Davor Horvatić (predsjednik povjerenstva)
• Član povjerenstva: Katarina Jeličić (član povjerenstva)
• Član povjerenstva: Maro Cvitan (član povjerenstva)
• Član povjerenstva: Maja Planinić (član povjerenstva)
• Član povjerenstva: Tomislav Bokulić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Fizički odsjek); Zagreb
• Datum i država obrane: 2024-09-27, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Fizika

Sažetak

U ovom radu se proučavaju razni pristupi strojnom učenju s naglaskom na algoritme bazirane na paradigmi gradient boostinga, ulazi se u njihovu matematičku pozadinu i u dubine funkcioniranja algoritama. Uspoređuje se efikasnost gradient boostinga, XGBoosta, LightGBM-a, CatBoosta i slučajne šume na dva skupa podataka. Skup podataka Higgsovog bozona nastoji identificirati Higgsov bozon unutar raznih signala. Skup podataka za emboliju nastoji predvidjeti hoće li pacijent preživjeti do svoje sljedeće kontrole. Rezultati navedenih algoritama se mjere njihovom točnošću, opozivom, preciznošću i ROC-AUC vrijednosti. Mjeri se i značajnost značajki pripadnih skupova podataka pomoću Shapleyjevih vrijednosti.

Sažetak (engleski)

This thesis examines various approaches to machine learning, with a focus on algorithms based on the gradient boosting paradigm. It delves into their mathematical foundations and the intricacies of their inner workings. The efficiency of gradient boosting, XGBoost, LightGBM, CatBoost, and random forests is compared using two datasets: the Higgs boson dataset, which aims to identify the Higgs boson among various signals, and the embolism dataset, which seeks to predict patient outcomes based on disease severity and other comorbidities. The performance of these algorithms is evaluated using accuracy, recall, precision, and ROC-AUC values. Additionally, the signficance of the features in each dataset is assessed using Shapley values.

• Ključne riječi: strojno učenje; Gradient boosting; XGBoost
• Ključne riječi (engleski): machine learning; Gradient boosting; XGBoost
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:145560
• Studijski program: Naziv: Fizika i informatika; smjerovi: Nastavnički; Smjer: Nastavnički; Vrsta studija: sveučilišni; Stupanj studija: integrirani prijediplomski i diplomski; Akademski / stručni naziv: sveučilišni magistar edukacije fizike i informatike (univ. mag. educ. phys. et inf.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2025-01-31 12:55:10