Pristupi strojnog učenje u uvjetima neuravnoteženih podataka

diplomski rad

• Autor: Maja Kovačić
• Mentor: Tomislav Šmuc (mentor)
• Član povjerenstva: Tomislav Šmuc (predsjednik povjerenstva)
• Član povjerenstva: Pavle Pandžić (član povjerenstva)
• Član povjerenstva: Filip Najman (član povjerenstva)
• Član povjerenstva: Goran Muić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2019-12-04, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

Pretpostavka u problemima klasifikacije jest da je broj primjera među različitim klasama podjednak, što nije slučaj u problemima iz stvarnog svijeta. Taj problem je poznat kao učenje u uvjetima neuravnoteženih podataka. Učenje u takvim uvjetima nailazi na mnoge poteškoće, poput pristranosti većinskoj klasi dok je manjinska klasa od interesa. Tu su važne metode za balansiranje podataka kako bi smanjili efekt iskrivljenosti distribucije klasa. Ovdje promatramo metode prekomjernog i pod- uzorkovanja. Metode prekomjernog uzorkovanja mogu bolje inducirati klasifikatore koji su precizniji nego oni inducirani metodom pod-uzorkovanja. Te metode kombiniramo s ansamblima, kao bagging i boosting. Modifikacija ansambla uključuje tehnike za balansiranje prije učenja klasifikatora i ovdje su promatrane razne kombinacije s ciljem pronalaska najboljeg klasifikatora. U nastavku, u ovom radu provodimo eksperimentalnu evaluaciju koja uključuje pet metoda za rad s nebalansiranim podacima na deset skupova podataka s UCI repozitorija. Dalje se bavimo statističkom validacijom rezultata, te proučavanjem da li algoritmi odstupaju u performansama u odnosu na ostale.

Sažetak (engleski)

Assumption in classification problems is that number of examples in different classes is approximately equal, which is not case in real world problems. The problem is known as learning in conditions of imbalanced data. Learning in such conditions encounters many difficulties, such as bias to the majority class while minority class is interested one. There are important methods for balancing data to minimize skewness of class distribution. Here are observed over-sampling and under-sampling methods. Over-sampling methods can better induce classifier which are more accurate than those induced by under-sampling methods. These methods are combined with ensembles, such as bagging and boosting. Ensemble modification includes balancing techniques before learning the classifiers and here are given different combinations with best classifier purpose. In addition, in this work we perform a board experimental evaluation involving five methods to deal with class imbalanced problems in ten UCI datasets. We are further concerned on statistical validation of results and by examining whether algorithms differ in performance compared to others.

• Ključne riječi: neuravnoteženi podaci; prekomjerno uzorkovanje; pod-uzorkovanje; ansambli; bagging; boosting; statistička validacija
• Ključne riječi (engleski): imbalanced data; over-sampling; under-sampling; ensembles; bagging; boosting; statistical validation
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:720971
• Studijski program: Naziv: Matematička statistika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra matematike (mag. math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2020-07-03 13:08:51