Metoda potpornih vektora s primjenama u bankarstvu

diplomski rad

• Naslov (engleski): Support vector method with applications in banking
• Autor: Marta Hajdina
• Mentor: Zlatko Drmač (mentor)
• Član povjerenstva: Zlatko Drmač (predsjednik povjerenstva)
• Član povjerenstva: Nela Bosner (član povjerenstva)
• Član povjerenstva: Robert Manger (član povjerenstva)
• Član povjerenstva: Vedran Krčadinac (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2020-09-28, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

Strojno učenje obuhvaća metode koje se koriste za rješavanje različitih problema klasteriranja, klasifikacije, regresije. Osnovi koraci i ideje strojnog učenja za nadzirane metode nalaze se u prvom poglavlju. U drugom poglavlju prikazujemo tri najvažnija teorema optimizacije (Fermatov teorem, Lagrangeov teorem, Karush-Kuhn-Tuckerov teorem) koji imaju značajnu ulogu u pronalasku rješenja metode potpornih vektora. U trećem poglavlju polako razvijamo ideju na kojoj je bazirana metoda potpornih vektora, i objašnjavamo dvije velike prednosti dualne formulacije problema. Prva prednost je to što je metoda u dualnoj formulaciji problem kvadratičnog programiranja čije rješenje postoji i poznato je (KKT teorem). Druga prednost je mogućnost korištenja jezgrenih funkcija, koje omogućavaju primjenu metode na skup podataka reprezentiran u prostoru koji je jednostavnije razdvojiti hiperravninom. Na kraju rada prikazujemo implementaciju metode baziranu na Sequentail Minimal Optimization algoritmu. Za razliku od drugih poznatih algoritama za rješavanje problema metode potpornih vektora, SMO odlazi u krajnost i rješava optimizacijske potprobleme za samo dva Lagrangeova multiplikatora. Upravo zbog toga se SMO pokazao kao jedan od najefikasnijih algoritama pri rješavanju problema metode potpornih vektora. U završnom poglavlju iznosimo rezultate metode primijenjene na binarni klasifikacijski problem u bankarstvu. Cilj ovog primjera je izgraditi metodu koja se može koristiti za identifikaciju klijenata koji odlaze iz banke. Nakon što je prvotni skup podataka pripremljen za metodu i osjetljivost izabrana kao mjera uspješnosti metode, krećemo trenirati metodu. Najprije dijelimo skup podataka na skup za testiranje i skup za treniranje, te pomoću unakrsne validacije optimiziramo hiperparametre metode na skupu podataka za treniranje, a zatim testiramo moć generalizacije metode za dobivene optimalne parametre na skupu podataka za testiranje. Najbolje rezultate metoda postiže kada se koristi polinomijalna jezgra.

Sažetak (engleski)

Machine learning involves all the methods used to find a solution to the problems of clustering, classification, regression. In Chapter 1 the basic steps and ideas of machine learning for supervised methods are presented. The goal of the Chapter 2 is to build a theory foundation for the Support Vector Machine (SVM) on the three optimizations theorems (Fermat theorm, Lagrange theorem, Karush-Kuhn-Tucker theorem) that play a major role in finding solution to the SVM. In the Chapter 3, the main concepts on which SVM is based are presented and we remark how to exploit the two great adventages obtained from the dual formulation. The first advantage is that the method in dual formulation is a quadratic programming problem whose solution exists and is known (KKT theorem). The second advantage is the possibility of using kernels, which allow the application of the method to a dataset represented by the features on which is possible to build a separating hyperplane. In the final chapter of this thesis we apply the method which is based on the Sequential Minimal Optimization algorithm. Unlike the other known algorithms for solving problems of SVM, SMO goes to extremes and solves optimization subproblems for only two Lagrange multipliers. This is why SMO has proven to be one of the most effcient algorithms in solving the problem of support vector methods. At the end of the thesis we present the results of the described method applied to the binary classification problem in banking. The goal of this example is to build a method that can be used to identify clients leaving the bank. Once the initial data set has been prepared for the method and recall is selected as a validation measure of the method, we start the training process. Using cross-validation we optimize the hyperparameters of the method on the train data set, and finally we test the generalization power of the method for the optimal parameters on the test data set. The best results are achieved for the method based on the polynomial kernel.

• Ključne riječi: strojno učenje; Fermatov teorem; Lagrangeov teorem; Karush-Kuhn-Tuckerov teorem; polinomijalna jezgra
• Ključne riječi (engleski): Machine learning; Fermat theorm; Lagrange theorem; Karush-Kuhn-Tucker theorem; polynomial kernel
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:351954
• Studijski program: Naziv: Primijenjena matematika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra matematike (mag. math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2021-02-25 12:04:25