Metoda potpornih vektora s primjenama u ekstrakciji informacije

diplomski rad

• Autor: Ivan Jovanović
• Mentor: Zlatko Drmač (mentor)
• Član povjerenstva: Zlatko Drmač (predsjednik povjerenstva)
• Član povjerenstva: Ivica Nakić (član povjerenstva)
• Član povjerenstva: Tina Bosner (član povjerenstva)
• Član povjerenstva: Saša Singer (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Prirodoslovno-matematički fakultet; (Matematički odsjek); Zagreb
• Datum i država obrane: 2019-09-25, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: PRIRODNE ZNANOSTI; Matematika

Sažetak

Metoda potpornih vektora jedna je od tehnika nadziranog učenja koja probleme klasifikacije i regresije transformira u probleme kvadratnog programiranja. Osnovna ideja tih dviju glavnih zadaća nadziranog učenja nalazi se u prvom poglavlju. Koristeći teoreme iz teorije optimizacije, koje sam predstavio u drugom poglavlju, metoda potpornih vektora formulira hipotezu pomoću dijela primjera iz skupa za učenje koje nazivamo potporni vektori. U trećem i četvrtom poglavlju opisao sam kako se dolazi do tih rezultata. Dualna formulacija problema kvadratnog programiranja omogućila nam je da za rješavanje problema koji zahtijevaju nelinearna rješenja uvedemo jezgrene funkcije. Svojstva i primjeri jezgrenih funkcija koje se koriste u metodi potpornih vektora opisani su u petom poglavlju. U pronalasku korisnih jezgara ključan se pokazao Mercerov teorem. U šestom poglavlju pokazao sam neke probleme na koje nailazimo u implementaciji metode na računalu i kako se to uspješno rješava primjenom iterativnih postupaka poput SMO algoritma. Napokon, u posljednjem poglavlju pokazao sam kako se metoda potpornih vektora koristi u analizi teksta. U prvom primjeru sam pomoću IMDb kritika filmova napravio klasifikacijski model koji predviđa je li kritika pozitivna ili negativna. U drugom primjeru napravio sam klasifikacijski model koji nam govori je li elektronička poruka neželjena ili ne. Također, pokazao sam kako parametri \(C\) i \(\gamma\) i odabir prave jezgrene funkcije utječu na točnost modela. Na ovim primjerima lako se vidi da je metoda potpornih vektora jednostavan ali moćan alat za rješavanje klasifikacijskih zadataka.

Sažetak (engleski)

Support vector machine is a supervised learning technique which transforms classification and regression problems in quadratic programming ones. Basic idea of these two main tasks of supervised learning is written in chapter one. Using theorems from optimization theory, which I presented in chapter two, support vector machine formulates hypothesis using only part of training dataset which we call support vectors. In chapters three and four I described a way to get to these results. Dual formulation of quadratic programming problem gave us the ability to use kernel functions in solving problems that require nonlinear solutions. Characteristics and examples of kernel functions used in support vector machine are described in chapter five. Mercer theorem was crucial in finding useful kernels. In chapter six I showed some problems in implementing method on computer and how that can be successfully solved by using iterative algorithms, such as SMO. Finally, in the last chapter I showed how to use support vector machine in text analysis. In the first example I used IMDb movie reviews to make classification model that predicts whether a review is good or bad. In the second example I made classification model that tells us if the e-mail is spam or not. I also showed how parameters \(C\) and \(\gamma\) and choosing right kernel function affects model accuracy. On these two examples it’s easy to see that support vector machine is simple yet powerful tool in solving classification tasks.

• Ključne riječi: metoda potpornih vektora; kvadratno programiranje; teorija optimizacije; Mercerov teorem; klasifikacijski zadaci
• Ključne riječi (engleski): support vector machine; quadratic programming; optimization theory; Mercer theorem; classification tasks
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:217:833566
• Studijski program: Naziv: Primijenjena matematika; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra matematike (mag. math.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Datum i vrijeme pohrane: 2020-02-05 11:27:01