| Abstract | U ovom diplomskom radu smo pokazali da su pravila ishoda odličan alat za procjenu predikcije analitičara te uz svojstvo prikladnosti, koje osigurava iskrenost prognostičara, nagrađuje prognostičara s obzirom na predikciju i realizaciju događaja. Karakterizacijski teorem 1.2.3 pokazuje povezanost prikladnosti i postojanja konveksne očekivane funkcije ishoda \(G\), koju još nazivamo informacijska mjera ili generalizirana entropijska funkcija. Informacijska mjera je maksimalna korisnost koja se može postići pri predikciji nekog događaja. Razlika između maksimalnog dobitka i dobitka kojeg smo dobili pri nekoj predikciji nazivamo funkcija divergencije. Osim nagrade analitičara, zanima nas i kvaliteta predikcije te potreba za usporedbom različitih predikcijskih procedura zbog čega uvodimo vještine ishoda. Pravila ishoda mogu se primjenjivati na raznovrsne podatke. Glavni predstavnici kategorijskih su Savage i Schervish. Savage je konstruirao reprezentaciju za kategorijske varijable, dok Schervish reprezentacija definira pravila ishoda s 2 moguća ishoda. Do sada spominjana pravila ishoda su bila simetrična, ali ako imamo potrebu za asimetričnim, samo teorem 2.1.2 primjenimo na konveksnu funkciju \(G\) koja nije invarijantna na permutaciju koordinata. Beta familija i Winklerov ishod za binarne varijable prikazuju rješenje asimetričnog problema. Beta familija nagrađuje analitičara samo u slučaju ako je vjerojatnost događaja veća nego unaprijed zadana granica \(c\), uz uvjet realizacije tog događaja, dok Winklerov ishod rješava situaciju ako želimo više nagraditi analitičara u slučaju realizacije, inače manje. Promatrajući neprekidne varijable, pravila ishoda za predikciju gustoće zamjenjujemo s predikcijom za kumulativnu distribuciju zbog poticanja na preveliku umjetnu gustoću. Takvo pravilo ishoda nazivamo neprekidno rangirani ishod vjerojatnosti ako se radi o jednodimezionalnom prostoru, a ako ga generaliziramo na \(m\)-dimenzionalni, uz ispunjeni uvjet za euklidskom normom, ishod energije. Negativna jezgra poboljšava generalizaciju jer nema uvjeta na normu, dok postoji i konstrukcija s kompleksnom jezgrom. Postoje situacije u kojima je teško odrediti cijelu prediktivnu distribuciju, zato analitičari odlučuju predvidjeti kvantile i intervale, stoga definiramo i pravila ishoda za dotične te dajemo primjer u case study-u u odjeljku 5.3 i 5.4. Nadalje, predikciju distribucije možemo prikazati uz pomoć predikcije kvantila. Bayesovi faktori uspoređuju vjerojatnosne modele, a modeli generiraju vjerojatnosna predikcijska pravila. Bayesov faktor je ekvivalentan logaritamskom ishodu u slučaju bez parametara te Bayesovi faktori se mogu primijeniti i za usporedbu vjerojatnosnih predikcijskih pravila, ne samo modela. Ako pretpostavimo da postoje nepoznati parametri predikcijskih pravila koje dobivamo iz podataka te ako su podaci dani u određenom redoslijedu, uz logaritamski ishod, možemo primjeniti Bayesove faktore. Problem nastaje ako ne postoji redoslijed danih podataka, tada je rješenje primjena slučajne k-struke unakrsne provjere. Jedno zanimljivo pravilo ishoda je Bayesov serum istine koji predstavlja način dolaska do iskrenih odgovora na osobna, ali i objektivna pitanja, nagrađujući ljude koji su iskreni te kažnjavajući one koje lažu. Zahtjev za istinom i iskrenošću ispitanika je ispunjen jer se time maksimizira nagrada ispitanika, što je upravo svojstvo prikladnosti. Za kraj diplomskog rada, dali smo primjer istraživanja S. Radas i D. Preleca koje primjenjuje Bayesov serum istine da bi dobili odgovore o potražnji i kvaliteti za određenim proizvodom, kao i o „dobrim" i „lošim" ispitanicima s obzirom na njihovu informiranost i zainteresiranost za istraživanje. |
| Abstract (english) | In this paper, we have shown that the scoring rules are an excellent tool for evaluating the analyst’s prediction. Proper scoring rules ensures the forecasters honesty and rewards him, regard to the prediction and realization of event. The characterization theorem 1.2.3 shows the connection of the propriety and existence of the convex expected function score \(G\), which is also called the information measure or the generalized entropy function. The information measure is the maximum utility that can be achieved in the prediction of an event. The difference between the maximum score and expected score we get at some prediction, is called the divergence function. In addition to the scoring rules, we are interested in the quality of the prediction and the need to compare different prediction procedures. Because of that, we introduce skill scores. Scoring rules can be applied to a variety of data. Major representatives of the categorical are Savage and Schervish. Savage has constructed a representation for categorical variables, while the Schervish defines scoring rules for binary. So far the mentioned scoring rules have been symmetric, but if we have the need for asymmetric, we apply the theorem 2.1.2 to the convex function \(G\) which is not invariant on the permutation of the coordinates. The Beta family and Winkler’s score for binary variables show the solution for an asymmetric problem. The Beta family rewards the analyst only if probabilistic forecast is greater than the lower limit \(c\), for event or value that materializes, while Winkler’s score resolves the situation if we want to give more importance to one outcome with respect to the other. Further, if we have continuous variables, the rules for density forecasts are replaced with rules for a predictive cumulative distribution functions, due to the stimulation of artificially high density. This kind of scoring rule is called continuous ranked probability score if variables are in one-dimensional space, and if we generalize it to \(m\)-dimensional, with the fulfilled need for the Euclidean norm, energy score. Negative kernel improves generalization because there are no conditions on the norm, and also, there exist scoring rules constructed with complex-valued kernels. There are situations where it is difficult to determine the entire predictive cumulative distribution function, so analysts decide to predict quantiles, and with help of quantiles we are able to make scoring rules for interval forecasts. We give an example in the case study in the 5.3 and 5.4 section. Further, scoring rules for predictive distributions can be made from scoring rules for quantiles. Bayesian factors compare probability models, and models generate probable prediction rules. Bayesian factor is equivalent to a logarithmic score in the case of no parameters and that Bayesian factors can also be applied to compare probable prediction rules, not just the model. If we assume that there are unknown prediction parameters that we get from the data, and if the data is given in a particular order, with the logarithmic score, we can apply Bayesian factors. The problem arises if there is no sequence of data given, then the solution is the use of a random-fold cross-validation. One interesting scoring rule is the Bayesian truth serum (invented by Prelec, 2004), which is the way of getting honest answers for personal, and objective questions, rewarding honesty and punishing those who lie. The demand for the truth and honesty of the respondents is fulfilled because it maximizes the prize for subjects, which is precisely a description of propriety. We have given an example of S. Radas and D. Prelec’s research using Bayesian truth serum to get answers about a need for a given product, and it’s quality. Also, can be used to identify ”good” respondents from the collected data, thus improving data reliability, regard to their knowledge about product and interest in research. |
