Rankingi osiągnięć: od piłki nożnej do nauki

Transkrypt

1 Rankingi osiągnięć: od piłki nożnej do nauki Jan Lasek Seminarium Statystyka i Analiza Danych, 2013 Instytut Badań Systemowych PAN

2 Plan prezentacji Rankingi w piłce nożnej istotność rankingów przegląd i porównianie modeli wnioski Rankingi w nauce podejście klasyczne podejście rozmyte Podsumowanie

3 Istotność rankingów Przydają się do planowania równych i ciekawych meczy Rozstawienia drużyn Według oficjalnych rankingów rząd Wielkiej Brytaniii przyznaje pozwolenia na pracę (2006)

4 Oficjalny ranking FIFA Wprowadzony po Mistrzostwach Świata 2006 Drużynom są przyznawane punkty według wzoru: Gdzie Punkty = P M S K punkty za wynik (0, 1, 2, 3) stawka meczu (1, 2.5, 3 or 4) siła przeciwnika = max(200 pozycja, 50) średnia siła konfederacji [0.85, 1]

5 System ratingu Elo Eloratings.net Oficjalny Ranking FIFA Kobiet Prosta reguła zmian: R nowy = R stary + K(Wynik Przewidywania) Liczenie oczekiwanego wyniku: 1 P i = (r i+h r j ) Oceny trzeba zainicjalizować (prior ratings)

6 Doskonalenie systemu Elo model Elo++ zwycięzca konkursu Kaggle.com dotyczącego rankingowania szachistów Znajdź oceny r i minimalizujące funkcję kosztu mecze w(s p) 2 + λ (r a) 2 drużyny w s, p a waga związana z czasem wynik oraz przewidywania średni ocena przeciwników

7 Oceny najmniejszych kwadratów Zakładamy, że różnica w liczbie strzelonych goli y ij jest proporcjonalna do różnicy w siłach drużyn: y ij = r i r j + ε Możemy rónież wprowadzić dodatkowy parametr odpowiedzialny za przewagę gospodarza y ij = r i + h r j + ε

8 Oceny społecznościowe Początkowo użyte do ustalenia relatywnej ważności aktorów w sieci społecznościowej poprzez liczbę bezpośrednich i pośrednich kontaktów Bazuje na intuicyjnej zasadzie kibice dyskutują, która drużyna jest lepsza. Ich ekipy nie grały ze sobą, ale grały z trzecią drużyną C jedna z nich wygrywając a druga przegrywając swój mecz A POŚREDNIA WYGRANA B C

9 Oceny markowowskie Rozważamy niedzielnego kibica, który kibicuje wygrywającym drużynom lub tym, które strzelają wiele bramek Dodatkowo zakładamy, że zapomina o przeszłości Jego zachowanie możemy zamodelować przy pomocy łańcucha Markowa Podobny pomysł jest zastosowany w algorytmie PageRank do ratingowania stron internetowych

10 Prawdopodobieństwa preferencji Wins A + 1 Wins A + Wins B + 2 Goals A + 1 Goals A + Goals B + 2

11 Terminarz gier macierz sąsiedztwa

12 Porównanie modeli Funkcja predykcji jak w modelu Elo 1 P i = 1 + e a r i r j h Ocena jakości predykcji na podstawie 979 meczy [s i log p i + 1 s i log(1 p i )] (s i p i ) 2

13 Ranking LogLik 90% przedział ufn. BŚK 90% przedział ufn. FIFA wydania (1.3504, ) (0.1250, ) FIFA dzienne (1.3481, ) (0.1244, ) Elo WWR (1.3498, ) (0.1246, ) Elo WWR FIFA (1.2489, ) (0.1081, ) Elo WWR FIFA (1.2744, ) (0.1113, ) Elo ratings.net (1.3070, 1.346) (0.1176, ) Elo ratings.net FIFA (1.2624, ) (0.1092, ) Elo ratings.net (1.2446, ) (0.1084, ) Elo++ (λ, h) = (0.05, 0.5) (1.2690, ) (0.1115, ) MNK (1.2597, ) (0.11, ) MNK HTA (1.2493, ) (0.1085, 0.146) Społecznościowe (1.4018, ) (0.1333, ) Markow Wygrane (1.3391, ) (0.1209, ) Markow Gole (1.3344, ) (0.1202, ) PowerRank.com (1.2672, ) (0.1115, ) Ensemble (1.2174, ) (0.1038, ) Remisy

14 Kontynuacja Ranking FIFA nie rodziela punktów adekwatnie Możemy próbować wyeksploatować obciążenie metody w celu maksymalizacji pozycji w rankingu BRA-GER SLO-HUN POL-IRL UKR-NED Ranking IND-JAP R POL

15 Rankingi w nauce (i nie tylko) Problem ogólny: x = x 1, x 2,, x k I 1,2, = n=1 I n, x i x i+1, Gdzie I = 0,, a x jest wektorem cytowań, jakością wyrobów fabrycznych, like ów na Facebooku, etc. Zadania: 1) Zdefiniować relację preferencji x y 2) Zaproponować funkcję wpływu F, zgodny z (częściowym) porządkiem indukowanym przez

16 Minimalne wymagania Def: Relacja porządkująca (Gągolewski i Grzegorzewski, 2011) Dla x I n oraz y I m powiemy, że x y wtw, gdy n m oraz x i y i dla i n. Def: Funkcja wpływu (impact function) F Funkcja F: I 1,2, I, spełniająca warunki: Jeśli x y, to F(x) F(y) y F(x) F(x, y) F x = F(x σ ) x

17 Problemy związane z porządkami Przeniesienie wyników z przestrzeni I 1,2, do I umożliwia nam wprowadzenie porządku liniowego na wektorach z tej przestrzeni. Pojawia się problem: Jeśli x y oraz y x, to jak należałoby ustalić F(x) oraz F y aby było to uczciwe? x = 8, 6, 3 y = (5, 5, 5,4,3)

18 Problemy związane z porządkami Def: Uczciwa funkcja wpływu (fair impact function) (Gągolewski 2013) Powiemy, że funkcja wpływu jest uczciwa, jeśli w przypadkach, gdy x y ani y x mamy F x Tw: (Gągolewski 2013) = F y Każda uczciwa funkcja wpływu jest trywialna: istnieje c I takie, że F x = c, x.

19 Problemy związane z porządkami Okazuje się, że funkcjami wpływu można manipulować. Dokładniej, prawdziwe jest następujące twierdzenie: Tw. (Gągolewski 2013) Niech x 1, x 2,, x n będą elementami przestrzeni I 1,2, takimi, że dla wszystkich i j mamy x y. Dla dowolnej permuatacji σ zbioru {1,2,, n} istnieje taka funkcja wpływu, że F x σ 1 < F x σ 2 < < F x σ n.

20 Alternatywne podejście relacje rozmyte Dotychczas rozpartywane przez nas relacje były 0-1. Rozważamy podejście rozmyte: x y, μ x, y [0, 1] Propozycja: μ x, y = π xy π xy + π yx, jeśli π xy + π yx > 0 1, w p. p.

21 Alternatywne podejście relacje rozmyte Propozycja: μ x, y = π xy π xy + π yx, jeśli π xy + π yx > 0 1, w p. p. π xy x y π yx

22 Własności relacji Własności: μ x, y = 1 μ y, x dla x y Czy relacja jest relacją porządku rozmytego? Zwrotność: μ x, x = 1 x Antysymetria: dla x y μ x, y μ y, x lub μ x, y = μ y, x = 0 Nasza relacja jest jedynie asymetryczna (tzn. istnieją x, y takie, że μ x, y μ y, x ) możemy zatem liczyć jedynie na praporządek rozmyty? Przechodniość zależy od definicji verte

23 Przechodniość relacji (1) Def. Przechodniość relacji rozmytych rozmytych (Peneva i Popchev 2007, Dubois i Prade 1980, Zimmermann 1993, Tanino 1984 i 1988, Zadeh 1971) max-min: x, y, z μ(x, z) min(μ x, y, μ y, z ) max-max: x, y, z μ(x, z) max(μ x, y, μ y, z ) Ograniczona max-min: x, y, z takich, że μ x, y 0.5 oraz μ y, z 0.5 μ(x, z) min(μ x, y, μ y, z )

24 Przechodniość relacji (2) Def. Przechodniość relacji rozmwytych c.d. Ograniczona max-max: x, y, z takich, że μ x, y 0.5 oraz μ y, z 0.5 μ(x, z) max(μ x, y, μ y, z ) Przechodniość addytywna: x, y, z μ x, z = μ x, y + μ y, z 0.5 Przechodniość max-δ: x, y, z μ x, z max(μ x, y + μ y, z 1, 0)

25 Przechodniość relacji (3) U nas: max-min: x, y, z μ(x, z) min(μ x, y, μ y, z ) nie zachodzi. Kontrprzykład: x = 3,2,1 y = 4,1,1,1 z = (3,2,2) 0.(3) x 0.0 y 0.5 z

26 Przechodniość relacji (4) max-max: x, y, z μ(x, z) max(μ x, y, μ y, z ) nie zachodzi poprzedni kontrprzykład działa (mocniejsza własność). Ograniczona max-max: jeśli μ x, y 0.5 oraz μ y, z 0.5 to: μ(x, z) max(μ x, y, μ y, z ) również nie zachodzi:

27 Przechodniość relacji (5) Kontrprzykład: μ(x, z) max(μ x, y, μ y, z ) x = 5, 4, 3, 1 y = 4, 4, 3 z = 3, 3, 2, 2 Ograniczona max-min: x, y, z takich, że μ x, y 0.5 oraz μ y, z 0.5 μ(x, z) min(μ x, y, μ y, z ) x 1 y z

28 Przechodniość relacji (6) Obserwacje: 0) Mamy pokazać, że: π xz π xz +π zx max y min ( π xy π xy +π yx, π yz π yz +π zy ) 1) Warunek μ x, y 0.5 oraz μ y, z 0.5 implikuje i Σ (x) i Σ (y) i Σ (z), gdzie i Σ x = x k k

29 Przechodniość relacji (7) Istotnie, mamy: π xy π xy +π yx 0.5 π xy π yx k (x k y k ) + k (y k x k ) + k min(x k, y k ) + k (x k y k ) + k (y k x k ) + + k min(x k, y k ) k x k = i Σ x i Σ y = k y k Zatem wektory są uporządkowane pod względem sumy współrzędnych π xz π xz +π zx max y min ( π xy π xy +π yx, π yz π yz +π zy )

30 Przechodniość relacji (8) 3) Warunek μ x, z min μ x, y, μ y, z zapisany dla μ z, x min μ z, y, μ y, x implikuje konieczność spełnienia max μ x, y, μ y, z μ x, z min μ x, y, μ y, z

31 Przykład: Medaliści Price a M a = μ(a, b) authors a

32 Przykład: Medaliści Price a Analiza skupień: algorytm k-medoidów kluczowa jest definicja odległości / podobieństwa obiektów

33 Dalsza praca wykazanie przechodniości relacji eksperymenty i teoretyczne podstawy analizy skupień oraz relacji porządku na grupach autorów (producentów) badanie różnych funkcji wpływu (metod rankingowania) operujących na macierzach porównań parami

34 Bibliografia Gągolewski, M.: Scientific Impact Assessment Cannot Be Fair, Journal of Informetrics, Vol. 7, Iss. 4, Lasek, J., Szlavik, Z. Bhulai, S. : The Predictive Power of Ranking Systems in Association Football, International Journal of Applied Pattern Recognition, Vol. 1, Iss. 1, Gągolewski, M., Grzegorzewski, P.: Possibilistic Analysis of Arity- Monotonic Aggregation Operators and Its Relation to Bibliometric Impact Assessment of Individuals, International Journal of Approximate Reasoning, Vol. 52, Iss. 9, Peneva, V., Popchev, I.: Aggregation of Fuzzy Preference Relations to Multicriteria Decision Making, Fuzzy Optimization and Decision Making, Vol. 6, Iss. 4, Kwang, H. L.: First Course on Fuzzy Theory and Applications, Springer, Berlin Heidelberg, 2005.

35 Bibliografia Zimmermann, H. J.: Fuzzy Set Theory and its Applications, Kluwer Academic Publishers, Noewell, MA, Tanino, T: Fuzzy Preference Relations in Group Decision Making, In J. Kacprzyk, Roubens, M. (eds.): Non-conventional Preference Relations in Group Decision Making, Springer, Berlin Heidelberg, Tanino, T.: Fuzzy Preference Orderings in Group Decision Making, Fuzzy Sets and Systems, Vol. 12, Dubois, D., Prade, H.: Fuzzy Sets and Systems: Theory and Applications, New York, Academic Press, Zadeh, L. A.: A Similarity Relations and Fuzzy Orderings, Information Science, Vol. 3, Iss. 2, 1971