Aukcje Bayesa. Piotr Sankowski Uniwersytet Warszawski Warszawa p. 1/54

Transkrypt

1 Aukcje Bayesa Piotr Sankowski Uniwersytet Warszawski Warszawa p. 1/54

2 Plan wykładu Aukcje Bayesa-Nasha Zasada bezpośredniego wyjawiania Analiza aukcji pierwszej ceny Twierdzenie o równoważności zysków Maksymalizacja zysku Optymalne aukcje Myersona Przykłady aukcji Aukcje sponsorowanego wyszukiwania - p. 2/54

3 Aukcje Bayesa-Nasha Dotychczas rozważaliśmy przypadki pesymistyczne, tzn., chcieliśmy aby gracz miał zawsze strategie dominujac a. Zakładaliśmy, że gracz nie ma żadnej wiedzy o tym co robia inni gracze. Standardowo rozważanym przypadkiem w teorii aukcji jest model Bayesa. Zakładamy, że typ każdego gracza pochodzi z pewnego wszystkim znanego rozkładu. - p. 3/54

4 Aukcje Bayesa-Nasha Definicja 1 Gra z niepełną informacją dla n graczy jest opisana przez zadanie dla każdego gracza i: zbioru możliwych akcji X i ; zbioru możliwych typów T i, i rozkładu D i na T i ; funkcji użyteczności u i : T i X 1... X n R. Wartość t i T i jest prywatna wiedza gracza, a D i (t i ) to prawdopodobieństwo, że i jest typu t i. Wartość u i (t i, x 1,..., x n ) jest użytecznościa gracza i, gdy jego typ jest t i, a akcje wykonane przez pozostałych to x 1,..., x n. - p. 4/54

5 Aukcje Bayesa-Nasha Nasze dotychczasowe mechanizmy były mechanizmami bezpośrednimi. Zbiór możliwych akcji był równy zbiorowi możliwych typów, tzn. T i = X i. Teraz chcemy zbadać przypadek bardziej ogólny, w którym umożliwienie bardziej złożonej komunikacji, może nam umożliwić coś więcej. Pokażemy, że w senie równowagowym tak nie jest. - p. 5/54

6 Aukcje Bayesa-Nasha Teraz każdy gracz podejmuje swoja decyzję x i nie na podstawie tego jakie decyzje podjęli inni gracze, ale tylko na podstawie rozkładu D i. Strategie gracza możemy teraz opisać funkcja, która dla każdego typu t i zadaje akcje do wykonania. Definicja 2 Strategia gracza i jest funkcją s i : T i X i. - p. 6/54

7 Aukcje Bayesa-Nasha Definicja 3 Profil strategi s 1,..., s n jest equilibrium Bayesa-Nasha jeżeli dla każdego gracza i oraz każdego t i, kiedy: s i (t i ) jest najlepszą odpowiedzią gracza i na s i () gdy jego typ jest t i : i,ti,x i : E D i [u i (t i, s i (t i ), s i (t i ))] E D i [u i (t i, x i, s i (t i ))], gdzie E D i [] oznacza wartość oczekiwana po typach t i wybranych zgodnie z rozkładem D i. - p. 7/54

8 Aukcje Bayesa-Nasha Mechanizm Beyesowski dla n graczy jest zadany przez: zbiór możliwych akcji X i ; zbiór możliwych typów T i, i rozkładu D i na T i ; zbiór alternatyw A, wartościowania graczy v i : T i A R, funkcję wyliczajac a wynik a : X 1... X n A, funkcje opłat p 1,..., p n gdzie p i : X 1... X n R. - p. 8/54

9 Aukcje Bayesa-Nasha Gra o niepełna informacja indukowana przez ten mechanizm zadana jest tymi samymi X i, T i, D i oraz funkcjami użyteczności: u i (t i, x 1,..., x n ) = = v i (t i, a(x 1,..., x n )) p i (x 1,..., x n ). Nasze poprzednie wyniki w przypadku pesymistycznym (strategie dominujace) daja equilibrium Bayesa-Nasha dla dowolnych rozkładów D i. - p. 9/54

10 Aukcje Bayesa-Nasha Mówimy, że mechanizm implementuje funkcję wyboru społecznego f : T 1... T n A w sensie Bayesowskim jeżeli dla pewnego equilibrium Bayesa-Nasha s 1,..., s n gry indukowanej zachodzi dla każdego t 1,..., t n : f(t 1,..., t n ) = a(s 1 (t 1 ),..., s n (t n )). Strategiczni gracze zgłosz a takie akcje, że wynikiem działania mechanizmy będzie funkcja f. - p. 10/54

11 Aukcje Bayesa-Nasha Mechanizm jest prawdomówny w sensie Bayesa gdy: jest bezpośredni, strategia prawdomówna s i (t i ) = t i jest equilibrium Bayesa-Nasha. Twierdzenie 4 (Zasada bezpośredniego wyjawiania) Jeżeli pewien mechanizm implementuje f w sensie Bayesa, to wtedy istnieje prawdomówny mechanizm implementujący f w sensie Bayesa. Co więcej, oczekiwane płatności graczy są identyczne w obydwu mechanizmach. - p. 11/54

12 Aukcje Bayesa-Nasha Nasz nowy mechanizm po prostu musi symulować równowagowe strategie graczy: a d (t 1,..., t n ) := a(s 1 (t 1 ),..., s n (t n )), p d i(t 1,..., t n ) := p i (s 1 (t 1 ),..., s n (t n )). Ponieważ każde s i jest najlepsza strategia dla gracza i, to mamy: E D i [u i (t i, s i (t i ), s i (t i ))] E D i [u i (t i, x i, s i(t i ))] - p. 12/54

13 Aukcje Bayesa-Nasha E D i [v i (t i, a(s i (t i ), s i (t i ))) p i (s i (t i ), s i (t i ))] E D i [v i (t i, a(x i, s i (t i ))) p i (x i, s i (t i ))] dla każdego x i = s i(t i ) otrzymujemy: ] E D i [v i (t i, a d (t i, t i )) pi(t d i, t i ) ] E D i [v i (t i, a d (t i, t i )) pi(t d i, t i ) Co mówi, że prawdomówne strategie s a w equilibrium. - p. 13/54

14 Aukcja pierwszej ceny Jako przykład analizy Bayesowskiej rozważmy aukcje pierwszej ceny dla dwóch graczy. Mamy jeden przedmiot, który chcemy sprzedać Adelajdzie i Badzisławowi. Adelajda ma wartościowanie a dla tego przedmiotu, a Badzisław wartościowanie b. Adelajda nigdy nie zgłosi a jako oferty, bo jak wygra, to zapłaci a i jej użyteczność wyniesie 0. - p. 14/54

15 Aukcja pierwszej ceny Rozważmy ta aukcje w przypadku Bayesowskim. Typ Adelajdy t A jest wartościowanie a R, które pochodzi z rozkładu D A. Podobnie dla Badzisława t B to wartościowanie b R pochodzace z rozkładu D B. Akcje graczy, to oferta x R dla Adelajdy i y R dla Badzisława. - p. 15/54

16 Aukcja pierwszej ceny Znalezienie equilibrium Bayesa-Nasha nie jest proste. W przypadku symetrycznym, gdy D A = D B (nawet dla wielu graczy), można je znaleźć. My rozważmy jeszcze prostszy przypadek rozkładów jednostajnych na przedziale [0, 1]. Lemat 5 Jeżeli D A i D B są rozkładami jednostajnymi, to strategie x(a) = a/2 oraz y(b) = b/2 są w equilibrium Bayesa-Nasha. Większe wartościowanie wygrywa. - p. 16/54

17 Aukcja pierwszej ceny Zastanówmy się jaka oferta x jest optymalna odpowiedzia Adelajdy na strategię Badzisława y = b/2. Użyteczność dla Adelajdy wynosi 0 jak przegra i a x wpp. Jej oczekiwana użyteczność wynosi u A = Pr[Adelajda wygrywa zgłaszając x] (a x). Adelajda wygra, gdy x y = b/2. - p. 17/54

18 Aukcja pierwszej ceny Ponieważ, b pochodzi z rozkładu jednostajnego na [0, 1], to prawdopodobieństwo to wynosi: 2x dla 0 x 1/2, 1 dla x 1/2, oraz 0 dla x 0. Maksimum jest na przedziale [0, 1/2]. I odpowiada maksimum funkcji 2x(a x). Funkcja ta osiaga maksimum dla a/2. - p. 18/54

19 Równoważność zysków Zauważmy, że aukcja pierwszej ceny zakończyła się przekazaniem przedmiotu graczowi o większym wartościowaniu. Tak jak Vickrey i tak aukcja maksymalizuje społeczna użyteczność. Zysk w Vickrey jest min(a, b), a tutaj max(a/2, b/2). Która aukcja daje większy zysk? - p. 19/54

20 Równoważność zysków Twierdzenie 6 Przy pewnych słabych założeniach, dla każdych dwóch implementacji Beyasa-Nasha tej samej f mamy, że jeżeli dla pewnego typu t 0 i gracza i jego oczekiwana opłata jest taka sama w obydwu mechanizmach, to jest taka sama dla każdego typu t i. Wniosek 7 Jeżeli dla każdego i istnieje takie t 0 i to zysk jest taki sam. Wniosek 8 W aukcjach, w których przegrani nic nie płacą, zysk jest taki sam. - p. 20/54

21 Maksymalizacja zysku Chwile temu zauważyliśmy, że aukcja pierwszej ceny i aukcja drugiej ceny w przypadku rozkładów jednostajnych daja ten sam zysk 1 3. Czy daje się zrobić to lepiej? - p. 21/54

22 Maksymalizacja zysku Definicja 9 Aukcja Vickrey z minimalną ceną r sprzedaje przedmiot graczowi o największej ofercie jeżeli wynosi ona co najmniej r. Zwycięzca płaci maximum z drugiej największej oferty i r. Dla r = 1/2 nasz oczekiwany zysk wynosi 5/12 > 1/3. Możemy osiagn ać większy zysk czasami nie sprzedajac niczego! Zidentyfikujemy teraz optymalny prawdomówny mechanizm. - p. 22/54

23 Maksymalizacja zysku W przypadek jedno-parametrowy, każdy agent ma wartościowanie v i jeżeli otrzyma usługę, a 0 wpp. Agenci zgłaszaja mechanizmowi oferty b i, a mechanizm wyznacza wektory przydziału x = (x 1,..., x n ) oraz opłat p = (p 1,..., p n ). x i = 1 (x i = 0) oznacza, że agent i otrzymał (nie otrzymał) usługę. Użyteczność agenta jest dana jako u i = v i x i p i. - p. 23/54

24 Maksymalizacja zysku Zakładamy, że wartościowania graczy v 1,..., v n pochodza ze znanych ciagłych choć nie identycznych rozkładów. Dla prostoty zakładamy, że v i [0, h] dla każdego i. Niech F i oznacza dystrybucję rozkładu F i (z) = Pr[v i z]. Gęstość rozkładu oznaczmy f i (z) = d dz F i(z). - p. 24/54

25 Maksymalizacja zysku Co więcej zakładamy, że wyprodukowanie przydziału x wiaże się z kosztem c(x), który musi być zapłacony przez mechanizm. Naszym celem jest zaprojektowanie mechanizm, funkcji wyznaczania przydziału i cen na podstawie ofert takiego, który maksymalizuje zysk: Zysk = i oraz jest prawdomówny. p i c(x), - p. 25/54

26 Maksymalizacja zysku Definicja 10 Wirtualne wartościowanie agenta i o wartościowaniu v i definiujemy jako: φ i (v i ) = v i 1 F i(v i ) f i (v i ). Definicja 11 Dla danych wartościowań v i oraz wirtualnych wartościowań φ i (v i ) wirtualny nadmiar przydziału x definiujemy jako: i φ i (v i )x i c(x). - p. 26/54

27 Maksymalizacja zysku Pokażemy, że oczekiwany zysk każdego prawdomównego mechanizmy jest równy jego oczekiwanemu nadmiarowi. Aby osiagn ać maksymalny oczekiwany zysk powinniśmy stworzyć mechanizm maksymalizujacy wirtualny nadmiar. Twierdzenie 12 Oczekiwany zysk dowolnego prawdomównego mechanizmu jest równy jego oczekiwanemu wirtualnemu nadmiarowi E v [ i φ i (v i )x i (v) c(x(v))] - p. 27/54

28 Maksymalizacja zysku Jednak, czy ta reguła zadaje aukcje prawdomówna? VCG było prawdomówne, bo maksymalizowało prawdziwy nadmiar, a nie wirtualny. Twierdzenie 13 Mechanizm jest prawdomówny (oczekiwanym sensie) jeżeli dla każdego agenta i oraz dowolnych ofert pozostałych agentów: x i (b i ) jest monotonicznie nie malejące, p i (b i ) = b i x i (b i ) b i 0 x i(z)dz. - p. 28/54

29 Maksymalizacja zysku Lemat 14 Aukcja maksymalizująca wirtualny nadmiar jest prawdomówna wtedy i tylko wtedy gdy dla każdego i wirtualne wartościowania φ i (v i ) są monotoniczne nie malejące w v i. Optymalny mechanizm Myersona: dla danych ofert b policz wirtualne wartościowania b i = φ i(b i ), uruchom VCG na b aby otrzymać x oraz p zwróć x = x oraz p takie, że p i = φ 1 i (p i ). - p. 29/54

30 Maksymalizacja zysku: Przykład I W przypadku sprzedaży jednego przedmiotu, aby zmaksymalizować nadmiar, dajemy przedmiot graczowi o największym wartościowaniu. Jeżeli największe wartościowanie jest ujemne to nie dajemy przedmiotu nikomu. Zazwyczaj zakładaliśmy, że gracze mieli nieujemne wartościowania. W przypadku wartościowań wirtualnych to nie musi być prawda. - p. 30/54

31 Maksymalizacja zysku: Przykład I Mechanizm Myersona, więc mówi, żebyśmy dali przedmiot graczowi o największym wirtualnym wartościowaniu większym od zera. Płatność Adelajdy to to p A = inf{a : φ A (a) φ B (b) i φ A (a) 0}. Twierdzenie 15 Optymalna aukcja jednego przedmiotu dla graczy pochodzących z tego samego rozkładu to aukcja Vickrey z minimalną ceną φ 1 (0). - p. 31/54

32 Maksymalizacja zysku: Przykład I Dla rozkładu jednostajnego F na [0, 1] mamy F(z) = z oraz f(z) = 1. Wirtualne wartościowanie wynosi teraz z 1 F(z) f(z) = 2z 1. Dlatego φ 1 (0) = 1/2. Optymalna aukcja w tym przypadku jest aukcja Vickrey z minimalna cena 1/2. - p. 32/54

33 Maksymalizacja zysku: Przykład II W aukcji dóbr cyfrowych mamy c(x) = 0 dla każdego x. W tym przypadku aby zmaksymalizować nadmiar przydzielamy dobro graczowi i jeżeli φ i (b i ) 0. Jego płatność wynosi φ 1 i (0). Twierdzenie 16 Optymalna aukcją cyfrowa dla graczy pochodzących z tego samego rozkładu to aukcja z ustaloną ceną φ 1 (0). - p. 33/54

34 Maksymalizacja zysku: Przykład II - p. 34/54

35 Aukcje wyszukiwania W aukcji sponsorowanego wyszukiwania każdy gracz zadaje listę par słów kluczowych z ofertami, oraz maksymalne dzienny budżet. Za każdym razem gdy pojawi się wyszukiwanie tych słów, uruchamiana jest aukcja o te słowa między graczami z niewyczerpanym budżetem. Niech n będzie liczba graczy, a m niech będzie liczba pozycji. - p. 35/54

36 Aukcje wyszukiwania Wyszukiwarka estymuje α ij prawdopodobieństwo, że i ty slot zostanie kliknięty jeżeli jest na nim reklama j tego gracza. Wartość α ij nazywamy współczynnikiem klikalności. Zakładamy, że dla każdego j mamy α ij α i,j+1 dla i = 1,..., m 1. - p. 36/54

37 Aukcje wyszukiwania Wyszukiwarka przypisuje także wagę w j każdemu graczowi j. Jeżeli agent j oferuje b j jego wynik to s j = w j b j. Agenci sa przypisywanie pozycjom zgodnie ze zmniejszajacym się wynikiem. Zakładamy, że numery agentów sa takie, że agent j ty otrzymuje j ta pozycję. Agent j płaci wartość krytyczna, czyli s j+1 /w j. - p. 37/54

38 Aukcje wyszukiwania Overture używa oceniania po ofercie w j = 1. Google używa oceniania po zysku w j = α 1j. Obydwa te warianty nosza nazwę uogólnionej aukcji drugiej ceny (GSP). Yahoo używa uogólnionej aukcji pierwszej ceny (GFP), w której gracze sa porzadkowaniu po ofercie, ale płaca swoja ofertę za kliknięcie. Zakładamy, że gracz z każdego kliknięcia ma zysk v j, a z jego braku 0. - p. 38/54

39 Aukcje wyszukiwania Jeżeli chcemy otrzymać jak najlepszy przydział społeczny, to możemy zapisać LP: max m i 1 n j=1 m i=1 n j=1 α ij v j x ij α ij 1 α ij 1 x ij 0 i = 1,..., m j = 1,..., n i = 1,..., m j = 1,..., n - p. 39/54

40 Aukcje wyszukiwania Problem ten jest równoważny problemowi znalezienia najcięższego doskonałego skojarzenia w grafie dwudzielnym. Możemy go rozwiazać w czasie wielomianowym, a rozwiazanie optymalne jest całkowitoliczbowe. Znalezienie przydziału maksymalizujacego społeczna wartość może być wykonanie efektywnie. Do tego przydziału stosujemy VCG i otrzymujemy aukcje prawdomówna. - p. 40/54

41 Aukcje wyszukiwania Jeżeli chcemy zmaksymalizować zysk to możemy zastosować wynik Myersona. Zastosujemy to co powyżej tylko do wartościowań wirtualnych. W tym przypadku x j (b) oznacza oczekiwany współczynniki klikalności. Otrzymujemy akcję VCG z minimalnymi cenami. - p. 41/54

42 Aukcje wyszukiwania Żadna z tych aukcji nie odpowiada GSP ani GFP. Reguły przydziału w tych aukcjach sa monotoniczne. Możemy zastosować Twierdzenie 13, do wyznaczenia opłat, które uczynia te reguły prawdomównymi. Jednak reguły zwiazane z GFP oraz GSP nie odpowiadaja temu. - p. 42/54

43 Aukcje wyszukiwania Brak zgodności motywacyjnej w GFP, czy GSP wcale nie oznacza, że aukcje te sa złe ze względu, na osiagany zysk, czy efektywność przydziału. Jest możliwe, że stany równowagowe dla tych aukcji sa efektywne i maksymalizuja zysk. Aby zbadać to zbadamy najpierw ich stany równowagowe. Oznacz to tylko, że aukcje te sa trudne dla grajacych. - p. 43/54

44 Aukcje wyszukiwania GFP posiada equilibrium Bayesa-Nasha w przypadku symetrycznym tak jak dla jednego przedmiotu. Równowagowe funkcje ofert sa monotoniczne, a więc przydział graczy do pozycji jest taki sam jak w efektywnym przydziale. Dlatego z twierdzenia o równoważności zysków, aukcja ta zachowuje się tak jak VCG. W praktyce zawodzi założenie o statyczności aukcji. - p. 44/54

45 Aukcje wyszukiwania W przypadku GSP nie wiadomo nic o equilibrium Bayesa-Nasha. My założymy, że klikalności sa niezależne od ogłaszajacych α ij = µ i i że wagi wynosza 1. Pokażemy, że GSP jest efektywne w przypadku pełnej informacji i ograniczonym pojęciu equilibrium. Wprowadzimy pojęcie lokalnego braku zazdrości globalny brak to equlibrium Walrasa. - p. 45/54

46 Aukcje wyszukiwania Powiemy, że przydział x jest lokalnie niezazdrosne, jeżeli istnieja ceny p i dla każdej pozycji, takie, że dal każdego i, j takiego, że x ij = 1 mamy: oraz µ i v j p i µ j 1 v j p i 1, µ i v j p i µ j+1 v j p i+1. Innymi słowy, jeżeli gracz j otrzymał pozycję i, to woli on ja od pozycji od razu poniżej, badź od razu powyżej i. - p. 46/54

47 Aukcje wyszukiwania W przypadku, gdy α ij = µ i łatwo wyznaczyć najlepszy przydział. Po prostu gracza z największym wartościowaniem otrzymuje najwyższa pozycje. Drugi gracz otrzyma druga pozycję, i tak dalej. Taki przydział nazywamy uszeregowanym. - p. 47/54

48 Aukcje wyszukiwania Twierdzenie 17 Przydział x jest optymalny wtedy i tylko wtedy gdy jest lokalnie niezazdrosny. Niech x będzie lokalnie niezazdrosny, oraz niech p będzie odpowiadajacym wektorem cen. Udowodnimy, że x jest uszeregowany. Niech j będzie takie, że xij będzie takie, że x i+1,j = 1. = 1 oraz niech j Musimy pokazać po prostu, że v j v j. - p. 48/54

49 Aukcje wyszukiwania Z lokalnej niezazdrości mamy, że: oraz µ i v j p i µ i+1 v j p i+1 µ i+1 v j p i+1 µ i+1 v j p i. Dodajac otrzymujemy: (µ i µ i+1 )(v j v j) 0. Ponieważ µ i > µ i+1 to otrzymujemy, że v j v j. - p. 49/54

50 Aukcje wyszukiwania Teraz niech x będzie optymalnym przydziałem. Niech (p, q ) będzie rozwiazaniem optymalny dla problemu dualnego: min m i 1 p i + n j=1 q j p i + q j α ij v j p i 0 q j 0 i = 1,..., m j = 1,..., n i = 1,..., m j = 1,..., n Pokażemy, że x jest lokalnie niezazdrosne dla p. - p. 50/54

51 Aukcje wyszukiwania Rozważmy parę(r, j) taka, że xrj = 1. Odpowiadajaca nierówność w programie dualnym musi zachodzić z równościa: a dla wszystkich i mamy: dlatego µ r v j = p r + q j, µ i v j p i + q j, µ r v j p r = q j max{µ r 1 v j p r 1, µ r+1 v j p r+1}. - p. 51/54

52 Aukcje wyszukiwania Twierdzenie 18 GSP posiada equilibrium o pełnej informacji, które daje lokalnie niezazdrosną alokację. Uporzadkujmy graczy zgodnie z v 1 v 2... v n. Niech pi będzie cena Vickrey za slot i. Niech gracz 1 zgłosi ofertę b 1 = v 1 oraz niech każdy gracz j 2 zgłosi b j = p j 1 µ j 1. - p. 52/54

53 Aukcje wyszukiwania Pokażemy, że w takim przypadku gracz i ty dostanie pozycję i ta. Ponieważ optymalny przydział jest lokalnie niezazdrosny to: dlatego µ j v j p j µ j 1 v j p j 1. µ j [v j p j µ j ] µ j 1 [v j p j 1 µ j 1 ] µ j [v j p j 1 µ j 1 ] - p. 53/54

54 Aukcje wyszukiwania Otrzymujemy: v j p j µ j v j p j 1 µ j 1 b j 1 = p j 1 µ j 1 p j µ j = b j. Widzimy też, że gracz j m płaci p j za pozycję. Ponieważ każdy gracz płaci cenę Vickrey i otrzymuje to co w efektywnym przydziale, to nie żaden gracz nie będzie chciał zmienić swojej strategii. - p. 54/54