Systemy rekomendacyjne

Transkrypt

1 Systemy rekomendacyjne Mikołaj Morzy Agnieszka Ławrynowicz Instytut Informatyki Poznań, rok akademicki 2010/2011 (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 1

2 O czym będzie ten wykład? Przeciążenie informacją Systemy rekomendacyjne content-based collaborative filtering trust-based random walk paradigm Systemy rekomendacyjne wczoraj i dziś Zasady tworzenia systemów rekomendacyjnych (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 2

3 PRZECIĄŻENIE INFORMACJĄ (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 3

4 Świat jest bardzo zatłoczony (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 4

5 Przeciążenie informacją Informationoverload: stan otrzymywania zbyt dużej ilości informacji aby dokonywać racjonalnych decyzji lub pozostawać zorientowanym w dziedzinie Alvin Toffler, "Future Shock" (1970) w Stanach Zjednoczonych dziennie drukuje się 800 książek jedno wydanie NYT zawiera więcej informacji niż człowiek z XVII w. spotykał w trakcie całego życia w ciągu ostatnich 30 lat ludzkość wyprodukowała więcej informacji niż przez wcześniejsze 5000 lat statystyczny Amerykanin widzi dziennie reklam, logo, metek i etykietek (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 5

6 5 sekund w tym czasie na świecie wysłano 14 milionów i obejrzano 60 tysięcy wideo na YouTube na świecie powstało 100 GB nowych danych 10 tysięcy ludzi zalogowało się na FaceBook (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 6

7 Wyszukiwanie i przeglądanie Information retrieval, searching proces znajdowania statycznej informacji składowanej w bazie danych (książka, indeks wyszukiwarki, kolekcja artykułów) poszukiwana informacja jest znana a priori Information filtering, browsing proces porządkowania dynamicznego strumienia informacji i nadawanie priorytetów informacji wynik nie jest znany, nie wiadomo, czy istnieje (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 7

8 Kto może pomóc Czy Google może pomóc? tylko jeśli wiem, czego szukam Czy FaceBook może pomóc? tylko jeśli moje gusta zgadzają się z gustami moich znajomych Czy eksperci mogą pomóc? tylko jeśli zgadzam się dostać te same odpowiedzi co wszyscy inni tylko jeśli lubię to co eksperci (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 8

9 System rekomendacyjny Technologia filtrowania informacji wykorzystywana w serwisach e-commerce do prezentowania informacji o produktach które z dużym prawdopodobieństwem mogą być interesujące dla klientki/klienta definicja wg Webopedii Typy systemów rekomendacyjnych bazujące na cechach ocenianych produktów bazujące na środowisku społecznym (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 9

10 Przykłady systemów rekomendacyjnych Netflix 65% wypożyczeń w wyniku rekomendacji Google News 38% więcej ruchu dzięki rekomendacjom Amazon 35% sprzedaży w następstwie rekomendacji wg. Celma & Lamere, ISMIR'2007 (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 10

11 Rekomendacje w Amazonie (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 11

12 Co można rekomendować? Reklamy Inwestycje finansowe Restauracje Kawiarnie Płyty muzyczne Filmy Programy TV Książki Ubrania Tagi Artykuły prasowe Partnerki/partnerów Przyjaciół Wykłady i kursy Artykuły naukowe Cytowania Lekarstwa Programy komputerowe (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 12

13 Główna koncepcja rekomendacji TheLong Tail: WhytheFutureof Business issellingless of More Chris Anderson, Hyperion, New York, 2006 (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 13

14 RODZAJE SYSTEMÓW REKOMENDACYJNYCH (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 14

15 Rekomendacje w oparciu o zawartość Rekomendowanie produktów na podstawie podobieństwa cech i zawartości (content-based recommendation, CBR) atrybuty strony WWW: słowa, odnośniki, obrazki, tagi, URL, komentarze, tematy, tytuły muzyka: styl, rytm, melodia, harmonia, słowa, metadane, artysta, oceny ekspertów, głośność, energia, czas, spektrum, czas trwania, częstotliwość, tonacja, styl, tempo kontekst: czas, lokalizacja, aktywność, społeczność, emocja użytkownik: wiek, płeć, zawód, czas, dochód, wykształcenie, lokalizacja, język, stan cywilny, hobby, zainteresowania, sposób korzystania z WWW, członkostwo w klubach, opinie, tagi (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 15

16 Sposoby wyliczania podobieństwa dla CBR Miary podobieństwa odległość cosinusowa TFIDF Odległość Kullbacka-Leiblera Odległość euklidesowa Odległość Hamminga (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 16

17 Wady i zalety CBR Zalety prostota implementacji dostępność danych, możliwość automatycznej ekstrakcji atrybutów produktów Wady dużo szumu w danych (np. niepoprawne tagi) wiele atrybutów ma charakter subiektywny stosunkowo łatwe do oszukania (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 17

18 Rekomendacje w oparciu o społeczność Rekomendowania produktów na podstawie opinii innych osób (collaborative filtering rec., CFR) ogólna koncepcja: wykorzystanie ocen jawnie specyfikowanych przez użytkowników, brak wykorzystania atrybutów rekomendowanych produktów idea: istnieją osoby podobne do Ciebie i Tobie spodobają się te produkty, które im się podobają (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 18

19 Sposoby generowania CFR wg. użytkowników wg. produktów (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 19

20 Wady i zalety CFR Zalety niezależne od domeny zastosowania prostota implementacji, efektywność pozwala na "szczęśliwy traf" Wady trudność w oszacowaniu podobieństwa użytkowników macierz ocen jest bardzo rzadka (99%) stronniczość w ocenie bardzo popularnych przedmiotów problem "zimnego startu" łatwość oszukiwania (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 20

21 Metody oparte na zaufaniu Sieć zaufania agregacja pojedynczych ocen zaufania do sieci propagacja zaufania w sieci generowanie rekomendacji w oparciu o wyliczone wartości zaufania poświęcimy temu osobny wykład (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 21

22 Rekomendacje w oparciu o losowy spacer Dany jest graf G=(V,E), gdzie G=U+Pjest zbiorem węzłów reprezentujących użytkowników (U) oraz produkty (P) każdy węzeł w G może mieć swoje atrybuty (A) dla użytkowników: kategorie, wolumen sprzedaży, wydawane kwoty dla produktów: kategorie, ceny, kolory, producenci, E jest zbiorem krawędzi między elementami G Zadanie polega na zarekomendowaniu, dla danego węzła u U, zbioru węzłów p i Puszeregowanych zgodnie z pewnym kryterium odpowiedniości (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

23 Kryteria odpowiedniości rekomendacji Homofilia Rzadkość Wpływ społeczny Bliskość społeczna Dołączanie preferencyjne (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

24 Homofilia Dwie osoby współdzielące atrybuty mają większe prawdopodobieństwo zostania połączonymi w grafie niż osoby niewspółdzielące atrybutów zł kosmetyki (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

25 Rzadkość Atrybuty występujące rzadko są prawdopodobnie dużo ważniejsze do łączenia niż atrybuty występujące często muzyka cerkiewna płyty CD (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

26 Wpływ społeczny Atrybuty współdzielone przez osoby podobne do danej osoby są istotne przy określaniu rekomendacji dla danej osoby gry wideo (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

27 Bliskość społeczna Prawdopodobieństwo powiązania między dwoma węzłami maleje wykładniczo w funkcji odległości między węzłami (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

28 Preferencyjne dołączanie Prawdopodobieństwo dołączenia do węzła jest proporcjonalne do stopnia tego węzła (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

29 Szkic algorytmu Na bazie grafu G=(V,E) utwórz nowy graf G'=(V',E') który będzie zawierał dodatkowe węzły i krawędzie reprezentujące atrybuty (A) oraz powiązania między użytkownikami (U) i produktami (P) a atrybutami (A) Dla zadanego węzła u Uuruchom nrazy algorytm losowego spaceru na grafie G' w celu znalezienia względnej ważności węzłów p i P każdego klienta anonimowego reprezentuj jako osobny węzeł dla nowego klienta przy każdym uruchomieniu algorytmu losowego spaceru wybierz inny węzeł każdy spacer jest relatywnie krótki (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

30 Przykład grafu z produktami płyty DVD jazz zł (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

31 Konstrukcja grafu Waga krawędzi użytkownik-produkt Waga krawędzi użytkownik/produkt-atrybut = = 0 ) ( 0 ) ( ) ( 1 0 ) ( 0 ) ( ) ( ), ( u N u N if u N u N u N if u N p w u a p p a p p λ N a (u): liczba atrybutów użytkownika u N p (u): liczba produktów użytkownika u λ: parametr sterujący znaczeniem struktury i podobieństwa atrybutów = = 0 ) ( 0 ) ( ) ( 1 0 ) ( 0 ) ( ) ( 1 ), ( u N u N if u N u N u N if u N a w u p a a p a a λ (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

32 Odpowiedniość produktów i atrybutów Algorytm losowego spaceru wylicza odpowiedniości produktów i atrybutów zgodnie ze wzorami r r p = (1 α)* = (1 α)* w( u, p)* r + (1 α)* u u U ( p) a A( p) w( p', a)* a r p ' p' P( p) w( p, a)* r U(p): zbiór użytkowników, którzy kupili produkt p A(p): zbiór atrybutów opisujących produkt p P(p): zbiór produktów współdzielących atrybuty z produktem p α: prawdopodobieństwo skoku losowego (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej a + α * r 0 p

33 Model uproszczony Użytkownicy i produkty nie posiadają swoich atrybutów 0 1 rp = (1 α)* w( u, p)* ru + α * rp r 0 p = P r = u U ( p) w( p, p')* u r p p ' P ( p ) prawdopodobieństwo przeskoczenia do losowego produktu prawdopodobieństwo przejścia do danego produktu poprzez nawigację sieci R R p p 0 = ( 1 α )* Wu p Ru + α * Rp = W R obliczenia w notacji macierzowej p u p (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

34 Możliwe rozwiązania Wyliczenie globalnego rozkładu stacjonarnego zalety: proste obliczenie przez iteracyjne mnożenie macierzy wady: statyczna lista węzłów sposób: losowanie "bliskich" węzłów z rozkładu stacjonarnego Wyliczenie lokalnego spaceru losowego zalety: zróżnicowane odpowiedzi, rozwiązanie problemu "zimnego startu", duża elastyczność(szczególnie w przypadku wykorzystania atrybutów) wady: koszt obliczeniowy sposób: wykonać n niezależnych spacerów o długości k sposób: wykonać wiele niezależnych spacerów o długości k i uśrednić ich wyniki, wybierając n najbardziej odpowiednich (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

35 Dlaczego to działa? Homofilia: dwie osoby współdzielące atrybuty mają więcej różnych ścieżek za pomocą których można do siebie dojść zł kosmetyki (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

36 Dlaczego to działa? Rzadkość: rzadkie atrybuty mają znacznie mniejszą liczbę krawędzi wyjściowych, dzięki czemu każda krawędź wyjściowa ma większą wagę muzyka cerkiewna płyty CD (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

37 Dlaczego to działa? Wpływ społeczny: jeśli atrybut jest współdzielony przez sąsiadów w grafie, to losowy spacer często będzie przechodził przez dany atrybut gry wideo (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

38 Dlaczego to działa? Bliskość społeczna: losowy spacer częściej odwiedza węzły położone bliżej danego węzła (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

39 Dlaczego to działa? Preferencyjne dołączanie: popularny węzeł będzie posiadał wiele krawędzi incydentnych, zatem z danego węzła będzie łatwiej trafić do popularnego węzła (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej

40 ZASADY BUDOWANIA SYSTEMÓW REKOMENDACYJNYCH (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 40

41 Wczoraj i dziś Systemy rekomendacyjne wczoraj próbują przewidzieć produkty (filmy, książki, płyty) które mogą być interesujące dla użytkownika na podstawie profilu użytkownika i cech produktu Systemy rekomendacyjne dziś pomagają użytkownikom odnaleźć interesującą informację ułatwiając połączenia społeczne (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 41

42 Wiem co zrobisz następnego lata Jakie filmy powinienem obejrzeć? Netflix, Amazon, RatingZone Jakiej muzyki powinienem słuchać? CDNow(już Amazon), Last.fm, Pandora Jakie strony powinienem odwiedzić? Alexa Jakie żarty mnie rozśmieszą? Jester Z kim powinienem pójść na randkę? Yenta (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 42

43 Rekomendacje a zaufanie Użytkownicy postrzegają "osobowość" systemu rekomendacyjnego chcą rozumieć powody rekomendacji Pierwsze wrażenie ma kluczowe znaczenie Podejścia Amazon: potwierdzenie preferencji użytkownika, rekomendowane produkty są znajome (ale mało użyteczne), niewiele nowej informacji MediaUnbound: eksploracja przestrzeni produktów, ciekawsze i bardziej nieoczekiwane rekomendacje (ale mało efektywne) (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 43

44 Ułatwienie uczestnictwa Zasada projektowania zapytaj we właściwym momencie ułatwiaj i zachęcaj do odpowiedzi (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 44

45 Ułatwienie kontroli Zasada projektowania umożliwiaj łatwe filtrowanie umożliwiaj kontrolę nad rekomendacjami (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 45

46 Niespełniona obietnica Ogólnie rzecz biorąc, systemy rekomendacyjne nie spełniły pokładanych w nich nadziei Żaden system rekomendacyjny nie stał się porównywalnie popularny z wyszukiwarkami brak wystarczającej informacji problem "zimnego startu" problem z efektywnym interfejsem spam i próby oszustwa trudne do zrozumienia i kontrolowania (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 46

47 2006: zmiana paradygmatu Społeczne systemy sieciowe Friendster, Orkut, MySpace, LinkedIn Blogosfera Wiki Google AdSense YouTube Interfejsy: AJAX, Flash (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 47

48 Przykład nowego systemu: Pandora (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 48

49 Cechy Pandory Bogaty interfejs użytkownika Użyteczny od pierwszego kliknięcia Użytkownik ma pełną kontrolę nad rekomendacjami Przezroczysta logika generowania rekomendacji Generuje zaufanie wrażenie rozmowy z maszyną brak elementu społecznego (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 49

50 Przykład nowego systemu: Last.fm (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 50

51 Cechy Last.fm Przyjazny i intuicyjny interfejs Wiele punktów wejścia do systemu wykresy, tagi, użytkownicy, nowe produkty Nacisk na aspekt społeczny jakich stacji słuchają inni użytkownicy fora dyskusyjne i pamiętniki (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 51

52 Inne nowe systemy rekomendacyjne (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 52

53 Cechy nowoczesnych systemów rekomendacyjnych Zawartość generowana przez użytkowników globalne uczestnictwo wykorzystanie "mądrości tłumów" Dostęp do długiego ogona produktów Włączenie sieci społecznych Rich User Experience Elementy pracy i rozrywki (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 53

54 User Experience: wczoraj i dziś 2000 interakcja z algorytmem system wykorzystuje agregowane dane o innych użytkownikach metadaneniedostępne dla użytkowników cel: pomoc w znalezieniu produktu, zwiększenie konwersji 2010 interakcja z innymi użytkownikami łączenie użytkowników w sieci, tagi i zawartość dane od innych użytkowników są dostępne konwersacja zamiast transakcji (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 54

55 Zasada 1: użyteczność System musi być użyteczny zanim zostanie spersonalizowany przechowywanie zdjęć i dokumentów agregacja wiadomości forum dyskusyjne Personalizacja na bazie zgromadzonych danych (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 55

56 Zasada 2: uczestnictwo Najważniejszym zasobem są użytkownicy wyrażanie sztuki, humor, tagi, komentarze, linki niejawne tworzenie (tworzenie przez konsumpcję) remix: modyfikowanie cudzej kontrybucji (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 56

57 Zasada 3: proces społeczny Uczestnictwo jest procesem społecznym aktualizacja w czasie rzeczywistym tworzy wrażenie konwersacji profile i zdjęcia nadają systemowi "ludzki charakter" (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 57

58 Zasada 4: natychmiastowa nagroda Rekomendacje tworzone natychmiast po otrzymaniu danych od użytkownika Pandora: stacja na podstawie jednej piosenki Spotback: kolekcja na podstawie jednego artykułu (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 58

59 Zasada 5: niezależność Warunki funkcjonowania "mądrości tłumu" różnorodność poznawcza niezależność decentralizacja łatwość agregacji (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 59

60 Zasada 6: dostęp do długiego ogona Długi ogon musi być dostępny rekomenduj różnorodne produkty unikaj list "top 10" pilnuj, żeby rekomendacje się nie ustabilizowały Czas jest istotnym wymiarem systemu ułatwienie szybkiego ruchu produktów listy "what's fresh today" (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 60

61 Zasada 7: jawne metadane Metadane muszą być dostępne i linkowalne jawne tagi i listy użytkowników umożliwienie pivoted browsing unikalny URL dla każdego typu zawartości (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 61

62 Zasada 8: publiczne vs prywatne Ludzie chętnie się dzielą Ludzie nie lubią być oszukiwani i wykorzystywani Ludzie dbają o swój status społeczny Funkcjonalność filtrowanie tematów i kategorii zarządzanie profilami poziomy dostępności elementów profilu (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 62

63 Wykorzystane materiały Trust in Recommender Systems Paolo Massa, Universita' di Trento e ITC/iRST RecSys: Recommender Systems Tran The Truyen Design Strategies for Recommender Systems Rashmi Sinha, Uzanto.com (c) Mikołaj Morzy, Agnieszka Ławrynowicz, Instytut Informatyki Politechniki Poznańskiej TSiSS 63