Filip Graliński. Sztuczna inteligencja. Klasyfikacja i rekomendacja

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Filip Graliński. Sztuczna inteligencja. Klasyfikacja i rekomendacja"

Zbigniew Lewicki
8 lat temu
Przeglądów:

1 Filip Graliński Sztuczna inteligencja Klasyfikacja i rekomendacja

2 Wyszukiwanie Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Opis

3 Wyszukiwanie Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Klasyfikacja Opis Analiza skupień Regresja

4 Wyszukiwanie Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Klasyfikacja Opis Analiza skupień bez nadzoru z nadzorem Regresja

5 Wyszukiwanie Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Opis Klasyfikacja statystyczna regułowa ręczna

6 Spam

7 Spam Oszustwo nigeryjskie Spam Łańcuszki Phishing Reklamy

8 Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Klasyfikacja Opis k najbliższych sąsiadów statystyczna regułowa ręczna

9 Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Opis k najbliższych sąsiadów Klasyfikacja statystyczna regułowa ręczna naiwny klasyfikator bayesowski

10 Odkrywanie wzorców Inteligentne systemy informacyjne Eksploracja Predykcja Opis k najbliższych sąsiadów regułowa ręczna Klasyfikacja statystyczna wielomianowy naiwny klasyfikator bayesowski

11 P(c d) P(c) P(t k c) 1 k n d

12 arg max ˆP(c d) = arg max c C c C ˆP(c) ˆP(t k c) 1 k n d

13 arg max ˆP(c d) = arg max c C c C ˆP(c) ˆP(t k c) 1 k n d ˆP(c) = N c N

14 arg max ˆP(c d) = arg max c C c C ˆP(c) ˆP(t k c) 1 k n d ˆP(c) = N c N ˆP(t k c) = T ct + 1 t V (T ct + 1)

15 preview , similar , clients , completely , safer , unsafe , virus , Outlook , MimeOLE , HELO d , skills , FRE FROM , Greetings , drug , Huge , LOTS OF MONEY ,999826

16 Szanowni Państwo, Szanując Państwa prywatność i zarazem przestrzegając obowiązujących przepisów (Ustawa z dnia 18 lipca 2002 roku o świadczeniu usług drogą elektroniczną - Dz. U Nr 144, poz.1204) zwracamy się z prośbą o wyrażenie zgody na przysłanie Państwu naszej oferty dotyczącej przyczłapów do bulgulatorów. Wspomnę jedynie, iż jako nowy producent przyczłapów do bulgulatorów oferujemy atrakcyjne ceny. Jeżeli jesteście Państwo zainteresowani, bardzo proszę odpowiedzieć na tę wiadomość, prześlemy wtedy dokładne informacje dotyczące ww. produktów. Z poważaniem

17 więcej niż słowa CRM114 Tryb Markovian: Szanując Szanując Państwa Szanując [...] prywatność Szanując Państwa prywatność Szanując [...] [...] i Szanując Państwa [...] i Szanując [...] prywatność i Szanując Państwa prywatność i Szanując [...] [...] [...] zarazem Szanując [...] [...] i zarazem Szanując [...] prywatność [...] zarazem Szanując [...] prywatność i zarazem Szanując Państwa [...] [...] zarazem Szanując Państwa [...] i zarazem Szanując Państwa prywatność [...] zarazem Szanując Państwa prywatność i zarazem

18 Filip Graliński Inteligentne systemy informacyjne Rekomendacje

19 założenia n użytkowników (widzów, czytelników, słuchaczy etc.) m obiektów (filmów, książek, piosenek etc.) opinie wyrażone za pomocą liczb

20 założenia n użytkowników (widzów, czytelników, słuchaczy etc.) m obiektów (filmów, książek, piosenek etc.) opinie wyrażone za pomocą liczb niektóre komórki puste!

21 collaborative filtering filtrowanie grupowe

22 Szczęki Liberator Terminator Predator Miś Rocky Asia Basia Czarek Darek Ewa Franek Genia

23 odległość euklidesowa A B C D E F G A B C D E F G

24 podobieństwo d A B C D E F G A B C D E F G

25 współczynnik korelacji Pearsona

26 współczynnik korelacji Pearsona (cd.) r = i x iy i i x i m i y i ( i x 2 i ( i x i ) 2 m )( i y 2 i ( i y i ) 2 m )

27 współczynnik korelacji Pearsona A B C D E F G A B C D E F G

28 propozycje dla Geni osoba r Sz. T-r R-y A B D E F razem suma korelacji prognoza

29 podobieństwo między produktami? Sz. L-r T-r P-r Miś R-y Sz L-r T-r P-r Miś R-y

30 item-based filtering 1. dla każdego produktu wyznaczamy listę najbardziej podobnych produktów 2. dla danego użytkownika przeglądamy jego produkty i tworzymy ważoną listę podobnych produktów

31 ocena Sz. T-r R-y L-r P-r Miś razem znorm

32 przykładowe serwisy

33 Amazon (2003) item-based filtering

34 YouTube item-based filtering jakie filmy użytkownik oglądał? (jak długo?) co oznaczył jako ulubione? co ocenił? co dodał do playlisty? rekomendacje dają 60% kliknięć

35 filmaster.pl kod na licencji Affero GPLv3 treść na licencji Creative Commons Uznanie Autorstwa Python + Django + PostgreSQL + Linux szukanie podobnych filmów ocenianie i rekomendowanie filmów w skali 1-10

36 filmaster.pl - podobne filmy Podobieństwo ważona suma: liczby wspólnych tagów (ważone: log 2 2+N 10+N t ) liczby wspólnych aktorów liczby wspólnych reżyserów podobieństwo ocen użytkowników: średnia między ocenami użytkowników, którzy ocenili daną parę filmów

37 Netflix prize Netflix internetowa wypożyczalnia DVD początek: 2006 r. zbiór danych: 100 mln ocen cel: pobić algorytm Cinematch miara: RMSE pierwiastek błędu średniokwadratowego Cinematch nagroda: $ za > 10%

38 Netflix prize wyniki finał: lipiec 2009 zwycięzca: BellKor s Pragmatic Chaos RMSE: (+10.06%)

39 Netflix prize wyniki finał: lipiec 2009 zwycięzca: BellKor s Pragmatic Chaos RMSE: (+10.06%)... proces Doe vs Netflix

40 Netflix prize jak? model dni tygodnia model czasu model wektorowy tytułów rozkład macierzy item-based filtering (knn)...

41 Netflix prize jak? model dni tygodnia model czasu model wektorowy tytułów rozkład macierzy item-based filtering (knn) miks wszystkiego

42 (Tákács i in. 2007)

43 Pandora Radio spersonalizowane radio Music Genome Project, 400 genów : słowa po portugalsku głos żeński pełen emocji solówka na gitarze basowej brzmi jak walc...

44 rekomendowanie wiadomości GroupLens Daily Learner Findory Google News

45 rekomendowanie wiadomości wyzwanie dynamika

46 rekomendowanie wiadomości wyzwanie dynamika zmiana zainteresowań

47 rekomendowanie wiadomości wyzwanie dynamika zmiana zainteresowań różne zainteresowania

48 rekomendowanie wiadomości wyzwanie dynamika zmiana zainteresowań różne zainteresowania nowość

49 rekomendowanie wiadomości wyzwanie dynamika zmiana zainteresowań różne zainteresowania nowość unikanie końskich okularów

50 rekomendowanie wiadomości wyzwanie dynamika zmiana zainteresowań różne zainteresowania nowość unikanie końskich okularów

51 rekomendowanie wiadomości wyzwanie dynamika model krótkoterminowy zmiana zainteresowań model krótkoterminowy różne zainteresowania nowość unikanie końskich okularów

52 rekomendowanie wiadomości wyzwanie dynamika model krótkoterminowy zmiana zainteresowań model krótkoterminowy różne zainteresowania nowość kara za zbytnie podobieństwo unikanie końskich okularów

53 rekomendowanie wiadomości wyzwanie dynamika model krótkoterminowy zmiana zainteresowań model krótkoterminowy różne zainteresowania model długoterminowy nowość kara za zbytnie podobieństwo unikanie końskich okularów

54 rekomendowanie wiadomości wyzwanie dynamika model krótkoterminowy zmiana zainteresowań model krótkoterminowy różne zainteresowania model długoterminowy nowość kara za zbytnie podobieństwo unikanie końskich okularów wpływ redaktora

57 bibliografia G. Takács, I. Pilászy, B. Németh, and D. Tikk. On the Gravity Recommendation System. In Proc. of KDD Cup Workshop at SIGKDD 07, 13th ACM Int. Conf. on Knowledge Discovery and Data Mining, pp , San Jose, CA, USA, August 12-15, 2007.

Podobne dokumenty

Inteligentne systemy informacyjne

Filip Graliński Inteligentne systemy informacyjne Rekomendacje założenia n użytkowników (widzów, czytelników, słuchaczy etc.) m obiektów (filmów, książek, piosenek etc.) opinie wyrażone za pomocą liczb