Rok akademicki: 2019/2020 Kod: IINF s Punkty ECTS: 3. Poziom studiów: Studia I stopnia Forma studiów: Stacjonarne

Transkrypt

1 Nazwa modułu zajęć: Elementy statystycznego uczenia maszynowego Rok akademicki: 2019/2020 Kod: IINF s Punkty ECTS: 3 Wydział: Informatyki, Elektroniki i Telekomunikacji Kierunek: Informatyka Specjalność: Poziom studiów: Studia I stopnia Forma studiów: Stacjonarne Język wykładowy: Polski Profil: Ogólnoakademicki (A) Semestr: 4 Strona www: Prowadzący moduł: Kurdziel Marcin (kurdziel@agh.edu.pl) Treści programowe zapewniające uzyskanie efektów uczenia się dla modułu zajęć Niniejszy kurs stanowi wprowadzenie do metod i algorytmów statystycznego uczenia maszynowego. Zasadniczy materiał kursu obejmuje wybrane modele dla problemów regresji i klasyfikacji danych. Zostaną one przedstawione zarówno w wariancie klasycznym jak i w ujęciu Bayesowskim. Materiał ten uzupełnia wprowadzenie do metod MC/MCMC i tzw. programowania probabilistycznego (ang. probabilistic programming). Opis efektów uczenia się dla modułu zajęć Kod MEU Student, który zaliczył moduł zajęć zna i rozumie/potrafi/jest gotów do Powiązania z KEU Sposób weryfikacji i oceny efektów uczenia się osiągniętych przez studenta w ramach poszczególnych form zajęć i dla całego modułu zajęć Wiedza: zna i rozumie M_W001 wnioskowania Bayesowskiego oraz wybranych metod estymacji parametrów modeli uczących się. INF1A_W07, Odpowiedź ustna, Aktywność na zajęciach M_W002 wybranych modeli uczenia maszynowego dla problemów regresji i klasyfikacji danych. INF1A_W07, Odpowiedź ustna, Aktywność na zajęciach Umiejętności: potrafi M_U001 Student potrafi zaimplementować wybrane modele statystycznego uczenia maszynowego. 1 / 5

2 M_U002 Student zna wybrane biblioteki przydatne w implementacji metod statystycznego uczenia maszynowego. M_U003 Student potrafi wytrenować wybrane modele statystycznego uczenia maszynowego i ocenić ich skuteczność. Liczba godzin zajęć w ramach poszczególnych form zajęć Forma zajęć dydaktycznych Suma audytoryjne laboratoryjne projektowe Konwersatorium seminaryjne praktyczne terenowe warsztatowe Prace kontrolne i przejściowe Lektorat Matryca kierunkowych efektów uczenia się w odniesieniu do form zajęć i sposobu zaliczenia, które pozwalają na ich uzyskanie Kod MEU Student, który zaliczył moduł zajęć zna i rozumie/potrafi/jest gotów do Forma zajęć dydaktycznych audytoryjne laboratoryjne projektowe Konwersatorium seminaryjne praktyczne terenowe warsztatowe Prace kontrolne i przejściowe Lektorat Wiedza: zna i rozumie M_W001 M_W002 wnioskowania Bayesowskiego oraz wybranych metod estymacji parametrów modeli uczących się. wybranych modeli uczenia maszynowego dla problemów regresji i klasyfikacji danych Umiejętności: potrafi M_U001 M_U002 Student potrafi zaimplementować wybrane modele statystycznego uczenia maszynowego. Student zna wybrane biblioteki przydatne w implementacji metod statystycznego uczenia maszynowego. 2 / 5

3 M_U003 Student potrafi wytrenować wybrane modele statystycznego uczenia maszynowego i ocenić ich skuteczność. Nakład pracy studenta (bilans punktów ECTS) Forma aktywności studenta Udział w zajęciach dydaktycznych/praktyka Przygotowanie do zajęć Samodzielne studiowanie tematyki zajęć Dodatkowe godziny kontaktowe Sumaryczne obciążenie pracą studenta Punkty ECTS za moduł Obciążenie studenta 28 godz 25 godz 25 godz 5 godz 83 godz 3 ECTS Pozostałe informacje Szczegółowe treści kształcenia w ramach poszczególnych form zajęć (szczegółowy program wykładów i pozostałych zajęć) 1. Częstotliwościowa i Bayesowska interpretacja prawdopodobieństwa. Twierdzenie Bayesa. Wiarygodność, rozkład a priori i rozkład a posteriori. Wnioskowanie Bayesowskie. Przykład: model Beta-dwumianowy. (2h) 2. Kryterium największej wiarygodności (MLE). Naiwny klasyfikator Bayesa. Wnioskowanie Bayesowskie a kryterium największej wiarygodności. Pojęcie rozkładu sprzężonego. Kryterium Maximum a Posteriori (MAP). (2h) 3. Wielowymiarowy rozkład normalny i jego własności. Parametryzacja: wartość przeciętna i macierz kowariancji, interpretacja geometryczna. Rozkład łączny, brzegowy i warunkowy zmiennych normalnych. Estymacja parametrów rozkładu normalnego. Rozkład normalny jako rozkład o największej entropii( ). (2h) 4. Modele liniowe dla problemu regresji. Regresja liniowa w ujęciu klasycznym (MLE). Bayesowska regresja liniowa. (2h) 5. Modele liniowe dla problemu klasyfikacji. Regresja logistyczna i wieloklasowa regresja logistyczna. Estymator MLE dla regresji logistycznej. Stochastyczny spadek wzdłuż gradientu. (2h) 6. Algorytmy generowania próbek. Metody MC: próbkowanie z odrzucaniem. Metody MCMC: próbkowanie Gibbsa, Metropolis-Hastings. Metody monte carlo we wnioskowaniu Bayesowskim. (2h) 7. Programowanie probabilistyczne. Model generujący dla obserwacji. Estymacja parametrów metodą monte carlo. Przykład: Bayesowska regresja logistyczna. (2h) laboratoryjne 1. Wprowadzenie do pakietów obliczeniowych w języku Python. (2h) 2. Wielowymiarowy rozkład normalny. (2h) - Wizualizacja funkcji gęstości dla rozkładu łącznego, brzegowego i warunkowego. 3 / 5

4 - Estymacja parametrów wielowymiarowego rozkładu normalnego. 3. Regresji liniowa. (2h) - Implementacja klasycznej regresji liniowej z estymatorem MLE. - Implementacja Bayesowskiej regresji liniowej. 4. Regresja logistyczna. (2h) - Implementacja wieloklasowej regresji logistycznej dla zdjęć ręcznie pisanych cyfr. 5. Programowanie probabilistyczne 1. (3h) - Wprowadzenie do pakietu PyMC3. 6. Programowanie probabilistyczne 2. (3h) - Opracowanie modelu generującego dla wskazanego zbioru obserwacji. - Estymacja parametrów opracowanego modelu i wnioskowanie o postawionych hipotezach dotyczących obserwacji. Metody i techniki kształcenia: : Materiał wykładu jest przekazywany w formie prezentacji multimedialnej połączonej z dyskusją omawianych zagadnień. laboratoryjne: W trakcie zajęć laboratoryjnych studenci samodzielnie rozwiązują zadane problemy, implementując i ewaluując wybrane modele uczenia maszynowego. Warunki i sposób zaliczenia poszczególnych form zajęć, w tym zasady zaliczeń poprawkowych, a także warunki dopuszczenia do egzaminu: 1. Warunkiem zaliczenia ćwiczeń laboratoryjnych jest uczestnictwo w zajęciach i wykonanie z oceną pozytywną realizowanych na nich zadań. 2. W ramach zajęć laboratoryjnych mogą być przeprowadzone dodatkowe kolokwia sprawdzające wiedzę z przedmiotu. Warunkiem zaliczenia laboratorium jest zdanie tych kolokwiów (jeśli będą przeprowadzone). Ocenę negatywną z kolokwium można poprawić na kolokwium zaliczeniowym pod koniec semestru. 3. Oceną z laboratorium jest średnia ocen z zadań i kolokwiów zaokrąglona do najbliższej oceny przewidzianej regulaminem studiów. Zasady udziału w poszczególnych zajęciach, ze wskazaniem, czy obecność studenta na zajęciach jest obowiązkowa: : Obecność obowiązkowa: Nie Zasady udziału w zajęciach: Rejestracja audiowizualna wykładu wymaga zgody prowadzącego. laboratoryjne: Obecność obowiązkowa: Tak Zasady udziału w zajęciach: Studenci wykonują ćwiczenia laboratoryjne zgodnie z materiałami udostępnionymi przez prowadzącego. Zaliczenie zajęć odbywa się na podstawie ocen z wykonanych laboratoriów. Dodatkowo w trakcie semestru mogą być przeprowadzone sprawdziany praktycznej i teoretycznej wiedzy z przedmiotu. Sposób obliczania oceny końcowej 1. Warunkiem uzyskania pozytywnej oceny końcowej jest zaliczenie ćwiczeń laboratoryjnych na minimum Oceną końcową jest ocena z ćwiczeń laboratoryjnych. Pozytywna ocena końcowa może zostać podwyższona w przypadku znaczącej aktywności studenta na wykładzie. Sposób i tryb wyrównywania zaległości powstałych wskutek nieobecności studenta na zajęciach: Zaległości w realizacji zadań (powstałe na przykład w skutek usprawiedliwionej nieobecności) powinny być nadrobione w ramach kolejnych zajęć. 4 / 5

5 Wymagania wstępne i dodatkowe, z uwzględnieniem sekwencyjności modułów Wiedza i umiejętności w zakresie przedmiotu Rachunek prawdopodobieństwa i statystyka Zalecana literatura i pomoce naukowe 1.Kevin P. Murphy Machine Learning: A probabilistic perspective, MIT Press, Christopher M. Bishop Pattern Recognition and Machine Learning, Springer, 2007 Publikacje naukowe osób prowadzących zajęcia związane z tematyką modułu 1. K. Grzegorczyk, M. Kurdziel Disambiguated Skip-gram model, In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP2018, pp , P.I. Wójcik, M. Kurdziel Training neural networks on high-dimensional data using random projection, Pattern Analysis and Applications, K. Grzegorczyk, M. Kurdziel Binary Paragraph Vectors, In: Proceedings of the 2nd Workshop on Representation Learning for NLP, ACL2017, pp , P.I. Wójcik, M. Kurdziel Random projection initialization for deep neural networks, In: Proceedings of the 25th Symposium on Articial Neural Networks, Computational Intelligence and Machine Learning, pp , K. Grzegorczyk, M. Kurdziel, P.I Wójcik Encouraging orthogonality between weight vectors in pretrained deep neural networks, Neurocomputing, vol 202, pp 84 90, K. Grzegorczyk, M. Kurdziel, P.I Wójcik Implementing deep learning algorithms on graphics processor units, PPAM 2015, LNCS 9573, pp , K. Grzegorczyk, M. Kurdziel, P.I Wójcik Effects of Sparse Initialization in Deep Belief Networks, Computer Science, vol 16(4), pp , 2015 Informacje dodatkowe - 5 / 5