Uczenie maszynowe w zastosowaniu do fizyki cząstek

Transkrypt

1 Uczenie maszynowe w zastosowaniu do fizyki cząstek Wykorzystanie uczenia maszynowego i głębokich sieci neuronowych do ćwiczenia 3. M. Kaczmarczyk, P. Górski, P. Olejniczak, O. Kosobutskyi Instytut Fizyki Jądrowej im. Henryka Niewodniczańskiego 20 lipca 2017

2 Spis treści 1 Kilka słów o uczeniu maszynowym Uczenie maszynowe Podstawowe pojęcia BDT Sieci neuronowe 2 Uczenie maszynowe w ćwiczeniu 3 Poszukiwanie Higgsa i SuSy Poszukiwanie H ± w rozpadzie τν Podsumowanie 3 BDT i DNN oraz optymalizacja hiperparametrów w ćwiczeniu 3 Optymalizacja hiperparametrów Głębokie sieci neuronowe w ćw. 3 Podsumowanie

3 Kilka słów o uczeniu maszynowym

4 Uczenie maszynowe Czym jest uczenie maszynowe? Uczenie maszynowe (ang. Machine Learning) jest analizą procesów uczenia się oraz tworzeniem systemów, które doskonalą swoje działanie na podstawie doświadczeń z przeszłości. Wyróżniamy dwa rodzaje uczenia maszynowego: Uczenie z nauczycielem - zakłada obecność ludzkiego nadzoru nad tworzeniem funkcji odwzorowującej wejście systemu na jego wyjście. Uczenie bez nauczyciela - zakłada brak obecności dokładnego lub nawet przybliżonego wyjścia w danych uczących.

5 Uczenie maszynowe Gdzie wykorzystujemy uczenie maszynowe? Uczenie maszynowe wciąż się rozwija i znajduje nowe praktyczne zastosowania. Ilość możliwych zastosowań jest niezwykle ogromna i pozwala przewidzieć, że w przyszłości każdy aspekt techniki będzie zawierać jakąś implementację algorytmów maszynowego uczenia się. skanowanie pisma ręcznego (OCR) oprogramowanie do rozpoznawania mowy automatyczna nawigacja i sterowanie analiza i klasyfikacja danych

6 Uczenie maszynowe Popularność w Internecie Można znaleźć około 2500 artykułów na scholar.google.com od 2016, które zawierają wyrażenie deep learning w tytule.

7 Uczenie maszynowe Pakiety używane w uczeniu maszynowym TMVA (ang. The Toolkit for Multivariate Data Analysis) jest to zintegrowany z ROOTem pakiet zapewniający możliwość analizy danych z wieloma zmiennymi przy pomocy uczenia maszynowego Keras jest biblioteką napisaną w Pythonie służącą do tworzenia sieci neuronowych. Działa wraz z bibliotekami Tensorflow i Theano. scikit-learn jest biblioteką uczenia maszynowego dla Pythona

8 Podstawowe pojęcia Krzywe ROC ROC (ang. Receiver Operating Characteristic) - charakterystyka odbiornika radarowego Każdy kwalifikator zwraca wartość z jakiegoś obszaru, można po niej ciąć. Dla wartości zbyt dużej usuniemy całe tło ale też i prawie cały sygnał Dla wartości zbyt małej przepuścimy zbyt dużo tła. Obydwie wydajności można zaznaczyć na wykresie. Krzywa ROC jest to wykres dla wszystkich możliwych cięć. Powierzchnia pod krzywą ROC jest jedną z miar dobroci kwalifikatora. ROC = 1 - losowe dane 2 ROC = 1 - idealne

9 Podstawowe pojęcia Przetrenowanie Poprawny trening Zapobieganie przetrenowaniu Większa sieć więcej możliwości ale i łatwiej o przeuczenie. Regularyzacje L1, L2 kara za zbyt duże wagi. Ćwiczenie tylko na małej losowej części danych Dodawanie małego szumu do sygnału Przetrenowanie Przykład z użyciem NN

10 BDT Co to jest BDT? BDT - Wzmocnione drzewo decyzyjne (ang. Boosted Decision Tree) Drzewo decyzyjne szereg następujących po sobie cięć, każdy końcowy liść ma przypisaną klasyfikację, np. sygnał i tło. Boosted Decision Tree Decision Tree - algorytm znany od dawna, powszechnie stosowany we wszelakich systemach eksperckich. Jako drzewo decyzyjne formułuje się np. schematy działania przy udzielaniu pierwszej pomocy: jeśli coś to zrób to i to, sprawdź dalej inny warunek itd. Boosted - Metoda łączenia wielu słabych klasyfikatorów w celu uzyskania mocnego klasyfikatora. Nie musi się ograniczać do drzew decyzyjnych, choć z nimi jest najchętniej używana.

11 BDT Budowanie drzewa decyzyjnego Tworzenie BDT 1 Zaczynamy budowę drzewa od korzenia. 2 Dzielimy zbiór treningowy na dwa poprzez cięcie najlepiej separujące na najlepszej zmiennej. 3 Powtarzamy procedurę aż spełnione zostaną warunki końcowe, np. liczba liści, liczba przypadków w liściu itd. Stosunek S/B w liściu określa klasyfikację (binarnie sygnał, tło lub liczba rzeczywista określająca prawdopodobieństwo, że jest to sygnał).

12 BDT AdaBoost AdaBoost jest najczęściej używanym algorytmem przy budowie drzew decyzyjnych Procedura algorytmu AdaBoost 1 Zbuduj drzewo decyzyjne 2 Zwiększ wagi źle sklasyfikowanych przypadków 3 Powtarzaj wiele razy (typowo ) 4 Klasyfikuj przypadki na podstawie głosowania wszystkich drzew.

13 Sieci neuronowe Płytkie sieci neuronowe Cechy sieci neuronowych Podstawowym elementem jest neuron Neuron posiada wiele wejść i jedno wyjście Sygnał na wyjściu jest równy funkcji aktywacyjnej policzonej od ważonej sumy wejść oraz biasu Funkcje aktywacji to na przykład funkcja logistyczna, tangens hiperboliczny lub max(0, x) Sieć składa się z warstw, a każda warstwa z pewnej ilości neuronów Wejście każdego neuronu to wyjścia wszystkich neuronów z poprzedniej warstwy. Można regulować wszystkie wagi oraz biasy Można minimalizować funkcje błędu jako funkcje R N - schodzenie po gradiencie Uczenie można przyspieszyć przy użyciu wstecznej propagacji błędu.

14 Sieci neuronowe Głębokie sieci neuronowe Cechy głębokich sieci neuronowych Środkowe warstwy mogą budować zmienne wyższego rzędu na postawie których ostatnia warstwa podejmuje decyzje. Działa podobnie jak zadanie 3 - najpierw szukamy dobrych zmiennych a potem robimy na ich podstawie kwalifikacje. Uczenie jest trudne dużo zmiennych oraz gradient zanika lub wybucha wykładniczo w głębszych warstwach.

15 Uczenie maszynowe w ćwiczeniu 3

16 Poszukiwanie Higgsa i SuSy Zastosowanie pakietu TMVA Wykorzystaliśmy pakiet TMVA do wygenerowania krzywych ROC dla danych z ćwiczenia 3. Background rejection Background rejection versus Signal efficiency MVA Method: 0.8 BDT MLPBNN 0.7 KNN RuleFit 0.6 SVM 0.5 Likelihood FDA_GA 0.4 LD PDERS 0.3 LikelihoodPCA Background rejection Background rejection versus Signal efficiency MVA Method: 0.5 BDT LikelihoodPCA 0.4 Likelihood LD 0.3 FDA_GA Signal efficiency Krzywa ROC dla 4 zmiennych wysokiego poziomu Signal efficiency Krzywa ROC dla 16 zmiennych niskiego poziomu Zmienne wysokiego poziomu Różnice kątów Suma pędów poprzecznych Zmienne niskiego poziomu Pędy Położenia

17 Poszukiwanie Higgsa i SuSy W 2014 roku Baldi, Sadowski i Whiteson wykorzystali DNN do poszukiwania bozonu Higgsa i cząstek SuSy.

18 Poszukiwanie Higgsa i SuSy Krzywa ROC dla płytkiej sieci neuronowej Krzywa ROC dla głębokiej sieci neuronowej

19 Poszukiwanie Higgsa i SuSy Background rejection Background rejection versus Signal efficiency Background rejection Background rejection versus Signal efficiency MVA Method: PyKeras 0.5 MVA Method: PyKeras 0.4 BDT 0.4 DNN 0.3 DNN Fisher 0.3 BDT Fisher Signal efficiency Signal efficiency ROC dla 4 zmiennych wysokiego poziomu ROC dla 16 zmiennych niskiego poziomu Background rejection Background rejection versus Signal efficiency MVA Method: PyKeras BDT DNN Fisher Signal efficiency Suma zmiennych wysokiego i niskiego poziomu (20)

20 Poszukiwanie H ± w rozpadzie τν Zadanie Identyfikacja rozpadów H± τ ν w eksperymencie ATLAS za pomocą metod uczenia maszynowego

21 Poszukiwanie H ± w rozpadzie τν (1/N) dn / (1/N) dn / 2.03e (1/N) dn / Input variable: dphi_met_tau 1.6 Signal Background dphi_met_tau Input variable: pt_bjet pt_bjet Input variable: dphi_met_bjet dphi_met_bjet U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% (1/N) dn / 1.16e+04 U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% (1/N) dn / 2.25e+04 U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% (1/N) dn / 9.22e+03 Input variable: pt_tau Input variable: MET pt_tau Input variable: pt_bjet_jet Input variable: sub_light_jet_pt sub_light_jet_pt U/O flow (S,B): (0.0, 0.0)% / (0.1, 0.0)% U/O flow (S,B): (0.0, 0.0)% / (0.1, 0.0)% 1.67e+04 (1/N) dn / 0.13 (1/N) dn / MET Input variable: dr_tau_bjet pt_bjet_jet dr_tau_bjet U/O flow (S,B): (0.0, 0.0)% / (0.1, 0.2)% (1/N) dn / 9.68e+04 Input variable: tau_0_leadtrk_pt tau_0_leadtrk_pt U/O flow (S,B): (0.0, 0.0)% / (0.1, 0.0)% U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% Input variable: tau_0_n_tracks Input variable: upsilon (1/N) dn / tau_0_n_tracks U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% (1/N) dn / upsilon U/O flow (S,B): (0.0, 0.0)% / (0.0, 0.0)% Zmienne wysokiego poziomu używane w analizie prowadzonej przez grupę eksperymentu ATLAS

22 Poszukiwanie H ± w rozpadzie τν Background rejection Background rejection versus Signal efficiency MVA Method: BDTG Likelihood Signal efficiency Krzywa ROC dla 11 zmiennych wysokiego poziomu Background rejection Background rejection versus Signal efficiency MVA Method: BDTG Likelihood Signal efficiency Krzywa ROC dla 46 zmiennych niskiego poziomu Wyraźnie lepsza separacja sygnału od tła Plany 1 Identyfikacja znaczących zmiennych niskiego poziomu 2 Zastosowanie DNN - Czy umożliwi poprawę wyników?

23 Podsumowanie Podsumowanie i wnioski Udowodniliśmy że dla analizy wielu zmiennych algorytmy uczenia maszynowego mogą być bardzo skuteczne. Użyliśmy pakietów TMVA i Keras do separacji sygnału od tła z ćwiczenia 3 - automatyczna selekcja jest lepsza od ręcznej. BDT lepiej sobie radzi dla zmiennych wysokiego poziomu, ale DNN dają lepszy wynik dla zmiennych niskiego poziomu, który przekracza wszystkie poprzednie.

24 Podsumowanie Dziękujemy za uwagę!

25 BDT i DNN oraz optymalizacja hiperparametrów w ćwiczeniu 3

26 Optymalizacja hiperparametrów Hiperparametry są to parametry, które określają w jaki sposób uczy się dany kwalifikator Zastosowaliśmy pakiet hyperopt do optymalizacji hiperparametrów, próbując zmaksymalizować pole powierzchni pod krzywą ROC Przykładowe hiperparametry Liczba warstw sieci neuronowych Maksymalna głębokość drzew w lesie Tempo nauki

27 Optymalizacja hiperparametrów Porównanie krzywych ROC dla różnych hiperparametrów AdaBoost

28 Głębokie sieci neuronowe w ćw. 3 Uczenie DNN dla zmiennych niskiego poziomu

29 Głębokie sieci neuronowe w ćw. 3 Uczenie DNN dla zmiennych wysokiego poziomu

30 Podsumowanie AdaBoost okazał się bardzo dobrym algorytmem Płytkie sieci neuronowe dają słabe wyniki Porównanie krzywych ROC dla różnych metod: Głębokie sieci neuronowe - 4 warstwy po 100 neuronów Płytkie sieci neuronowe - 2 warstwy po 300 neuronów

31 Podsumowanie Dziękujemy za uwagę!