Stosowana Analiza Regresji
|
|
- Oskar Kujawa
- 6 lat temu
- Przeglądów:
Transkrypt
1 Stosowana Analiza Regresji Wykład VIII 30 Listopada / 18
2 gdzie: X : n p Q : n n R : n p Zał.: n p. X = QR, - macierz eksperymentu, - ortogonalna, - ma zera poniżej głównej diagonali. [ R1 X = Q 0 ] [ R1 = [Q 1, Q 2 ] 0 ] = Q 1 R 1, gdzie: Q 1 : n p - złożona z p pierwszych kolumn macierzy Q, R 1 : p p - trójkątna górna. Dekompozycja na mac. ortogonalną i mac. łatwo odwracalną. 2 / 18
3 - c.d. Otrzymujemy: inną reprezentację estymatorów, bardziej stabilny sposób ich obliczania. Zachodzi: rank(x) = rank(r). Zatem jeśli elementy na diagonali mac. R są 0, to X jest pełnego rzędu i kolumny Q 1 stanowią bazę ortonormalną dla lin(x). Kolumny Q są bazą przestrzeni odpowiedzi (Y ). Kolumny Q 1 są bazą przestrzeni wartości oczekiwanych (Xβ). 3 / 18
4 Mamy: - c.d. Y Xβ 2 = Q Y Q Xβ 2 = c 1 R 1 β 2 + c 2 2, gdzie c 1 = Q 1 Y, c 2 = Q 2 Y. Stąd postać estymatora: ˆβ = R 1 1 c 1. Ponadto: Cov( ˆβ) = σ 2 R 1 1 (R 1 ) 1, Ŷ = Q 1 Q 1 Y, H = Q 1 Q 1. e = Q 2 Q 2 Y. Q 1 Q 1 - mac. rzutu na lin(x), Q 2 Q 2 - mac. rzutu na podprzestrzeń ortogonalną do lin(x). 4 / 18
5 (PCR - Principal Components Regression ) Dużą liczbę regresorów zastępujemy mniejszą liczbą tzw., będących liniowymi kombinacjami oryginalnych zmiennych. Szukamy najbardziej "interesujących" kierunków w danych. Niech: x i = (x i1,..., x ip ) - i-ty wiersz, i = 1,..., n. Szukamy takiego wektora a R p, że punkty x 1 a,..., x n a mają maksymalną wariancję, przy założeniu: a = a a = 1. 5 / 18
6 Przykład. p = 2 x i x i x 2 PCA - Przykład x 1 Szukamy jednowymiarowej reprezentacji punktów (x i) n i=1 = (x i1, x i2) n i=1. Minimalizujemy n i=1 xix i 2. Równoważnie: maksymalizujemy n i=1 0x i 2. 1 n Ale: n 1 i=1 0x i 2 - wariancja próbkowa rzutów na wybraną prostą. 6 / 18
7 PCA Wariancja punktów x 1 a,..., x n a: a Sa, gdzie S = 1 n n 1 i=1 (x i x) (x i x) - empiryczna macierz kowariancji punktów (x i ) (S = 1 n 1 X X, gdy x = 0). Zatem a Sa max, przy warunku a a = 1. Wyznaczenie ekstremum związanego: metoda mnożników Lagrange a. f (λ; a) = a Sa λ(a a 1). f a = 0 Sa = λa. a Sa = λa a = λ = max a odpowiada największej wartości własnej. 7 / 18
8 PCA Zasada analizy : Szukamy a 1 - unormowany wektor własny odp. największej wartości własnej λ 1 macierzy S. Szukamy a 2 - unormowany wektor własny odp. drugiej co do wielkości wartości własnej macierzy S, przy czym a 2 a 1. Szukamy a 3 - unormowany wektor własny odp. trzeciej co do wielkości wartości własnej macierzy S, przy czym a 3 a 1 i a 3 a 2. itd.... Otrzymujemy: a 1,..., a p. j-ta składowa główna: Mamy: z j = Xa j. SE 2 Z j = a jsa j = λ j a ja j = λ j. 8 / 18
9 PCA p daje równoważną reprezentację X. Składowe odpowiadające małym wartościom λ j pomijamy jako nie wnoszące istotnej informacji o danych. W tym sensie PCA jest metodą redukcji danych. Metody wyboru liczby : 1) P r = λ1+...+λr λ λ p. Szukamy najmniejszego r takiego, że P r p, gdzie p - ustalony próg. Często p = ) Wykres λ i w funkcji i. Uwaga: metodę PCR stosujemy do zmiennych zestandaryzowanych. W przeciwnym razie kierunki początkowych będą odpowiadały współrzędnym o największej wariancji. 9 / 18
10 Związek z rozkładem SVD Rozkład SVD scentrowanej jest innym sposobem wyrażenia. X = UDV X X = VD 2 V. Zatem VD 2 V jest dekompozycją S = 1 n 1 X X. Kolumny mac. V - wektory własne (kierunki ). z i = Xv i - składowe główne, Var(z i ) = 1 n 1 d 2 i, z i = Xv i = u i d i u i - unormowana składowa główna. PCR: formuje kolumny z i = Xv i, a następnie dopasowuje model regresji MNK: Y z 1,..., z r dla pewnego r p. 10 / 18
11 PCR Uwaga 1: Ponieważ (z i ) są względem siebie prostopadłe, regresja wielokrotna jest sumą regresji jednokrotnych: Ŷ PCR = Ȳ + r j=1 θ j z j, gdzie θ j = z j, Y z j, z j. (1) Uwaga 2: (z j ) są liniowymi kombinacjami (x j ) oraz ˆβ PCR = r θ j v j, gdzie ˆβ PCR - współczynniki dla oryginalnych zmiennych (x j ) dające regresję (1). j=1 11 / 18
12 PLS (PLS - Partial Least Squares) Oryginalne regresory zastępujemy ich liniowymi kombinacjami, które mają silną korelację z wektorem odpowiedzi (i są względem siebie ortogonalne). Dopasowujemy model postaci: Ŷ = θ 1 z θ r z r, r p, gdzie z i - liniowa kombinacja x 1,..., x p, z i z j. 12 / 18
13 Istnieje wiele różnych wariantów realizacji idei metody PLS i wiele algorytmów dla każdego z nich. Najbardziej popularną wersją PLS jest (Statistically Inspired Modification of PLS), który jako funkcję celu przyjmuje kowariancję między Z i Y. Szukamy liniowych kombinacji: z 1 = p w 1j x j,..., z r = j=1 p w rj x j, r p, j=1 takich że w j = arg max w X YY Xw, gdzie w j = 1, z i z j = w i X Xw j = 0, j < i. W m-tym kroku: znajdujemy z m takie, że: z m z i dla i < m, z m = 1, cor(y, z m ) max. 13 / 18
14 PLS Uwaga 1. Podobnie jak w PCR składowe uzyskane w wyniku PLS są wzajemnie ortogonalne. Oznacza to, że współczynniki θ j nie zmieniają się, gdy do modelu dodawane są kolejne komponenty. Uwaga 2. Jeśli macierz X jest ortogonalna, PLS znajduje rozwiązanie MNK w pierwszym kroku. Uwaga 3. wyboru liczby w PLS: kroswalidacja. 14 / 18
15 PCR i PLS Porównanie PCR z PLS: PCR: cel - redukcja wymiaru. liniowe kombinacje kolumn X, które odzwierciedlają zmienność predyktorów. PLS: cel - redukcja liczby zmiennych w taki sposób, aby otrzymane kombinacje liniowe predyktorów mo.zliwie najpełniej wyjaśniały zmienność Y. Obie te metody mogą być stosowane, gdy p > n. 15 / 18
16 NIPALS (Nonlinear Iterative Partial Least Squares) Wyznacza wektory własne w sposób iteracyjny. Dokładniejszy od metody SVD, ale wolniejszy. Pierwotnie stworzony na potrzeby PCR, potem używany również do PLSR. nie wyznacza wszystkich jednocześnie: oblicza z 1, a 1 na podstawie mac. X (E 1 := X), oblicza z 2, a 2 na podstawie mac. E 2 := X z 1 a 1, oblicza z 3, a 3 na podstawie mac. E 3 := E 2 z 2 a 2, itd / 18
17 NIPALS Zał. X - scentrowana. (dla PCR): Dla i = 1,..., p: 0) z i = x j - pewna kolumna mac. X. 1) a i = X z i z, a i i := a i / a i zi 2) z i = Xai a i a i 3) Powtarzaj kroki 1) i 2) do uzyskania zbieżności. Otrzymujemy: z i - składowa główna dla X, a i - wektor własny X 4) X := X z i z i, i := i + 1. Powrót do punktu 0). 17 / 18
18 NIPALS (dla PLSR): Cel: znalezienie mac. wag W zdefiniowanej w. Zał.: Y : n m. Dla i = 1,..., p: 0) z i = x j - pewna kolumna mac. X. 1) q i = Y z i R m, 2) u i = Yq i R n, 3) a i = X u i R p, 4) z i = Xa i R n, 5) Powtarzaj kroki 1) - 4) do uzyskania zbieżności. Otrzymujemy: u i - składowa główna dla Y, z i - składowa główna dla X. 6) a i = X z i z i zi, a i := a i / a i, X := X z i a i z i = Y z i z i zi, Y := Y z i b i. i := i + 1. Powrót do punktu 0). 18 / 18
Stosowana Analiza Regresji
Stosowana Analiza Regresji Wykład VI... 16 Listopada 2011 1 / 24 Jest to rozkład zmiennej losowej rozkład chi-kwadrat Z = n i=1 X 2 i, gdzie X i N(µ i, 1) - niezależne. Oznaczenie: Z χ 2 (n, λ), gdzie:
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XV: Zagadnienia redukcji wymiaru danych 2 lutego 2015 r. Standaryzacja danych Standaryzacja danych Własności macierzy korelacji Definicja Niech X będzie zmienną losową o skończonym drugim momencie.
Bardziej szczegółowoStatystyka i eksploracja danych
Wykład XII: Zagadnienia redukcji wymiaru danych 12 maja 2014 Definicja Niech X będzie zmienną losową o skończonym drugim momencie. Standaryzacją zmiennej X nazywamy zmienną losową Z = X EX Var (X ). Definicja
Bardziej szczegółowoAnaliza składowych głównych. Wprowadzenie
Wprowadzenie jest techniką redukcji wymiaru. Składowe główne zostały po raz pierwszy zaproponowane przez Pearsona(1901), a następnie rozwinięte przez Hotellinga (1933). jest zaliczana do systemów uczących
Bardziej szczegółowoStosowana Analiza Regresji
prostej Stosowana Wykład I 5 Października 2011 1 / 29 prostej Przykład Dane trees - wyniki pomiarów objętości (Volume), średnicy (Girth) i wysokości (Height) pni drzew. Interesuje nas zależność (o ile
Bardziej szczegółowoStatystyczna analiza danych 1
Statystyczna analiza danych 1 Regresja liniowa 1 Ewa Szczurek szczurek@mimuw.edu.pl Instytut Informatyki Uniwersytet Warszawski Ewa Szczurek Regresja liniowa 1 1 / 41 Dane: wpływ reklam produktu na sprzedaż
Bardziej szczegółowoElementy statystyki wielowymiarowej
Wnioskowanie_Statystyczne_-_wykład Spis treści 1 Elementy statystyki wielowymiarowej 1.1 Kowariancja i współczynnik korelacji 1.2 Macierz kowariancji 1.3 Dwumianowy rozkład normalny 1.4 Analiza składowych
Bardziej szczegółowoSYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.
SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska INFORMACJE WSTĘPNE Hipotezy do uczenia się lub tworzenia
Bardziej szczegółowoAnaliza składowych głównych
Analiza składowych głównych Wprowadzenie (1) W przypadku regresji naszym celem jest predykcja wartości zmiennej wyjściowej za pomocą zmiennych wejściowych, wykrycie związku między wielkościami wejściowymi
Bardziej szczegółowo10. Redukcja wymiaru - metoda PCA
Algorytmy rozpoznawania obrazów 10. Redukcja wymiaru - metoda PCA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. PCA Analiza składowych głównych: w skrócie nazywana PCA (od ang. Principle Component
Bardziej szczegółowoStatystyka opisowa. Wykład V. Regresja liniowa wieloraka
Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków
Bardziej szczegółowoRozwiązywanie układów równań liniowych
Rozwiązywanie układów równań liniowych Marcin Orchel 1 Wstęp Jeśli znamy macierz odwrotną A 1, to możęmy znaleźć rozwiązanie układu Ax = b w wyniku mnożenia x = A 1 b (1) 1.1 Metoda eliminacji Gaussa Pierwszy
Bardziej szczegółowoWłasności statystyczne regresji liniowej. Wykład 4
Własności statystyczne regresji liniowej Wykład 4 Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej Literatura B. Hansen (2017+) Econometrics, Rozdział 5 Własności
Bardziej szczegółowoAnaliza korespondencji
Analiza korespondencji Kiedy stosujemy? 2 W wielu badaniach mamy do czynienia ze zmiennymi jakościowymi (nominalne i porządkowe) typu np.: płeć, wykształcenie, status palenia. Punktem wyjścia do analizy
Bardziej szczegółowoMetoda najmniejszych kwadratów
Metoda najmniejszych kwadratów Przykład wstępny. W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba Douglasa: z = AL α K β gdzie z oznacza wielkość produkcji, L jest nakładem pracy, K
Bardziej szczegółowoProgramowanie liniowe
Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.
Bardziej szczegółowoZmienne zależne i niezależne
Analiza kanoniczna Motywacja (1) 2 Często w badaniach spotykamy problemy badawcze, w których szukamy zakresu i kierunku zależności pomiędzy zbiorami zmiennych: { X i Jak oceniać takie 1, X 2,..., X p }
Bardziej szczegółowoWYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23 ZAGADNIENIE ESTYMACJI Zagadnienie
Bardziej szczegółowoAnaliza głównych składowych- redukcja wymiaru, wykł. 12
Analiza głównych składowych- redukcja wymiaru, wykł. 12 Joanna Jędrzejowicz Instytut Informatyki Konieczność redukcji wymiaru w eksploracji danych bazy danych spotykane w zadaniach eksploracji danych mają
Bardziej szczegółowo5. Rozwiązywanie układów równań liniowych
5. Rozwiązywanie układów równań liniowych Wprowadzenie (5.1) Układ n równań z n niewiadomymi: a 11 +a 12 x 2 +...+a 1n x n =a 10, a 21 +a 22 x 2 +...+a 2n x n =a 20,..., a n1 +a n2 x 2 +...+a nn x n =a
Bardziej szczegółowoStatystyczna analiza danych
Statystyczna analiza danych Korelacja i regresja Ewa Szczurek szczurek@mimuw.edu.pl Instytut Informatyki Uniwersytet Warszawski 1/30 Ostrożnie z interpretacją p wartości p wartości zależą od dwóch rzeczy
Bardziej szczegółowoEkonometria. Wprowadzenie do modelowania ekonometrycznego Estymator KMNK. Jakub Mućk. Katedra Ekonomii Ilościowej
Ekonometria Wprowadzenie do modelowania ekonometrycznego Estymator Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Wykład 1 Estymator 1 / 16 Agenda 1 Literatura Zaliczenie przedmiotu 2 Model
Bardziej szczegółowoWYKŁAD I: ANALIZA SKŁADOWYCH GŁÓWNYCH. Zaawansowane Metody Uczenia Maszynowego
WYKŁAD I: ANALIZA SKŁADOWYCH GŁÓWNYCH Zaawansowane Metody Uczenia Maszynowego X 2 Y 1 Analiza składowych głównych (PCA - principal components analysis) x 1, x 2,..., x n R p dane (wartości p atrybutów
Bardziej szczegółowoMetody Ekonometryczne
Metody Ekonometryczne Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 1 / 19 Outline 1 2 3 Jakub Mućk Metody Ekonometyczne
Bardziej szczegółowoANALIZA CZYNNIKOWA Przykład 1
ANALIZA CZYNNIKOWA... stanowi zespół metod i procedur statystycznych pozwalających na badanie wzajemnych relacji między dużą liczbą zmiennych i wykrywanie ukrytych uwarunkowań, ktore wyjaśniają ich występowanie.
Bardziej szczegółowo3. Macierze i Układy Równań Liniowych
3. Macierze i Układy Równań Liniowych Rozważamy równanie macierzowe z końcówki ostatniego wykładu ( ) 3 1 X = 4 1 ( ) 2 5 Podstawiając X = ( ) x y i wymnażając, otrzymujemy układ 2 równań liniowych 3x
Bardziej szczegółowo1.1 Klasyczny Model Regresji Liniowej
1.1 Klasyczny Model Regresji Liniowej Klasyczny model Regresji Liniowej jest bardzo użytecznym narzędziem służącym do analizy danych empirycznych. Analiza regresji zajmuje się opisem zależności między
Bardziej szczegółowoMacierze. Rozdział Działania na macierzach
Rozdział 5 Macierze Funkcję, która każdej parze liczb naturalnych (i, j) (i 1,..., n; j 1,..., m) przyporządkowuje dokładnie jedną liczbę a ij F, gdzie F R lub F C, nazywamy macierzą (rzeczywistą, gdy
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Bardziej szczegółowoWYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki
WYKŁAD 6 Witold Bednorz, Paweł Wolff 1 Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. Własności
Bardziej szczegółowoTeoretyczne podstawy programowania liniowego
Teoretyczne podstawy programowania liniowego Elementy algebry liniowej Plan Kombinacja liniowa Definicja Kombinacja liniowa wektorów (punktów) x 1, x 2,, x k R n to wektor x R n k taki, że x = i=1 λ i
Bardziej szczegółowoMetody iteracyjne rozwiązywania układów równań liniowych (5.3) Normy wektorów i macierzy (5.3.1) Niech. x i. i =1
Normy wektorów i macierzy (5.3.1) Niech 1 X =[x x Y y =[y1 x n], oznaczają wektory przestrzeni R n, a yn] niech oznacza liczbę rzeczywistą. Wyrażenie x i p 5.3.1.a X p = p n i =1 nosi nazwę p-tej normy
Bardziej szczegółowoSPOTKANIE 9: Metody redukcji wymiarów
Wrocław University of Technology SPOTKANIE 9: Metody redukcji wymiarów Piotr Klukowski* Studenckie Koło Naukowe Estymator piotr.klukowski@pwr.wroc.pl 08.12.2015 *Część slajdów pochodzi z prezentacji dr
Bardziej szczegółowoPDF created with FinePrint pdffactory Pro trial version http://www.fineprint.com
Analiza korelacji i regresji KORELACJA zależność liniowa Obserwujemy parę cech ilościowych (X,Y). Doświadczenie jest tak pomyślane, aby obserwowane pary cech X i Y (tzn i ta para x i i y i dla różnych
Bardziej szczegółowoKADD Metoda najmniejszych kwadratów funkcje nieliniowe
Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji
Bardziej szczegółowo1 Gaussowskie zmienne losowe
Gaussowskie zmienne losowe W tej serii rozwiążemy zadania dotyczące zmiennych o rozkładzie normalny. Wymagana jest wiedza na temat własności rozkładu normalnego, CTG oraz warunkowych wartości oczekiwanych..
Bardziej szczegółowoMetody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017
Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x
Bardziej szczegółowoRozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1
Bardziej szczegółowoZadania przygotowawcze, 3 kolokwium
Zadania przygotowawcze, 3 kolokwium Mirosław Sobolewski 8 grudnia. Niech φ t : R 3 R 3 bedzie endomorfizmem określonym wzorem φ t ((x, x, )) (x +, tx + x, x + ), gdzie parametr t R. a) Zbadać dla jakiej
Bardziej szczegółowoMetody Ekonometryczne
Metody Ekonometryczne Goodness of fit i wprowadzenie do wnioskowania statystycznego Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Metody Ekonometyczne Wykład 2 Goodness of fit i wprowadzenie do wnioskowania
Bardziej szczegółowoWykład 16. P 2 (x 2, y 2 ) P 1 (x 1, y 1 ) OX. Odległość tych punktów wyraża się wzorem: P 1 P 2 = (x 1 x 2 ) 2 + (y 1 y 2 ) 2
Wykład 16 Geometria analityczna Przegląd wiadomości z geometrii analitycznej na płaszczyźnie rtokartezjański układ współrzędnych powstaje przez ustalenie punktu początkowego zwanego początkiem układu współrzędnych
Bardziej szczegółowoZadania egzaminacyjne
Rozdział 13 Zadania egzaminacyjne Egzamin z algebry liniowej AiR termin I 03022011 Zadanie 1 Wyznacz sumę rozwiązań równania: (8z + 1 i 2 2 7 iz 4 = 0 Zadanie 2 Niech u 0 = (1, 2, 1 Rozważmy odwzorowanie
Bardziej szczegółowoModel regresji wielokrotnej Wykład 14 ( ) Przykład ceny domów w Chicago
Model regresji wielokrotnej Wykład 14 (4.06.2007) Przykład ceny domów w Chicago Poniżej są przedstawione dane dotyczące cen domów w Chicago (źródło: Sen, A., Srivastava, M., Regression Analysis, Springer,
Bardziej szczegółowoHeteroscedastyczność. Zjawisko heteroscedastyczności Uogólniona Metoda Najmniejszych Kwadratów Stosowalna Metoda Najmniejszych Kwadratów
Formy heteroscedastyczności Własności estymatorów MNK wydatki konsumpcyjne 0 10000 20000 30000 40000 14.4 31786.08 dochód rozporz¹dzalny Zródlo: Obliczenia wlasne, dane BBGD 2004 Formy heteroscedastyczności
Bardziej szczegółowoPrzegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła
Przegląd metod optymalizacji wielowymiarowej Tomasz M. Gwizdałła 2012.12.06 Funkcja testowa Funkcją testową dla zagadnień rozpatrywanych w ramach tego wykładu będzie funkcja postaci f (x) = (x 1 1) 4 +
Bardziej szczegółowoTransformaty. Kodowanie transformujace
Transformaty. Kodowanie transformujace Kodowanie i kompresja informacji - Wykład 10 10 maja 2009 Szeregi Fouriera Każda funkcję okresowa f (t) o okresie T można zapisać jako f (t) = a 0 + a n cos nω 0
Bardziej szczegółowoRozdział 8. Regresja. Definiowanie modelu
Rozdział 8 Regresja Definiowanie modelu Analizę korelacji można traktować jako wstęp do analizy regresji. Jeżeli wykresy rozrzutu oraz wartości współczynników korelacji wskazują na istniejąca współzmienność
Bardziej szczegółowoEkonometria. Weryfikacja liniowego modelu jednorównaniowego. Jakub Mućk. Katedra Ekonomii Ilościowej
Ekonometria Weryfikacja liniowego modelu jednorównaniowego Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 1 / 28 Agenda 1 Estymator
Bardziej szczegółowoMetoda momentów i kwantyli próbkowych. Wrocław, 7 listopada 2014
Metoda momentów i kwantyli próbkowych Wrocław, 7 listopada 2014 Metoda momentów Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa. Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa.
Bardziej szczegółowoOznacza to, że chcemy znaleźć minimum, a właściwie wartość najmniejszą funkcji
Wykład 11. Metoda najmniejszych kwadratów Szukamy zależności Dane są wyniki pomiarów dwóch wielkości x i y: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ). Przypuśćmy, że nanieśliśmy je na wykres w układzie
Bardziej szczegółowoKolejny krok iteracji polega na tym, że przechodzimy do następnego wierzchołka, znajdującego się na jednej krawędzi z odnalezionym już punktem, w
Metoda Simpleks Jak wiadomo, problem PL z dowolną liczbą zmiennych można rozwiązać wyznaczając wszystkie wierzchołkowe punkty wielościanu wypukłego, a następnie porównując wartości funkcji celu w tych
Bardziej szczegółowoIloczyn skalarny. Mirosław Sobolewski. Wydział Matematyki, Informatyki i Mechaniki UW. 10. wykład z algebry liniowej Warszawa, grudzień 2013
Iloczyn skalarny Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 10. wykład z algebry liniowej Warszawa, grudzień 2013 Mirosław Sobolewski (UW) Warszawa, grudzień 2013 1 / 14 Standardowy
Bardziej szczegółowoWprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe
Wprowadzenie do teorii ekonometrii Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe Zajęcia Wykład Laboratorium komputerowe 2 Zaliczenie EGZAMIN (50%) Na egzaminie obowiązują wszystkie informacje
Bardziej szczegółowoWstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa. P. F. Góra
Wstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Uwarunkowanie zadania numerycznego Niech ϕ : R n R m będzie pewna funkcja odpowiednio wiele
Bardziej szczegółowoLista. Przestrzenie liniowe. Zadanie 1 Sprawdź, czy (V, +, ) jest przestrzenią liniową nadr :
Lista Przestrzenie liniowe Zadanie 1 Sprawdź, czy (V, +, ) jest przestrzenią liniową nadr : V = R[X], zbiór wielomianów jednej zmiennej o współczynnikach rzeczywistych, wraz ze standardowym dodawaniem
Bardziej szczegółowoWażne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoSIMR 2016/2017, Analiza 2, wykład 1, Przestrzeń wektorowa
SIMR 06/07, Analiza, wykład, 07-0- Przestrzeń wektorowa Przestrzeń wektorowa (liniowa) - przestrzeń (zbiór) w której określone są działania (funkcje) dodawania elementów i mnożenia elementów przez liczbę
Bardziej szczegółowoRedukcja wariancji w metodach Monte-Carlo
14.02.2006 Seminarium szkoleniowe 14 lutego 2006 Plan prezentacji Wprowadzenie Metoda losowania warstwowego Metoda próbkowania ważonego Metoda zmiennych kontrolnych Metoda zmiennych antytetycznych Metoda
Bardziej szczegółowoEkonometria. Modele regresji wielorakiej - dobór zmiennych, szacowanie. Paweł Cibis pawel@cibis.pl. 1 kwietnia 2007
Modele regresji wielorakiej - dobór zmiennych, szacowanie Paweł Cibis pawel@cibis.pl 1 kwietnia 2007 1 Współczynnik zmienności Współczynnik zmienności wzory Współczynnik zmienności funkcje 2 Korelacja
Bardziej szczegółowoStatystyczna analiza danych (molekularnych) modele liniowe
Statystyczna analiza danych (molekularnych) modele liniowe Anna Gambin 14 kwietnia 2012 Spis treści 1 Analiza regresji 1 1.1 Historia..................................... 2 2 Modele liniowe 2 3 Estymacja
Bardziej szczegółowo1 Macierz odwrotna metoda operacji elementarnych
W tej części skupimy się na macierzach kwadratowych. Zakładać będziemy, że A M(n, n) dla pewnego n N. Definicja 1. Niech A M(n, n). Wtedy macierzą odwrotną macierzy A (ozn. A 1 ) nazywamy taką macierz
Bardziej szczegółowoPolitechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania KOMPUTEROWE SYSTEMY STEROWANIA I WSPOMAGANIA DECYZJI Rozproszone programowanie produkcji z wykorzystaniem
Bardziej szczegółowoModelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski
Modelowanie zależności pomiędzy zmiennymi losowymi Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski P Zmienne losowe niezależne - przypomnienie Dwie rzeczywiste zmienne losowe X i Y
Bardziej szczegółowoFiltr Kalmana. Struktury i Algorytmy Sterowania Wykład 1-2. prof. dr hab. inż. Mieczysław A. Brdyś mgr inż. Tomasz Zubowicz
Filtr Kalmana Struktury i Algorytmy Sterowania Wykład 1-2 prof. dr hab. inż. Mieczysław A. Brdyś mgr inż. Tomasz Zubowicz Politechnika Gdańska, Wydział Elektortechniki i Automatyki 2013-10-09, Gdańsk Założenia
Bardziej szczegółowo1. Zbadać liniową niezależność funkcji x, 1, x, x 2 w przestrzeni liniowej funkcji ciągłych na przedziale [ 1, ).
B 2 Suma Zbadać, czy liniowo niezależne wektory u, v, w stanowią bazę przestrzeni liniowej lin { u + 2 v + w, u v + 2 w, 3 u + 5 w } 2 Współrzędne wektora (, 4, 5, 4 ) w pewnej bazie podprzestrzeni U R
Bardziej szczegółowoKodowanie transformacyjne. Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG
Kodowanie transformacyjne Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG Zasada Zasada podstawowa: na danych wykonujemy transformacje która: Likwiduje korelacje Skupia energię w kilku komponentach
Bardziej szczegółowoMonitorowanie i Diagnostyka w Systemach Sterowania na studiach II stopnia specjalności: Systemy Sterowania i Podejmowania Decyzji
Monitorowanie i Diagnostyka w Systemach Sterowania na studiach II stopnia specjalności: Systemy Sterowania i Podejmowania Decyzji Analiza składników podstawowych - wprowadzenie (Principal Components Analysis
Bardziej szczegółowoAnaliza wariancji w analizie regresji - weryfikacja prawdziwości przyjętego układu ograniczeń Problem Przykłady
Analiza wariancji w analizie regresji - weryfikacja prawdziwości przyjętego układu ograniczeń 1. Problem ozwaŝamy zjawisko (model): Y = β 1 X 1 X +...+ β k X k +Z Ηβ = w r Hipoteza alternatywna: Ηβ w r
Bardziej szczegółowoWykład 4 Udowodnimy teraz, że jeśli U, W są podprzetrzeniami skończenie wymiarowej przestrzeni V to zachodzi wzór: dim(u + W ) = dim U + dim W dim(u
Wykład 4 Udowodnimy teraz, że jeśli U, W są podprzetrzeniami skończenie wymiarowej przestrzeni V to zachodzi wzór: dim(u + W ) = dim U + dim W dim(u W ) Rzeczywiście U W jest podprzetrzenią przestrzeni
Bardziej szczegółowox x 1. Przedmiot identyfikacji System x (1) x (2) : x (s) a 1 a 2 : a s mierzone, a = zestaw współczynników konkretyzujacych F ()
. Przedmiot identyfikacji System () x (2) x * a z y ( s ) x y = F (x,z)=f(x,z,a ),gdziex = F () znane, a nieznane x () x (2) x (s) mierzone, a = a a 2 a s zestaw współczynników konkretyzujacych F () informacja
Bardziej szczegółowoBaza w jądrze i baza obrazu ( )
Przykład Baza w jądrze i baza obrazu (839) Znajdź bazy jądra i obrazu odwzorowania α : R 4 R 3, gdzie α(x, y, z, t) = (x + 2z + t, 2x + y 3z 5t, x y + z + 4t) () zór ten oznacza, że α jest odwzorowaniem
Bardziej szczegółowoMetoda największej wiarygodności
Rozdział Metoda największej wiarygodności Ogólnie w procesie estymacji na podstawie prób x i (każde x i może być wektorem) wyznaczamy parametr λ (w ogólnym przypadku również wektor) opisujący domniemany
Bardziej szczegółowoRobert Susmaga. Instytut Informatyki ul. Piotrowo 2 Poznań
... Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 Wyłączenie odpowiedzialności
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja
Bardziej szczegółowoSPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization
Wrocław University of Technology SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization Jakub M. Tomczak Studenckie Koło Naukowe Estymator jakub.tomczak@pwr.wroc.pl 4.1.213 Klasteryzacja Zmienne
Bardziej szczegółowoJEDNORÓWNANIOWY LINIOWY MODEL EKONOMETRYCZNY
JEDNORÓWNANIOWY LINIOWY MODEL EKONOMETRYCZNY Będziemy zapisywać wektory w postaci (,, ) albo traktując go jak macierz jednokolumnową (dzięki temu nie będzie kontrowersji przy transponowaniu wektora ) Model
Bardziej szczegółowoPrzestrzenie liniowe
Rozdział 4 Przestrzenie liniowe 4.1. Działania zewnętrzne Niech X oraz F będą dwoma zbiorami niepustymi. Dowolną funkcję D : F X X nazywamy działaniem zewnętrznym w zbiorze X nad zbiorem F. Przykład 4.1.
Bardziej szczegółowoKomputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11; środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd
Bardziej szczegółowoWprowadzenie (1) Przedmiotem analizy czynnikowej jest badanie wewnętrznych zależności w zbiorze zmiennych. Jest to modelowanie niejawne. Oprócz zmienn
Analiza czynnikowa Wprowadzenie (1) Przedmiotem analizy czynnikowej jest badanie wewnętrznych zależności w zbiorze zmiennych. Jest to modelowanie niejawne. Oprócz zmiennych, które są bezpośrednio obserwowalne
Bardziej szczegółowoTestowanie hipotez statystycznych.
Bioinformatyka Wykład 6 Wrocław, 7 listopada 2011 Temat. Weryfikacja hipotez statystycznych dotyczących proporcji. Test dla proporcji. Niech X 1,..., X n będzie próbą statystyczną z 0-1. Oznaczmy odpowiednio
Bardziej szczegółowoMet Me ody numer yczne Wykład ykład Dr inż. Mic hał ha Łanc Łan zon Instyt Ins ut Elektr Elektr echn iki echn i Elektrot Elektr echn olo echn
Metody numeryczne Wykład 3 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Zakres wykładu Pojęcia podstawowe Algebra
Bardziej szczegółowoIII. Układy liniowe równań różniczkowych. 1. Pojęcie stabilności rozwiązań.
III. Układy liniowe równań różniczkowych. 1. Pojęcie stabilności rozwiązań. Analiza stabilności rozwiązań stanowi ważną część jakościowej teorii równań różniczkowych. Jej istotą jest poszukiwanie odpowiedzi
Bardziej szczegółowoRozkłady dwóch zmiennych losowych
Rozkłady dwóch zmiennych losowych Uogólnienie pojęć na rozkład dwóch zmiennych Dystrybuanta i gęstość prawdopodobieństwa Rozkład brzegowy Prawdopodobieństwo warunkowe Wartości średnie i odchylenia standardowe
Bardziej szczegółowoMetoda najmniejszych kwadratów
Własności algebraiczne Model liniowy Zapis modelu zarobki = β 0 + β 1 plec + β 2 wiek + ε Oszacowania wartości współczynników zarobki = b 0 + b 1 plec + b 2 wiek + e Model liniowy Tabela: Oszacowania współczynników
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XIII: Prognoza. 26 stycznia 2015 Wykład XIII: Prognoza. Prognoza (predykcja) Przypuśćmy, że mamy dany ciąg liczb x 1, x 2,..., x n, stanowiących wyniki pomiaru pewnej zmiennej w czasie wielkości
Bardziej szczegółowoRozwiązania zadań z listy T.Koźniewskiego
Rozwiązania zadań z listy T.Koźniewskiego 1. Podstawiamy do równań. Tylko czwarty wektor spełnia wszystkie trzy równania.. U 1 : ( + 0x 9x 4, 7x + 8x 4, x, x 4 ), U : ( x 4, 4 x 4, + x 4, x 4 ), U : (x
Bardziej szczegółowoWYKŁAD: Szeregi czasowe I. Zaawansowane Metody Uczenia Maszynowego
WYKŁAD: Szeregi czasowe I Zaawansowane Metody Uczenia Maszynowego Szereg czasowy (X t ) - ciąg zmiennych losowych indeksowany parametrem t (czas). Z reguły t N lub t Z. Dotąd rozpatrywaliśmy: (X t )- ciąg
Bardziej szczegółowoMetody dekompozycji macierzy stosowane w automatyce
Metody dekompozycji macierzy stosowane w automatyce Grzegorz Mzyk Politechnika Wrocławska, WydziałElektroniki 23 lutego 2015 Plan wykładu 1 Wprowadzenie 2 Rozkład LU 3 Rozkład spektralny 4 Rozkład Cholesky
Bardziej szczegółowoGeometria Lista 0 Zadanie 1
Geometria Lista 0 Zadanie 1. Wyznaczyć wzór na pole równoległoboku rozpiętego na wektorach u, v: (a) nie odwołując się do współrzędnych tych wektorów; (b) odwołując się do współrzędnych względem odpowiednio
Bardziej szczegółowoWektory i wartości własne
Treść wykładu Podprzestrzenie niezmiennicze... Twierdzenie Cayley Hamiltona Podprzestrzenie niezmiennicze Definicja Niech f : V V będzie przekształceniem liniowym. Podprzestrzeń W V nazywamy niezmienniczą
Bardziej szczegółowo1 Formy hermitowskie. GAL (Informatyka) Wykład - formy hermitowskie. Paweł Bechler
GAL (Informatyka) Wykład - formy hermitowskie Wersja z dnia 23 stycznia 2014 Paweł Bechler 1 Formy hermitowskie Niech X oznacza przestrzeń liniową nad ciałem K. Definicja 1. Funkcję φ : X X K nazywamy
Bardziej szczegółowoRobert Susmaga. Instytut Informatyki ul. Piotrowo 2 Poznań
... Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 Wyłączenie odpowiedzialności
Bardziej szczegółowoMetoda największej wiarogodności
Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów Wprowadzenie Założenia Logarytm
Bardziej szczegółowoWEKTORY I WARTOŚCI WŁASNE MACIERZY. = λ c (*) problem przybliżonego rozwiązania zagadnienia własnego dla operatorów w mechanice kwantowej
WEKTORY I WARTOŚCI WŁASNE MACIERZY Ac λ c (*) ( A λi) c nietrywialne rozwiązanie gdy det A λi problem przybliżonego rozwiązania zagadnienia własnego dla operatorów w mechanice kwantowej A - macierzowa
Bardziej szczegółowoWykład 4 Wybór najlepszej procedury. Estymacja parametrów re
Wykład 4 Wybór najlepszej procedury. Estymacja parametrów regresji z wykorzystaniem metody bootstrap. Wrocław, 22.03.2017r Wybór najlepszej procedury - podsumowanie Co nas interesuje przed przeprowadzeniem
Bardziej szczegółowoRozdział 5. Macierze. a 11 a a 1m a 21 a a 2m... a n1 a n2... a nm
Rozdział 5 Macierze Funkcję, która każdej parze liczb naturalnych (i,j) (i = 1,,n;j = 1,,m) przyporządkowuje dokładnie jedną liczbę a ij F, gdzie F = R lub F = C, nazywamy macierzą (rzeczywistą, gdy F
Bardziej szczegółowo