Metody uczenia z nadzorem kalibracja, dyskryminacja i klasyfikacja

Transkrypt

1 Metody uczenia z nadzorem kalibracja, dyskryminacja i klasyfikacja I. Stanimirova, M. Daszykowski i B. Walczak Zakład Chemometrii, Instytut Chemii, Uniwersytet Śląski, ul. Szkolna 9, Katowice WSTĘP TECHNIKI UCZENIA Z NADZOREM Techniki uczenia bez nadzoru mają na celu w oparciu o zbiór zmiennych objaśniających X ułatwić zidentyfikowanie grup obiektów o podobnych właściwościach lub ujawnienie próbek znacznie różniących się od pozostałych. Do typowych technik uczenia bez nadzoru należą: analiza czynników głównych (PCA) [], metoda poszukiwania projekcji (PP) [], samoorganizujące się mapy Kohonena (SOM) [,4] czy też techniki grupowania danych [5,6]. Techniki uczenia z nadzorem, zależnie od problemu badawczego, stosuje się do konstrukcji modelu kalibracyjnego, dyskryminacyjnego lub klasyfikacyjnego. Do budowy tychże modeli, w przeciwieństwie do technik uczenia bez nadzoru, używa się zbioru zmiennych objaśniających, X, i macierz zmiennych zależnych Y. Ogólnie, tego typu modele można przedstawić jako: ( X[ m, n] ) [ m, ] Y [ m, k ] = f + E k () gdzie, m i n to odpowiednio liczba próbek i zmiennych objaśniających, X, k to liczba zmiennych zależnych, Y, a E jest macierzą reszt, która wyraża błąd jaki popełnia się stosując model wyrażony równaniem. Model ten jest jedynie pewną aproksymacją prawdziwej zależności, lecz ta, ze względu na ograniczoną liczbę próbek jak i błąd pomiarowy, nie może być poznana. Pomimo tego, model, który jest wystarczająco precyzyjny, znajduje zastosowanie do przewidywania zmiennej lub zmiennych zależnych. W zależności od celu modelowania danych, tj. rodzaju informacji, jaka zawarta jest w Y, wyróżniamy dwie podstawowe strategie uczenia z nadzorem, a mianowicie, kalibrację i dyskryminację/klasyfikację (Rys. ). Zadaniem metod kalibracji jest konstrukcja modelu, który pozwoli ilościowo ocenić określoną własność lub własności, bazując na zbiorze zmiennych objaśniających. W chemii, typowym przykładem modeli kalibracyjnych są modele

2 pozwalające przewidzieć np. stężenie jednego lub wielu składników w próbkach na podstawie ich widm. Skonstruowany model kalibracyjny umożliwia zastąpienie drogich i czasochłonnych pomiarów zmiennych zależnych, Y, pomiarami tańszymi i szybszymi, X, a następnie w oparciu o X przewidzenie wartości zmiennych zależnych. Jednymi z bardziej popularnych technik kalibracyjnych są regresja wieloraka (MLR), regresja czynników głównych (PCR) i regresja częściowych najmniejszych kwadratów (PLS) [7,8]. n metody uczenia bez nadzoru X Eksploracja danych (np. PCA, grupowanie danych) m n X y Kalibracja (np. PCR, PLS) metody uczenia z nadzorem m n X y Dyskryminacja/klasyfikacja (np. LDA, SIMCA) m Rys. Graficzne przedstawienie różnic pomiędzy metodami uczenia bez nadzoru i z nadzorem. Techniki dyskryminacyjne i klasyfikacyjne tworzą drugą grupę metod uczenia z nadzorem [9]. Ich celem jest opracowanie reguł logicznych, które pozwolą na podstawie zbioru próbek treningowych, należących do a priori znanych grup, przewidzieć przynależność nowych próbek do określonych grup. Do najczęstszych problemów klasyfikacyjnych możemy zaliczyć np. badanie autentyczności produktów spożywczych czy farmaceutycznych na podstawie ich składu chemicznego. Produkty spożywcze dzieli się na grupy ze względu na miejsce ich pochodzenia, warunki klimatyczne uprawy, metodologię produkcji lub też ze względu na inne czynniki, które są czynnikami różnicującymi je, a które można powiązać ze składem chemicznym próbek. Do analizy składu chemicznego próbek można zastosować

3 wiele technik analitycznych, a ich wybór przeważnie podyktowany jest względami ekonomicznymi. Do takich technik możemy zaliczyć spektroskopię w bliskiej podczerwieni (NIR), która dostarcza zmiennych objaśniających często stosowanych do budowy modeli kalibracyjnych, dyskryminacyjnych i klasyfikacyjnych. W metodach dyskryminacji/klasyfikacji, macierz Y zawiera informację o przynależności danej próbki do jednej z kilku możliwych grup. Sposób wyrażania przynależności próbki do danej grupy zależy od stosowanej metody uczenia z nadzorem. Dokładniej to zagadnienie zostanie omówione w dalszej części rozdziału. Techniki mające na celu przypisanie próbek do określonych grup można podzielić na dwie kategorie, a mianowicie, metody dyskryminacyjne oraz metody modelowania indywidualnych grup. W metodach dyskryminacyjnych, (z ang. discriminant techniques, hard-modeling techniques) [0], przestrzeń zmiennych eksperymentalnych zostaje podzielona na kilka wykluczających się podprzestrzeni, których liczba jest równa liczbie grup w danych. Ze względu na położenie próbki w przestrzeni zmiennych objaśniających jest ona zawsze przypisana do jednej z grup. Na Rys. zademonstrowano podział przestrzeni dwóch zmiennych objaśniających na cztery grupy oraz przypisano dwie próbki do odpowiednich grup ze względu na wartości mierzonych parametrów próbek. Próbka pierwsza została przypisana do grupy, a próbka do grupy (zob. Rys. a). W technikach modelowania indywidualnych grup (a ang. soft-modeling techniques, class-modeling techniques) model buduje się dla każdej grupy osobno. Zatem, nowa próbka może należeć do jednej z grup, do kilku z nich albo do żadnej (zob. Rys. b). a) b) próbka 4 4 próbka próbka nie należy do żadnej z grup przestrzeń zmiennych przestrzeń zmiennych Rys. Ilustracja różnić pomiędzy: a) technikami dyskryminacyjnymi, a b) technikami modelowania indywidualnych grup.

4 Z uwagi na metodę określania przynależności próbek wyróżniamy takie techniki dyskryminacyjne jak np., liniową analizę dyskryminacyjną (LDA) [], dyskryminacyjną metodę częściowych najmniejszych kwadratów (D-PLS) [7,8], drzewa klasyfikacji i regresji (CART) [], metodę k najbliższych sąsiadów (KNN), czy maszyny wektorów wspierających (SVM) [], oraz techniki modelowania indywidualnych grup, np. SIMCA [4], UNEQ [5] i M-CAIMAN [6] Techniki uczenia z nadzorem, możemy podzielić również, ze względu na rodzaj funkcji kosztów, na metody liniowe i nieliniowe. Niektóre z tych technik, jak np. PCR czy PLS, choć oryginalnie zostały zaproponowane by modelować liniowe zależności, mają swoje odpowiedniki stosowane do nieliniowych problemów kalibracyjnych i dyskryminacyjnych [7]. Przykładem bardzo ogólnych technik, jakich używa się do konstrukcji liniowych bądź nieliniowych modeli kalibracyjnych i/lub dyskryminacyjnych, są metody SVM i CART. Inny możliwy podział metod uczenia z nadzorem wynika z ich globalnego lub lokalnego charakteru. Metody globalne mają za zadanie skonstruować jeden model, który jest spełniony w całej domenie wyznaczonej przez zmienne objaśniające. W tym ujęciu metody takie jak MLR, PCR czy PLS są technikami globalnymi. Celem modeli lokalnych jest konstrukcja kilku modeli, które są poprawne w niektórych podprzestrzeniach zmiennych objaśniających. Do takich metod lokalnych możemy zaliczyć np. metodę lokalnie ważonej regresji (LWR) [8], sieci neuronowe z radialnymi funkcjami bazowymi [9] czy metodę częściowych najmniejszych kwadratów z radialnymi funkcjami bazowymi (RBF-PLS) [0]. Konstrukcja jakiegokolwiek modelu wymaga zdefiniowania celu modelowania, zaplanowania eksperymentu, dokonania pomiarów dla zbioru próbek, wyznaczenia parametrów modelu i oszacowania jego dokładności używając właściwą procedurę walidacji. Wiele czynników ma wpływ na jakość skonstruowanych modeli. Ponieważ wybór techniki modelowania zależy od rodzaju danych, dlatego do kolekcji omawianych metod włączyliśmy metody, które pozwalają objąć możliwie najwięcej aspektów modelowania danych. W tym rozdziale skupimy się na przedstawieniu technik modelowania z nadzorem i przedstawimy takie techniki jak MLR, PCR, PLS, LDA, CART i SIMCA. Wszystkie one, oprócz metody CART, należą do liniowych technik modelowania danych z nadzorem. Ich działanie zostanie omówione na przykładach symulowanych i eksperymentalnych danych chemicznych. 4

5 . METODY KALIBRACYJNE Dla przejrzystości prezentacji, zaczniemy od omówienia idei liniowej kalibracji, począwszy od kalibracji jednokrotnej. Następnie, wprowadzimy podstawowe założenia modelowania wielowymiarowych danych, w szczególności kładąc nacisk na metody regresji głównych składowych oraz regresji częściowych najmniejszych kwadratów, gdyż są one najczęściej stosowane w modelowaniu problemów chemicznych [7,8].. Regresja jednokrotna, wieloraka i wieloparametrowa Metoda liniowej regresji jednokrotnej prowadzi do konstrukcji najprostszego modelu kalibracyjnego. Można go wyrazić jako: y = + e () [ m,] b 0 + bx[ m,] [ m,] gdzie, b 0 i b to tzw. współczynniki regresji (wyraz wolny oraz współczynnik kierunkowy), a e to wektor reszt od modelu. Alternatywnie, równanie można przedstawić w zapisie wektorowo-macierzowym. Aby uwzględnić wyraz wolny, do kolumnowego wektora x po jego lewej stronie dodaje się wektor jedynek, przez co powstaje macierz X i wówczas: y = X b + e () T [ m,] [ m,] [,] [ m,] Taki model stosuje się na przykład, aby wyrazić liniową zależność absorbancji roztworu od stężenia danego składnika roztworu, w którym on występuje, mierzonej przy określonej długości fali. Opisanie tej zależności wymaga, aby sygnał pochodzący od danego komponentu nie nakładał się z sygnałami innych komponentów próbki. Na Rys. przedstawiono zbiór 0 widm UV-VIS roztworów, zarejestrowanych w zakresie nm co nm, w których stężenia oznaczanego składnika mieściły się w zakresie,8 6, mg dm -. Maksimum absorpcji analitu znajduje się przy 58 nm (Rys. a). Jak pokazuje Rys. b pomiędzy zbiorem stężeń składnika w badanych 0 próbkach, a odpowiadającymi im wartościami absorbancji, które odczytano dla 58 nm, istnieje stosunkowo silna dodatnia korelacja. 5

6 a) c) absorbancja absorbancja b) długość fali [nm] 0.9 d) stężenie absorbancja reszty od modelu stężenie indeks próbki Rys. a) Dwadzieścia widm UV-VIS roztworów zarejestrowanych w zakresie nm co nm, b) wartości stężeń analitu w próbkach względem absorpcji odczytanej dla 58 nm, c) model jednokrotnej regresji oraz d) wartości reszt od modelu regresji. Zależność ta jest liniowa, a jej wyznaczenie sprowadza się do znalezienia takich współczynników regresji, dla których prosta trendu najlepiej opisze punkty na wykresie, co obrazuje Rys. c. Jest to możliwe, gdy suma kwadratów różnic, czyli reszt pomiędzy znanymi wartościami stężeń, a tymi przewidzianymi na postawie modelu, będzie minimalna. Ten warunek nazywany jest kryterium najmniejszych kwadratów. Współczynniki regresji oblicza się wedle wzoru: b T T [ n,] ( X[ n, m] X[ m, n] ) X[ n, m] y[ m,] = (4) Rys. d przedstawia wartości reszt od modelu, wyrażającego zależność stężenia analitów od absorbancji, czyli różnice pomiędzy wartościami obserwowanymi, a przewidzianymi na podstawie modelu. 6

7 e i ( y yˆ ) = (5) i i Modele regresji jednokrotnej można przedstawić graficznie na dwa sposoby: rysując stężenia analitów, y i, względem odpowiadających im absorbancji, x i, lub względem wartości stężeń przewidzianych stosując dany model, ŷ i. W przypadku modeli, konstruowanych dla wielu zmiennych X, jedynie drugi sposób graficznej prezentacji modelu jest możliwy. O dopasowaniu modelu do danych eksperymentalnych mówią reszty od modelu, a suma ich kwadratów jest minimalna. Najczęściej stosowaną miarą dopasowania modelu do danych eksperymentalnych jest średni błąd kwadratowy zbioru modelowego, RMSEC, (z ang. root mean square error of calibration), wyrażany jako: m ( y i yˆ i ) RMSEC = / m (6) i= Jeśli wybór zmiennej, jaka ma posłużyć do konstrukcji modelu nie jest oczywisty, np. nie istnieje selektywna długość fali, lub jedna zmienna nie wystarcza, aby w granicach akceptowalnego błędu opisać modelowaną własność, wówczas jednokrotny model regresyjny będzie charakteryzował się złym dopasowaniem do danych oraz złym przewidywaniem dla nowych próbek. Z problemem wyboru selektywnej długości fali najczęściej spotykamy się w kalibracji w oparciu o widma z bliskiej podczerwieni. Do ilustracji tego zagadnienia użyjemy zbiór 69 próbek śruty rzepakowej, których widma zarejestrowano w zakresie spektralnym od 00 do 500 nm (zob. Rys. 4a), a następnie w tych próbkach, zgodnie z obowiązującymi normami oznaczono całkowitą zawartość tłuszczy metodą referencyjną. Naszym zadaniem będzie konstrukcja modelu kalibracyjnego, który pozwoli opisać całkowitą zawartość tłuszczy w próbkach w oparciu o ich widma NIR. Wiadomo, iż tłuszcze wykazują dużą absorpcję przy 740 nm oraz 00 nm (pasmo charakterystyczne dla kwasu stearynowego). Zatem, jak można przypuszczać, powinna istnieć liniowa relacja pomiędzy reflektancją, zmierzoną przy wspomnianych długościach fal, a całkowitym stężeniem tłuszczy w badanych próbkach. 7

8 a) 0 x c) log(/r) 6 5 stężenie b) długość fali [mn] log(/r) x stężenie log(/r) x 0 6 Rys. 4 a) Zbiór widm z bliskiej podczerwieni 69 próbek śruty rzepakowej; zależność całkowitego stężenia tłuszczy w próbkach (wyrażonego w procentach w przeliczeniu na suchą masę próbki) od reflektancji, R, wyrażonej jako log(/r), zmierzonej przy: b) 740 nm i c) 00 nm. Niestety, jak pokazują Rys. 4b i c, takie zależności nie istnieją. Powodem tego jest silne nakładanie się pasm absorpcyjnych w widmach rejestrowanych w obszarze bliskiej podczerwieni. Zdecydowanie lepsze wyniki modelowania dla tego typu danych można uzyskać, jeśli model regresji uwzględnia kilka, odpowiednio wybranych, zmiennych. W tym przypadku do jego konstrukcji stosuje się metodę wielorakiej regresji, MLR (z ang. multiple linear regression) [59], a współczynniki regresji modelu otrzymywane są również metodą najmniejszych kwadratów (zob. równanie 4). Model regresji wielorakiej wyraża równanie. Bardziej ogólną metodą niż regresja wieloraka jest metoda regresji, w której modeluje się wiele zmiennych zależnych równocześnie. Wówczas, aby przedstawić ten model, wystarczy w równaniu zastąpić wektor y, macierzą zmiennych zależnych Y, wektor b, macierzą, B, której kolumny tworzą współczynniki regresji dla każdej modelowanej własności (poszczególne kolumny Y), a wektor reszt od modelu, e, macierzą reszt, E. W tym miejscu, powinniśmy rozważyć, kiedy konstrukcja współczynników regresji modelu MLR jest możliwa. Jeśli macierz X tworzy wiele parametrów, to równanie 4 nie zawsze ma 8

9 rozwiązanie. Aby wyznaczyć macierz odwrotną (X T X) - koniecznym warunkiem jest, aby parametry macierzy X nie były skorelowane (zależne). Zgodnie z regułami algebry liniowej, macierz odwrotna (X T X) - nie istnieje, jeśli liczba parametrów w macierzy jest większa niż liczba próbek, ponieważ wyznacznik tej macierzy jest równy zero []. Najczęstszym sposobem przezwyciężenia tego problemu jest użycie do konstrukcji modelu kilku niezależnych zmiennych, których liczba jest mniejsza niż liczba obiektów. Jeśli równanie 4 ma rozwiązanie, tzn. gdy liczba próbek przewyższa liczbę zmiennych, należy pamiętać, że obecność w danych skorelowanych zmiennych znacznie osłabia stabilność współczynników regresji. W konsekwencji, model charakteryzuje się bardzo złymi własnościami predykcyjnymi dla nowych próbek, a doskonałym dopasowaniem do zbioru modelowego. To właśnie ze względu na problem korelacji zmiennych, w chemii, metoda MLR w swym podstawowym wariancie ma bardzo ograniczone zastosowanie, gdyż przeważnie dane chemiczne zawierają wiele skorelowanych zmiennych. Najczęściej stosowanym wariantem metody MLR do danych zawierających skorelowane zmienne jest metoda regresji krokowej [], gdzie zmienne dobierane są tak, by nie były zależne, a zarazem w najlepszy sposób modelowały daną własność. Powróćmy jednak do modelowania zawartości tłuszczy w śrucie rzepakowej w oparciu o ich widma NIR. Tym razem, założymy, iż model kalibracyjny powinien zawierać więcej niż jedną zmienną. Równocześnie uwzględnimy założenia metody MLR, a zmienne, jakich użyjemy do konstrukcji modelu, nie będą zależne. Bez wnikania w szczegóły procedury wyboru zmiennych, stosując metodę regresji krokowej wybraliśmy pięć zmiennych, które posłużyły do konstrukcji modelu MLR, który przedstawiono na Rys. 5. Dla tych zmiennych wartości reflektancji, R, wyrażonej jako log(/r), zmierzono odpowiednio przy 78, 74, 700, 4 oraz 704 nm. Całkowite stężenie kwasów tłuszczowych w badanych próbkach wyraża ważona suma pięciu reflektancji, co można opisać następującym wzorem: ŷ = b 0 +b log(/r 78 )+b log(/r 74 )+b log(/r 700 )+b 4 log(/r 4 )+b 5 log(/r 704 ) (7) gdzie, ŷ to całkowite stężenie tłuszczy w badanych próbkach przewidziane na podstawie modelu MLR. Współczynniki regresji tego modelu wynoszą: b 0 = 5,65, b = 6,09 0-5, b = -5,6 0-5, b = -,06 0-4, b 4 = -, i b 5 = 9, Wartości współczynników regresji mówią o wadze danej zmiennej w konstrukcji modelu, a ich znak o pozytywnym bądź negatywnym charakterze korelacji ze zmienną zależną. 9

10 0 9 stężenie przewidziane stężenie obserwowane Rys. 5 Model MLR skonstruowany dla pięciu zmiennych (reflektancje zmierzone przy 78, 74, 700, 4 oraz 704 nm) - całkowita przewidziana zawartość tłuszczy (wyrażona w procentach w przeliczeniu na suchą masę próbki) względem obserwowanego całkowitego stężenia tłuszczy w próbkach śruty rzepakowej.. Metody kalibracyjne oparte na ukrytych zmiennych Jak wspomnieliśmy wcześniej, konieczność pracy z dużą liczbą skorelowanych zmiennych powoduje, iż w chemii, modele MLR mają ograniczone zastosowanie. Głównymi metodami stosowanymi do konstrukcji liniowych modeli kalibracyjnych, które radzą sobie ze skorelowanymi zmiennymi, są metody regresji czynników głównych (PCR, z ang. principal component regression) oraz metoda częściowych najmniejszych kwadratów (PLS, z ang. partial least squares) [7,8]. W tych metodach problem modelowania skorelowanych zmiennych został przezwyciężony poprzez zastąpienie ich kilkoma nowymi zmiennymi, tzw. zmiennymi ukrytymi, które są ortogonalne. Owe nowe zmienne, w zależności od metody regresji są inaczej konstruowane... Regresja czynników głównych Koncepcyjnie, metoda PCR jest najprostszą spośród innych technik, w których do konstrukcji modelu kalibracyjnego używa się ukrytych zmiennych i dlatego od niej zaczniemy prezentację. W metodzie PCR do budowy modelu zamiast oryginalnych zmiennych używa się czynników głównych. Czynniki główne konstruowane są iteracyjnie poprzez dekompozycję wyjściowej macierzy danych, X, do macierzy wyników, T, oraz macierzy wag, P, i maksymalizują opis 0

11 wariancji danych. Sposób ich konstrukcji dokładnie omówiono w rozdziale Analiza czynników głównych i inne metody eksploracji danych. Ogólnie, model PCR o f czynnikach, który pozwala na przewidzenie zmiennych zależnych możemy przedstawić jako: X = T P + E (8) T [ m, n] [ m, f ] [ f, n] [ m, n] T [ m, k ] T[ m, f ] Q[ f, k ] G[ m, k] Y = + (9) gdzie współczynniki regresji modelu, Q, wyznacza się metodą najmniejszych kwadratów: Q T T ( T[ f, m] T[ m, f ] ) T[ f, m] Y[ m, ] = (0) [ f, k ] k Porównując równania 4 i 0 możemy zaobserwować, że Q to współczynniki regresji z równania 4, które oblicza się w przestrzeni czynników głównych. Schematycznie, model PCR przedstawiono na Rys. 6. Czynniki główne użyte do konstrukcji modelu PCR są ortogonalne. Ta własność zapewnia, że można wyznaczyć współczynniki regresji metodą najmniejszych kwadratów, gdyż istnieje macierz odwrotna (T T T) -. Dodatkowo, wybór kilku pierwszych czynników głównych do konstrukcji modelu umożliwia redukcję części błędu eksperymentalnego danych X. Liczba kolumn macierzy T, czyli liczba czynników głównych użytych do konstrukcji modelu, określa jego kompleksowość. Macierze E i G zawierają część wariancji X oraz Y, jaka nie została opisana przez model. Model PCR, wyrażony równaniami 8 i 9, jest stosunkowo trudny w interpretacji, ponieważ poszczególne czynniki główne są liniową kombinacją oryginalnych zmiennych. O wiele bardziej interesująca jest informacja na temat wkładu oryginalnych zmiennych do konstrukcji modelu. Współczynniki regresji Q, mówiące o wkładach poszczególnych czynników głównych, przekształca się tak, aby otrzymać informacje o wadze oryginalnych zmiennych, zgodnie z następującym równaniem: B Y [ n, k] [ m, k] = P = X [ n, f ] Q [ m, n] [ f, k ] B [ n, k] + G [ m, k] ()

12 gdzie G to macierz reszt od modelu. X n tworzenie ortogonalnych zmiennych metodą PCA T f f P T n m k m Y Ŷ k = T f f Q T k m konstrukcja modelu kalibracyjnego używając T Rys. 6 Schematyczne przedstawienie idei konstrukcji modelu PCR. Pomimo swych cennych zalet metoda PCR ma także pewne ograniczenie. Kilka pierwszych czynników głównych, które dobrze modelują wariancję X, nie zawsze wykazują dobrą korelację z Y. Ten problem został rozwiązany przez Wolda i Martensa, którzy zaproponowali metodę częściowych najmniejszych kwadratów, znaną także pod nazwą projekcje na zmienne ukryte (z ang. projections to latent structures) [8]... Regresja częściowych najmniejszych kwadratów Zadaniem metody PLS, podobnie jak i PCR, jest konstrukcja modelu kalibracyjnego w oparciu o kilka ukrytych zmiennych [7,8]. W PLS ukryte zmienne tworzone są jednak inaczej niż w PCR. W trakcie ich konstrukcji bierze się pod uwagę trzy aspekty, a mianowicie, ukryte zmienne są tak tworzone, aby:. dobrze opisywały wariancję X,. dobrze opisywały wariancję Y oraz. uwzględniały zależność pomiędzy X, a Y.

13 Innymi słowy, informacja zawarta w Y jest aktywnie używana do konstrukcji ukrytych zmiennych, aby te najlepiej opisywały kowariancję pomiędzy X, a Y. Należy jednak podkreślić, iż ukryte zmienne konstruowane w PLS nie są czynnikami głównymi. Najbardziej ogólnym modelem PLS jest model PLS-, który wyjaśnia zależność pomiędzy X, a blokiem kilku zmiennych zależnych Y: X = T P + E () T [ m, n] [ m, f ] [ f, n] [ m, n] T [ m, k ] U[ m, f ] H[ f, k ] G[ m, k ] Y = + () gdzie, E to macierz reszt od modelu, która zawiera nieopisaną informację X przez model o f czynnikach, U i H to odpowiednio macierze wyników i wag bloku zmiennych zależnych, a G to macierz reszt zawierająca nieopisaną część wariancji bloku zmiennych zależnych Y. Schematycznie ideę metody PLS- przedstawiono na Rys. 7. Najczęściej stosowany wariant PLS, gdzie modeluje się jedną zmienną zależną (PLS-) jest szczególnym przypadkiem PLS-. W trakcie konstrukcji modelu, dla zmiennych macierzy X uzyskuje się macierze wyników, T, wag, P, oraz macierz tak zwanych wag PLS, W. Interpretacja macierzy wyników i wag jest analogiczna jak w PCA. Także w PLS, macierz wag zawiera informację o zależności pomiędzy wynikami, a oryginalnymi zmiennymi macierzy X. Z kolei wagi PLS opisują relację, jaka istnieje pomiędzy Y, a oryginalnymi zmiennymi. Często kolejne wektory wag, p, oraz wag PLS, w, są do siebie bardzo podobne, co oznacza, że dany czynnik jest równie ważny do modelowania X oraz Y. Dla macierzy zmiennych zależnych również otrzymujemy zestaw macierzy wyników, U, oraz wag, H, gdzie wagi H wiążą T i Y. Wkłady poszczególnych zmiennych do modelowania Y określają ich współczynniki regresji, B. W każdej kolumnie macierzy B znajdują się współczynniki regresji dla każdej z k modelowanych własności: B Y [ n, k] [ m, k ] = W = X [ n, f ] [ m, n] T ( P W ) B [ f, n] [ n, k ] + F [ n, f ] [ m, k ] H T [ f, k] (4)

14 n f f k X T U Y m m f P T f Q T f W T Rys. 7 Zestawy ukrytych zmiennych tworzone w metodzie PLS. Choć zdecydowanie częściej konstruuje się modele PLS- to należy również zwrócić uwagę na własności modeli PLS-. Mianowicie, PLS- jest wypadkowym modelem, gdyż objaśnia wszystkie zmienne Y równocześnie. Model PLS-, zbudowany dla określonej liczby czynników, rzadko pozwala uzyskać optymalne wyniki modelowania dla wszystkich zmiennych zależnych. Nic nie stoi na przeszkodzie, aby skonstruować indywidualne modele PLS- dla każdej zmiennej zależnej osobno, co często prowadzi do dużo lepszych modeli. Można również konstruować model PLS- z różną liczbą czynników dla każdej zmiennej zależnej. Wyraźne korzyści stosowania modelu PLS- można zaobserwować jedynie, gdy pomiędzy zmiennymi Y istnieje stosunkowo silna korelacja.. Wstępne przygotowanie danych przed konstrukcją modeli kalibracyjnych Dane używane do konstrukcji modelu kalibracyjnego często wymagają wstępnego przygotowania. Ponieważ większość technik wstępnego przygotowania danych już została omówiona w rozdziale Analiza czynników głównych i inne metody eksploracji danych, dlatego teraz jedynie wymienimy te najczęściej stosowane w kalibracji. Wybór danej techniki nie jest oczywisty i zależy od rodzaju danych. Zazwyczaj, stosuje się różne techniki wstępnego przygotowania danych, a odpowiedź na pytanie czy daną technikę należy użyć można uzyskać dopiero po walidacji skonstruowanego modelu. Wśród wielu metod wstępnego przygotowania danych znajdują się techniki pozwalające na polepszenie stosunku sygnału do szumu [], specyficzne transformacje danych (np. SNV 4

15 [4]), których zadaniem jest eliminacja niekorzystnych efektów fizycznych, jakie obserwuje się podczas pomiaru widm (np. rozpraszanie promieniowania elektromagnetycznego) oraz metody filtrowania danych, np. [5,6]..4 Kolejne etapy konstrukcji modeli kalibracyjnych.4. Wybór próbek do zbioru modelowego Do konstrukcji modelu kalibracyjnego konieczny jest odpowiednio liczny zbiór próbek. Zbiór ten będziemy nazywali zbiorem modelowym. Aby zapewnić dobre zdolności predykcyjne modelu, zbiór modelowy powinien zawierać próbki, reprezentujące wszystkie możliwe źródła wariancji. Innymi słowy, należy mieć pewność, iż próbki zbioru modelowego dokładnie pokrywają całą domenę kalibracyjną. Jeśli reprezentatywność zbioru modelowego nie jest zapewniona to powstaje ryzyko ekstrapolacji lub interpolacji modelu, co nie jest wskazane. Reprezentatywność zbioru modelowego można zapewnić na ogół na dwa sposoby. Pierwszy sposób polega na odpowiednim zaplanowaniu eksperymentu, co wiąże się z przygotowaniem serii próbek o określonej charakterystyce. W tym celu można posłużyć się technikami planowania eksperymentu [7]. W niektórych sytuacjach, np. wówczas, gdy obiektem badań są próbki naturalne lub środowiskowe, użycie technik planowania eksperymentu jest niemożliwe. Jako drugie podejście pozostaje wybór reprezentatywnych próbek z zestawu tych dostępnych. Wybór ten ułatwiają algorytmy Kennarda i Stona [8] oraz jego modyfikacje [9,0]. Próbki wybrane do zbioru modelowego mają w przestrzeni eksperymentalnej rozkład zbliżony do rozkładu równomiernego, co zapewnia możliwie najlepszą reprezentatywność zbioru modelowego. Metody wyboru próbek są używane, gdy ich ilość jest odpowiednio duża, ponieważ zbiór modelowy powinien zawierać zdecydowanie więcej próbek niż zbiór testowy. Zazwyczaj przyjmuje się, iż zbiór modelowy powinno tworzyć pomiędzy 70%, a 75% całkowitej liczby dostępnych próbek. Algorytm Kennarda i Stona i algorytm duplex W celu zilustrowania działania algorytmu Kennarda i Stona oraz algorytmu duplex posłużymy się symulowanym zbiorem 0 próbek w dwuwymiarowej przestrzeni. W obu algorytmach, jako miarę podobieństwa pomiędzy próbkami przyjmuje się odległość 5

16 euklidesową. Najpierw, do zbioru modelowego ( ) jako pierwszą wybiera się najbardziej reprezentatywną próbkę. Jest to próbka nr, położona najbliżej arytmetycznego środka danych (zob. Rys. 8a). Numery na Rys. 8a to kolejność, w której próbki były włączane do zbioru modelowego. Kolejną próbką dodaną do zbioru modelowego jest próbka, która znajduje się najdalej od pierwszej (próbka nr ). Jako trzecią próbkę, do zbioru modelowego włącza się próbkę położoną najdalej od tych już wybranych (próbka nr ). W tym celu oblicza się odległości euklidesowe pomiędzy m-k próbkami, a każdą próbką zbioru modelowego i wyznacza minimalne odległości. Następnie, na podstawie tych odległości wybiera się próbkę najbardziej odległą od próbek zbioru modelowego i włącza się ją do zbioru modelowego. Wybór kolejnych próbek do zbioru modelowego jest kontynuowany do momentu, gdy wybierzemy ich określoną liczbę. Na Rys. 8a możemy zauważyć, iż wybrane próbki do zbioru modelowego reprezentują możliwie wszystkie źródła wariancji i są równomiernie rozłożone w przestrzeni pomiarowej. W omawianym przykładzie do zbioru modelowego wybrano 4 próbek, co stanowiło 70% całkowitej ich ilości. Pozostałe próbki utworzyły zbiór testowy oznaczony na Rys. 8 jako ( ). W odróżnieniu od algorytmu Kennarda i Stona, algorytm duplex ma na celu zapewnić reprezentatywność zbioru modelowego i testowego. Na początku, znajduje się dwie próbki najbardziej od siebie oddalone i włącza je do zbioru modelowego. Są to próbki i (zob. Rys. 8b). W kolejnym kroku poszukuje się innej pary próbek, które są od siebie najbardziej oddalone (próbki i 4) i dodaje się je do zbioru testowego. Następnie, na przemian, wybiera się próbki do zbioru modelowego i testowego, poszukując próbek najbardziej odległych w stosunku do próbek zbioru modelowego i testowego stosując takie samo kryterium wyboru jak w algorytmie Kennarda i Stona. Na przykład, próbki 5 i 6 są kolejnymi włączonymi odpowiednio do zbioru modelowego i testowego. Procedurę kontynuuje się, aż określona liczba próbek znajdzie się w zbiorze testowym. Pozostałe próbki, jakich nie wybrano, są dodane do zbioru modelowego. 6

17 a) b) zmienna zmienna zmienna zmienna Rys. 8 Kolejność wyboru próbek do zbioru modelowego ( ) i testowego ( ) stosując: a) algorytm Kennarda i Stona oraz b) algorytm duplex..4. Wybór metody kalibracyjnej Oprócz omawianych metod istnieje wiele innych liniowych technik kalibracji []. Jednakże, ze względu na silną korelację zmiennych, w zdecydowanej większości problemów chemicznych, stosuje się metody PCR i PLS. Niewątpliwie przewagą PLS nad PCR jest uwzględnienie na etapie konstrukcji ukrytych zmiennych korelacji pomiędzy zbiorem zmiennych X, a Y. To powoduje, że modele PLS zazwyczaj pozwalają osiągnąć mniejsze błędy przewidywania dla nowych próbek w porównaniu do modeli PCR [] i/lub modele są bardziej stabilne ze względu na mniejszą liczbę czynników użytych do ich konstrukcji. Modelowanie kilku zmiennych zależnych wymaga rozważenia dwóch opcji:. konstrukcja indywidualnych modeli dla każdej zmiennej zależnej lub. konstrukcja modelu dla wszystkich zmiennych zależnych równocześnie. Jeżeli pomiędzy zmiennymi zależnymi istnieje stosunkowo silna korelacja, wówczas model PLS- może dać lepsze wyniki niż PLS-. 7

18 .4. Wybór kompleksowości modeli kalibracyjnych Kolejnym ważnym etapem konstrukcji modelu kalibracyjnego jest wybór odpowiedniej liczby czynników do jego budowy. Modele zbudowane w oparciu o zbyt mało czynników są źle dopasowane do danych, co wyraża się dużymi resztami od modelu dla próbek zbioru modelowego. Z drugiej strony, modele o zbyt dużej liczbie czynników, charakteryzują się małym błędem dla obiektów zbioru modelowego, lecz jeśli model użyty jest w celach predykcyjnych dla nowych próbek, wówczas błąd przewidywania jest bardzo duży. Takie modele nazywa się przeuczonymi. W skrajnym przypadku, jeśli do konstrukcji modelu zostanie użyta maksymalna liczba czynników, to jego błąd dopasowania będzie równy zero, a jego moc predykcyjna będzie fatalna. Z tego właśnie powodu, wybór liczby czynników do budowy modelu nie może opierać się na analizie RMSEC jako funkcji liczby czynników, a musi uwzględniać zdolności predykcyjne modelu. Wybór optymalnej liczby czynników do konstrukcji modelu pozwala na osiągnięcie kompromisu pomiędzy zadowalającym dopasowaniem modelu do danych, a dobrymi własnościami predykcyjnymi. Typowe wykresy błędów dopasowania modelu do danych oraz błędu przewidywania dla próbek zbioru testowego w zależności od ilości czynników w modelu przedstawia Rys. 9. błąd dopasowania i przewidywania modelu liczba czynników w modelu Rys. 9 Przykładowy wykres przedstawiający zależności pomiędzy błędem dopasowania modelu do zbioru modelowego (- -), a błędem przewidywania dla próbek zbioru testowego (- -) dla modeli o coraz większej liczbie czynników. 8

19 W zależności od ilości dostępnych próbek, istnieją dwa sposoby wyboru optymalnej liczby czynników do konstrukcji modelu i oceny jego zdolności predykcyjnych. Pierwszy sposób polega na podzieleniu zbioru dostępnych próbek na trzy zbiory:. zbiór modelowy (służący do konstrukcji modelu),. zbiór monitoringowy (służący do wyboru optymalnej kompleksowości modelu) oraz. zbiór testowy (służący do końcowej oceny mocy predykcyjnej modelu z optymalną liczbą czynników). Jednakże ten sposób, z uwagi na zazwyczaj ograniczoną liczbę dostępnych próbek, jest rzadko stosowany. Inną możliwością wyboru optymalnej liczby czynników do konstrukcji modelu jak i jego późniejszej walidacji jest podział dostępnych próbek na dwa zbiory: modelowy i testowy. W celu wyboru optymalnej liczby czynników do konstrukcji modelu stosuje się techniki kroswalidacji [7,8]. W metodach kroswalidacji, iteracyjnie dzieli się zbiór modelowy na zbiór służący do konstrukcji modelu i tzw. zbiór walidacyjny. Ze względu na sposób tworzenia grup walidacyjnych wyróżniamy kroswalidację typu wyrzuć k próbek oraz kroswalidację Monte-Carlo []. W wariancie kroswalidacji wyrzuć k próbek, tworzy się p zbiorów walidacyjnych, z których każdy zawiera k próbek. Próbki te wybierane są z macierzy X losowo bez powtórzeń. Dla tychże próbek określa się zdolności predykcyjne modeli, zbudowanych dla m-k próbek, o coraz większej liczbie czynników, aby wybrać ich optymalną liczbę do konstrukcji końcowego modelu. Najprostszym wariantem tego typu kroswalidacji jest kroswalidacja wyrzuć jeden obiekt (z ang. leave-one-out crossvalidation), której idee schematycznie przedstawiono na Rys. 0. W kroswalidacji Monte-Carlo, p razy losowo dzieli się zbiór próbek na dwa, włączając za każdym razem do zbioru walidacyjnego k próbek, których liczba najczęściej mieści się w przedziale pomiędzy 0%, a 50% całkowitej liczby próbek w danych. Bez względu na wariant użytej kroswalidacji, dla próbek zbioru walidacyjnego gromadzi się ich reszty od każdego modelu o danej liczbie czynników. Następnie, na ich podstawie oblicza się średni błąd kwadratowy kroswalidacji, RMSECV (z ang. root mean square error of cross validation): 9

20 n RMSECV ( f ) = ( yi yˆ i ( f )) (5) pn i= gdzie ˆ ( f ) to wartości zmiennej zależnej przewidziane na podstawie modelu o f czynnikach y i dla i-tej próbki, a p to liczba grup walidacyjnych lub liczba iteracji w kroswalidacji Monte- Carlo. = e X model... x e ŷ e f b,,..., f e e =... x ŷ... e f X model m. X model n b,,..., f e e =... x... m ŷ m. b,,..., f... e f. Rys. 0 Ilustracja koncepcji metody kroswalidacji typu wyrzuć jeden obiekt. Ze wszystkich wariantów kroswalidacji, najczęściej stosuje się kroswalidację typu wyrzuć jeden obiekt. Wybór liczby czynników do konstrukcji modeli w oparciu o kroswalidację typu wyrzuć n obiektów lub Monte-Carlo zmniejsza ryzyko przeuczenia modeli, ale obie techniki wymagają więcej próbek. W skrajnym przypadku, gdy liczba próbek jest bardzo mała, metody kroswalidacji wykorzystuje się zarówno do wyznaczenia kompleksowości modeli jak i do oszacowania błędu przewidywania. 0

21 Wybór optymalnej kompleksowości modelu nie jest prostym zadaniem. Oprócz wspomnianych sposobów oceny kompleksowości modelu istnieją także inne, a samo zagadnienie do dnia dzisiejszego nie zostało definitywnie rozwiązane [4,5,6]..4.4 Testowanie modeli kalibracyjnych Poprzez walidację modelu kalibracyjnego rozumie się ocenę jego zdolności predykcyjnych dla zbioru próbek, który nie był użyty do jego konstrukcji. Zazwyczaj, zbiór testowy powstaje w wyniku wyboru próbek do zbioru modelowego i testowego np. metodą Kennarda i Stona [8] lub algorytmem duplex [9]. Choć algorytm duplex wydaje się być najtrafniejszym wyborem, to, jeśli w danych występują obiekty odległe, wówczas powinniśmy stosować algorytm Kennarda i Stona, który zapewni, iż do zbioru modelowego zostaną wybrane wszystkie obiekty odległe. Wtedy, stosując stabilne metody regresji [7,8,9] możliwa jest konstrukcja modelu kalibracyjnego, opisującego poprawnie większość danych i skuteczna diagnostyka obiektów odległych. Błąd przewidywania dla próbek zbioru modelowego określa średni błąd kwadratowy, RMSEP: w RMSEP ( f ) = ( yi yˆ i ( f )) (6) w i= gdzie, w to liczba próbek w zbiorze testowym..5 Kiedy model kalibracyjny jest dobry, a kiedy zły? Poprawnie skonstruowany model kalibracyjny powinien charakteryzować się porównywalnymi błędami dopasowania, kroswalidacji oraz przewidywania dla próbek zbioru testowego. Duże różnice pomiędzy tymi wartościami wskazują na potencjalne problemy w modelowaniu i wymagają odnalezienia przyczyn takiego stanu rzeczy. Wymieńmy kilka oznak świadczących o tym, że zbudowany model może nie być odpowiedni:. duży błąd dopasowania modelu do zbioru modelowego, powyżej limitu akceptowanego dla danego problemu kalibracyjnego,

22 . duże wartości reszt od modeli o coraz większej liczbie czynników,. duży błąd przewidywania dla próbek zbioru testowego. Do najczęstszych czynników, jakie mogą mieć znaczący wpływ na model kalibracyjny możemy zaliczyć:. obecność tzw. złych obiektów odległych,. brak reprezentatywności zbioru modelowego,. niejednorodność struktury danych (grupy obiektów), 4. niewłaściwa walidacja modelu, 5. niewłaściwe przygotowanie danych przed konstrukcją modelu kalibracyjnego, 6. duże błędy systematyczne w X i/lub Y, 7. niewłaściwe przygotowanie próbek podczas eksperymentu, 8. nieoptymalna kompleksowość modelu, 9. niewystarczająca informacja w X, aby wymodelować Y, 0. brak liniowej zależności, pomiędzy X, a Y..6 Konstrukcja modeli kalibracyjnych PLS- w praktyce Modele PLS- są najczęściej stosowane do modelowania danych chemicznych i dlatego skupimy się na ich. Główne etapy ich konstrukcji przedstawimy na przykładzie dwóch zestawów eksperymentalnych danych..6. Zbiory danych użyte do konstrukcji modeli PLS- Dane tworzy 69 widm z bliskiej podczerwieni, jakie zarejestrowano dla próbek śruty rzepakowej w zakresie nm. Dla każdej z próbek oznaczono całkowitą zawartość kwasów tłuszczowych, którą wyrażono w procentach w przeliczeniu na suchą masę próbki. Dokładny opis danych jak i eksperymentu przedstawiono w [40]. Dane tworzy zbiór 97 widm z bliskiej podczerwieni próbek wątroby wieprzowej. W próbkach oznaczono całkowitą zawartość tłuszczy, którą wyrażono w procentach w przeliczeniu na suchą masę próbki. Widma zarejestrowano w zakresie 00 nm do 950 nm. Próbki wątroby pobrano od zwierząt, które hodowano stosując trzy rodzaje pasz [4].

23 .6. Krok - wstępna eksploracja danych Przed przystąpieniem do kalibracji należy dokładnie poznać strukturę danych. Ocenie poddaje się obiekty macierzy X oraz jej zmienne. Jeśli dane tworzą sygnały instrumentalne, wizualnie analizuje się poziom szumu i linii bazowej w sygnałach. Przed przystąpieniem do konstrukcji modelu kalibracyjnego, w zależności od rodzaju modelowanych danych mogą one wymagać odmiennego przygotowania. Specyficzną grupę technik wstępnego przygotowania danych stanowią techniki stosowane do przygotowania sygnałów instrumentalnych, np. widm z bliskiej podczerwieni. W przypadku danych, których zmienne w macierzy X to różne pomiary, wówczas bierze się pod uwagę procedurę autoskalowania lub, jeśli to konieczne - transformację logarytmiczną. Na Rys. przedstawiono widma NIR danych i wraz z odpowiadającymi histogramami ich zmiennych zależnych. Analizując oryginalne widma próbek danych możemy zaobserwować cztery próbki, których widma znacznie różnią się od pozostałych. Ponadto, dość duży rozrzut widm w stosunku do siebie może być spowodowany niekorzystnymi zmianami intensywności odbitego promieniowania elektromagnetycznego z zakresu bliskiej podczerwieni na skutek jego rozpraszania na powierzchni badanych próbek. Z tego powodu uzyskane widma są mniej lub bardziej intensywne, ale nie ma to bezpośredniego związku z zawartością analitu w próbce. Na efekty rozpraszania wiązki promieniowania elektromagnetycznego mają głównie wpływ rozdrobienie próbki jak i jej powierzchnia. Najczęściej ten efekt można zniwelować transformując widma metodą SNV [4]. Na Rys. b i c oraz e i f, odpowiednio dla danych i pokazano widma NIR przed i po transformacji SNV. Dla omawianych zestawów danych możemy uznać, że transformacja SNV jest konieczna, gdyż po niej wariancja widm zdecydowanie zmniejsza się. Oryginalne widma charakteryzują się prawie niezauważalnym poziomem szumu, dlatego nie ma potrzeby jego redukcji.

24 a) 0 d) ilość zliczeń 5 ilość zliczeń b) całkowita zawartość tłuszczy x e) całkowita zawartość tłuszczy x log(/r) log(/r).5 c) długość fali [mn] f) długość fali [mn].5 log(/r) po SNV log(/r) po SNV długość fali [mn] długość fali [mn] Rys. a) Histogram wartości zmiennej zależnej danych (całkowita zawartość tłuszczy w próbkach wyrażona w procentach w przeliczeniu na suchą masę próbki), b) zbiór widm 69 próbek śruty rzepakowej zarejestrowanych w zakresie spektralnym od 00 nm do 500 nm z krokiem nm, c) zbiór tych widm do transformacji SNV, d) histogram wartości zmiennej zależnej danych (całkowita zawartość tłuszczy w próbkach wyrażona w procentach w przeliczeniu na suchą masę próbki), e) zbiór widm 97 próbek wątroby wieprzowej zarejestrowanych w zakresie spektralnym od 00 nm do 950 nm z krokiem nm oraz f) zbiór widm próbek wątroby wieprzowej po transformacji SNV. Następnie, stosując metodę PCA zwizualizujemy strukturę danych X, w celu oceny stopnia ich jednorodności. Dla pierwszego zestawu danych, płaszczyzna zdefiniowana przez pierwsze dwa czynniki główne pozwala na uwidocznienie ponad 9% całkowitej wariancji danych (zob. Rys. a). 4

25 a) 0.8 b) PC - 9,46% PC - 4,7% PC - 8,8% PC - 85,80% Rys. Projekcja próbek na przestrzeń zdefiniowaną przez dwa pierwsze czynniki główne dla: a) danych oraz b) danych (każdą grupę próbek oznaczono innym symbolem, ze względu na rodzaj podawanej zwierzętom paszy). Dane nie mają jednorodnej struktury. Wzdłuż pierwszego czynnika głównego dwie próbki nr 9 i są wyraźnie daleko od pozostałych. Dla próbki nr 9 całkowita zawartość tłuszczy jest najmniejsza, a próbka ta jest także daleko w przestrzeni X. Próbka ma wartość zmiennej zależnej bliską wartości średniej stężeń i jest ona jedynie odległa w przestrzeni X. Ze względu na swoją odmienność od pozostałych próbek w przestrzeni X oraz y próbka 9 może być uznana jako obiekt odległy. Dopóki nie sprawdzimy, jaki wywiera ona wpływ na model, dopóty nie możemy odpowiedzieć na pytanie czy jest dobrym czy złym obiektem odległym. Złe obiekty odległe bardzo silnie wpływają na model, całkowicie zmieniając jego dopasowanie do danych i zdolności predykcyjne. Natomiast tzw. dobre obiekty odległe poszerzają zakres kalibracyjny oraz dodatkowo stabilizują model i dlatego ich usunięcie ze zbioru modelowego nie jest pożądane. Istnieją dwa rodzaje podejść do modelowania danych zawierających obiekty odległe. Pierwszy zakłada ich detekcje i eliminację, a następnie konstrukcję modelu stosując klasyczne techniki kalibracji. Alternatywą jest użycie tzw. stabilnych metod kalibracyjnych, które pozwalają na konstrukcję poprawnych modeli, dobrze opisujących większości danych nawet, gdy zbiór modelowy zawiera obiekty odległe [7]. Do tej pory, w literaturze zaproponowano kilka wersji stabilnych modeli PCR i PLS [4,4,44], z czego metoda zaproponowana w [45] wydaje się być najbardziej efektywna. Jeśli skupimy się jedynie na klasycznej metodzie PLS to ustalenie czy próbka 9 jest dobrym obiektem odległym wymaga zbudowania dwóch modeli kalibracyjnych - dla zbioru modelowego z tą próbką i bez niej. Jeśli jej obecność w zbiorze 5

26 modelowym nie wpływa znacznie na błąd dopasowania modelu, wówczas powinniśmy ją uwzględnić w jego budowie i traktować jako dobry obiekt odległy. Diagnostyka obiektów odległych jest możliwa jedynie na podstawie reszt od stabilnego modelu kalibracyjnego [4]. Wówczas reszty dla takich próbek od stabilnego modelu będą bardzo duże, co pozwoli na ich odróżnienie od pozostałych próbek. Dla klasycznych modeli, złe obiekty odległe na tyle silnie zmieniają model, iż głównie opisuje on obiekty odległe, a co za tym idzie dla takich próbek reszty od modelu są bardzo małe, a dla pozostałych duże. W dalszej części rozdziału powrócimy do dyskusji tego zagadnienia i jednoznacznie odpowiemy czy próbki 9 i są dobrymi czy złymi obiektami odległymi. Na etapie eksploracji zbioru danych mamy jedynie przypuszczenie, iż ewentualnie złe dopasowanie modelu do danych może być wynikiem obecności obiektów odległych w przestrzeni X i/lub y. Dane o niejednorodnej strukturze, np. dane zawierające wyraźne grupy próbek, mogą sprawiać trudności w trakcie konstrukcji modelu. Wówczas, jeden globalny model kalibracyjny nie pozwoli na efektywne modelowanie danych i dlatego należy rozważyć konieczność konstrukcji lokalnych modeli (dla każdej grupy próbek osobno). Właśnie z taką sytuacją możemy mieć do czynienia modelując dane, gdyż na projekcji próbek na przestrzeń pierwszego i trzeciego czynnika głównego widoczne są trzy grupy próbek (zob. Rys. b). Ich obecność można wytłumaczyć zmianami w profilu stężeniowym tłuszczy w wątrobie wieprzowej na skutek stosowania różnych pasz. Próbki z każdej grupy zostały oznaczone innym symbolem. Po wstępnej eksploracji danych możemy przystąpić do kolejnych etapów konstrukcji modelu..6. Krok - wybór próbek do zbioru modelowego i wybór liczby czynników do modelu W większości przypadków wybór próbek do zbioru modelowego przeprowadzamy mając na uwadze, że powinny one równomiernie wypełniać domenę kalibracyjną. Ten etap kalibracji jest bardzo ważny, gdyż reprezentatywność próbek zbioru modelowego determinuje zakres stosowalności skonstruowanego modelu. Jeśli to tylko możliwe, to powinniśmy planować eksperyment, co w pełni zapewni reprezentatywność zbioru modelowego. Jednakże nie zawsze jest to możliwe, np. pracując z próbkami biologicznymi czy naturalnymi nie ma możliwości kontrolowania ich źródeł wariancji. Wówczas wybieramy do zbioru modelowego próbki zakładając ich możliwie równomierny rozkład, co zapewnia użycie algorytmu Kennarda i Stona oraz algorytmu duplex. 6

27 Przeważnie, do konstrukcji modelu kalibracyjnego używa się ok % wszystkich próbek, a pozostałe tworzą zbiór testowy, stosowany do oceny własności predykcyjnych modelu. Jeśli dane wymagają wstępnego przygotowania, to próbki do zbioru modelowego wybiera się z danych po transformacji. Teraz, zilustrujemy jak wybór próbek wpływa na własności predykcyjne modeli, wybierając próbki losowo (ok. 75% całkowitej liczby próbek), a potem algorytmem Kennarda i Stona. Wyniki modelowania porównamy w oparciu o krzywe błędów kroswalidacji typu wyrzuć jeden obiekt dla modeli skonstruowanych w oparciu o zbiory modelowe utworzone dwoma w/w sposobami. Jak pokazują krzywe błędów kroswalidacji typu wyrzuć jeden obiekt, wybór obiektów do zbioru modelowego wywiera wpływ na własności predykcyjne modeli (zob. Rys. ). Równocześnie, jeśli próbki do zbioru modelowego wybrano tak, aby równomiernie wypełniały domenę kalibracyjną, oszacowanie kompleksowości modeli na podstawie krzywych kroswalidacyjnych wydaje się być łatwiejsze. W przypadku danych, krzywa pozwala stwierdzić, iż model powinien zawierać 4 czynniki, a dla danych, 5 czynników (zob. Rys. b i e). Kroswalidacja typu wyrzuć jeden obiekt może prowadzić do wyboru zbyt wielu czynników do konstrukcji modelu, czyniąc go przeuczonym. Innymi wariantami kroswalidacji są kroswalidacja typu wyrzuć więcej obiektów lub kroswalidacja Monte- Carlo. Na Rys. c i f przedstawiono krzywe kroswalidacyjne uzyskane dla danych i. Dla danych, w każdym kroku kroswalidacji zbiór modelowy zawierał próbki, a zbiór walidacyjny losowo wybrane 6 próbek. Prezentowane wartości RMSECV są średnią z 500 powtórzeń. Dla danych, w każdym kroku kroswalidacji do zbioru modelowego losowo wybrano 7 próbki, a do zbioru walidacyjnego 0 próbek. Wyniki RMSECV są średnią z 500 powtórzeń. Uzyskane krzywe błędów kroswalidacji typu wyrzuć jeden obiekt i metody Monte-Carlo dla omawianych danych pozwalają wyciągnąć te same wnioski co do optymalnej liczby czynników w modelu. Do konstrukcji końcowego modelu PLS- dla danych użyto cztery czynniki, a dla danych, pięć. 7

28 a) d) RMSECV RMSECV b) liczba czynników w modelu.4 e) liczba czynników w modelu RMSECV 0.8 RMSECV c) liczba czynników w modelu.4 f) liczba czynników w modelu RMSECV RMSECV liczba czynników w modelu liczba czynników w modelu Rys. Krzywe kroswalidacyjne typu wyrzuć jeden obiekt dla zbioru modelowego danych, który zawierał 5 próbki wybrane z 69 próbek: a) losowo, b) stosując algorytm Kennarda i Stona; c) krzywa kroswalidacyjna Monte-Carlo (do zbioru walidacyjnego wybierano 500 razy losowo 6 z 5 próbek zbioru modelowego). Krzywe kroswalidacyjne typu wyrzuć jeden obiekt dla zbioru modelowego danych, który zawierał 7 próbki wybrane z 97 próbek: d) losowo, e) stosując algorytm Kennarda i Stona; f) krzywa kroswalidacyjna Monte-Carlo (do zbioru walidacyjnego wybierano 500 razy losowo 0 z 7 próbek zbioru modelowego)..6.4 Krok ocena skonstruowanych modeli kalibracyjnych Do najczęściej stosowanych sposobów wizualnej oceny modeli służą wykresy wartości przewidzianej zmiennej zależnej, ŷ, względem y eksperymentalnego oraz prezentowane w różnej formie wykresy reszt od modelu. Na Rys. 4a oraz d przedstawiono zależność ŷ przewidzianego na podstawie modeli PLS od y obserwowanego odpowiednio dla danych i. Próbki zbioru modelowego oznaczono jako ( ), a próbki zbioru testowego jako ( ). W przypadku dobrych modeli kalibracyjnych, zarówno próbki zbioru modelowego jak i testowego powinny być rozmieszczone symetrycznie wzdłuż prostej o jednostkowym nachyleniu. Prosta obrazuje idealną zależność, dla której różnice pomiędzy obserwowanymi 8

29 wartościami zmiennej zależnej, a tymi przewidzianymi na podstawie modelu wynoszą zero. Jednocześnie oczekuje się, iż wartości reszt dla próbek zbioru modelowego jak i testowego będą porównywalne, co gwarantuje zbliżone wartości błędów RMSEC i RMSEP modelu. Rozkład reszt od modelu, dla obu zbiorów próbek powinien być zbliżony do normalnego. a) 0 d).4 zawartość tłuszczy przewidziana zawartość tłuszczy przewidziana zawartość tłuszczy obserwowana zawartość tłuszczy obserwowana b) wartości reszt od modelu e) wartości reszt od modelu c) wartości reszt od modelu indeks próbki f) wartości reszt od modelu indeks próbki kolejne próbki kolejne próbki Rys. 4 a) Model PLS-, przedstawiony jako całkowita przewidziana zawartość tłuszczy w próbkach śruty rzepakowej (dane ), wyrażonej w procentach w przeliczeniu na suchą masę próbki, względem oznaczonej zawartość tłuszczy w próbkach, b) wykres słupkowy reszt od tego modelu oraz c) wykres słupkowy reszt próbek od tego modelu, na którym uszeregowano je względem rosnącej zawartości tłuszczy w próbkach; d) model PLS- przedstawiony jako całkowita przewidziana zawartość tłuszczy w próbkach wątroby wieprzowej (dane ), wyrażonej w procentach w przeliczeniu na suchą masę próbki, względem oznaczonej zawartość tłuszczy w próbkach, e) wykres słupkowy reszt tego modelu oraz f) wykres słupkowy reszt próbek od modelu, na którym uszeregowano je względem rosnącej zawartości tłuszczy w próbkach. 9

30 Jeśli dla próbek, których wartości zmiennej zależnej są małe i reszty od modelu są również małe, a dla próbek, których zmienna zależna ma duże wartości, a reszty od modelu też są duże, możemy przypuszczać, iż mamy do czynienia z błędem proporcjonalnym do mierzonego sygnału, lub stężenia danego składnika w próbce. W takim przypadku należy rozważyć logarytmiczną transformację danych. Natomiast, jeśli reszty próbek od modelu, uszeregowane od najmniejszej do największej wartości zmiennej zależnej, wykazują nieliniowy trend wówczas zależność pomiędzy X, a y jest nieliniowa. W przypadku modelowanych danych i żaden z wymienionych problemów nie ma miejsca, co potwierdza analiza Rys. 4b i c oraz 4e i f. Na Rys. 4b widzimy, że model charakteryzuje się stosunkowo małymi wartościami reszt od modelu, dla obu zbiorów próbek. Błędy, jakie uzyskano dla modelu o czterech czynnikach wynoszą dla zbioru modelowego 0,0, a dla testowego, 0,988, co stanowi odpowiednio,4% i,6% zakresu zmiennej zależnej zbioru modelowego. W górnej części wykresu widzimy dwie próbki, dla których wartości y są relatywnie duże (zob. Rys. 4a). Są to wcześniej wspomniane próbki 9 i. Jednakże nie wywierają one znacznego wpływu na model, gdyż wartości błędów dopasowania i przewidywania modelu są porównywalne z błędami modelu skonstruowanego dla zbioru modelowego bez tych próbek. Próbki 9 i możemy uważać za dobre obiekty odległe, które poszerzają zakres stosowalności modelu i pozwalają przewidywać całkowitą zawartość tłuszczy w próbkach w zakresie od % do około 0,5%. W przypadku modelu zbudowanego w oparciu o widma NIR próbek wątroby wieprzowej (dane ), model jest gorszy, niż model dla danych. W porównaniu do zakresu pomiarowego y rozrzut reszt od modelu próbek zbiorów modelowego i testowego jest stosunkowo duży. Należy jednak podkreślić, iż rozrzut ten jest wciąż symetryczny. Uzyskane błędy dla zbiorów modelowego i testowego wynoszą odpowiednio 0,0906 i 0,0980 (8,7% i 9,4% zakresu zmiennej zależnej zbioru modelowego). Konstrukcja modeli dla indywidualnych grup próbek niestety nie prowadzi do polepszenia wyników modelowania. Porównując skonstruowane modele na podstawie ich błędów odniesionych do zakresu zmienności y zbioru modelowego możemy stwierdzić, że model PLS dla danych charakteryzuje się lepszym dopasowaniem do danych jak i umożliwia lepsze przewidywanie zmiennej zależnej dla nowych próbek. Stosunkowo pomocne w wykryciu próbek, które mają duży wpływ na model, są tzw. mapy przedstawiające kwadraty wartości reszt od modeli z różną liczbą czynników dla próbek zbioru modelowego (zob. Rys. 5). 0

31 a) 8.97 b) indeks próbki liczba czynników w modelu indeks próbki liczba czynników w modelu Rys. 5 Mapy przedstawiające kwadraty reszt od modeli PLS- uzyskane stosując procedurę kroswalidacji wyrzuć jeden obiekt dla próbek zbioru modelowego: a) danych i b) danych. Mapy te skonstruowano dla dwóch zbiorów modelowych omawianych danych. Wartości reszt uzyskuje się na drodze kroswalidacji np. typu wyrzuć jeden obiekt. Wyraźną tendencją, którą obserwuje się włączając kolejne czynniki do budowy modelu, jest zmniejszanie się wartości reszt od modelu, co widzimy na mapach dla konstruowanych modeli prezentowanych na Rys. 5. Na ogół, ze wzrostem kompleksowości modelu całkowity procent opisanej wariancji danych przez kolejne czynniki modelu, zarówno w X jak i w y, sukcesywnie rośnie (zob. Rys. 6). Modele PLS- z optymalną liczbą czynników pozwoliły opisać ponad 95% całkowitej wariancji danych w X oraz ponad 95% zmienności y dla danych, a w przypadku danych, za pomocą pięcioczynnikowego modelu opisano ponad 95% całkowitej wariancji w X i prawie 80% całkowitej zmienności y. Choć dla modeli o bardzo małej liczbie czynników z łatwością można wyróżnić obiekty o dużych wartościach kwadratów reszt, to dla modeli o optymalnej liczbie czynników te wartości są porównywalne z innymi. Każde dane eksperymentalne są obarczone błędem pomiarowym, którego natura jest inna dla pomiarów w X, jak i Y. Jeśli macierz X tworzą np. widma odbiciowe NIR, to na ich jakość mają bezpośredni wpływ takie czynniki jak sposób pobierania próbek, ich przechowywanie, upakowanie próbki w kuwecie, stopień rozdrobienia próbki, temperatura w trakcie prowadzenia pomiaru, itp. Wszystkie one są możliwymi źródłami wariancji. W przypadku modelowania kilku zmiennych zależnych równocześnie, każdą z nich uzyskuje się zazwyczaj poprzez indywidualne pomiary stosując różne techniki referencyjne, obarczone własnym