ESTYMACJA PARAMETRÓW FUNKCJI REGRESJI METODĄ KLASYCZNĄ ORAZ METODAMI BOOTSTRAPOWYMI**

Transkrypt

1 Góricwo i Geoiżyieria Rok 30 Zeszy 3/ 006 Dariusz Foszcz* ESTYMACJA PARAMETRÓW FUNKCJI REGRESJI METODĄ KLASYCZNĄ ORAZ METODAMI BOOTSTRAPOWYMI**. Wsęp W zmieiającej się rzeczywisości przebiegu procesów echologiczych coraz częściej klasycze meody saysycze ie wysarczają do precyzyjego opracowaia i prezeowaia wyików różego ypu badań. Koiecze saje się korzysaie z meod, kóre odchodzą od klasyczych założeń modelu saysyczego, ograiczających zakres ich zasosowaia. Sięgać musimy zaem do ieklasyczych meod saysyczych a, w szczególości do wioskowaia ieparameryczego (ieparameryczej esymacji paramerów i charakerysyk fukcyjych rozkładu czy eż esów ieparameryczych), kóre z jedej sroy, pozwala a weryfikację założeń meod parameryczych, z drugiej aomias, przy iespełioych założeiach uławia zalezieie wielu iych możliwych podejść. Coraz szersze zasosowaie meod saysyczych w opisie i oceie procesów echologiczych wyika z rozwoju saysyki oraz możliwości obliczeiowych kompuerów i opracowywaych programów saysyczych. Tworzoe są programy od uiwersalych pakieów saysyczych po programy specjalisycze. Powierdzeiem ego jes zauważaly posęp w rozwoju eorii ych meod. Nie do pomiięcia jes koieczość sosowaia saysyki w koroli jakości. Opracowywae owe ormy jakości oraz zrewidowae sare ormy zawierają wskazówki jakie arzędzia i echiki ależy i moża sosować do zrealizowaia kokreych zadań projakościowych. W przeróbce surowców mieralych meody saysycze sosuje się przy aalizie efeków prac eksperymealych, kórych główymi celami są ocea wzbogacalości surowca i możliwości jej poprawy oraz iformacje o przebiegu procesów przeróbczych pod kąem określeia czyików, dających ajlepsze rezulay przy daym sposobie wzbogacaia. Meody saysycze sosowae są rówież w badaiach mechaizmu zjawisk zacho- * Wydział Góricwa i Geoiżyierii, Akademia Góriczo-Huicza, Kraków ** Arykuł jes wyikiem realizacji pracy sauowej AGH r

2 dzących w procesach przeróbczych oraz w poszukiwaiach opymalych waruków przebiegu procesu. Opracowaie wyików eksperymeu czyego lub bierego odbywa się poprzez zasosowaie odpowiedich meod saysyczych []. Opymalie dobrae meody saysycze sosowae w ych zagadieiach zosały adopowae adekwaie do porzeb. Sosowae meody posiadają iesey pewe wady. Do główych wad i urudień w sosowaiu ych meod, kóre moża określić ermiem klasyczych, ależy zaliczyć wysępujące założeia ograiczające możliwości ich zasosowaia. Sąd eż pojawiło się szerokie zaieresowaie esami pozwalającymi a sprawdzeie spełieia akich założeń w daym badaiu empiryczym lub worzeiem iych meod wioskowaia saysyczego, w kórych założeia e ie wysępują. Coraz większe zaporzebowaie a meody saysycze charakeryzujące się sosukowo ieliczymi i iekłopoliwymi założeiami ograiczającymi zakres ich sosowaia spowodowało powsaie meod określaych miaem ieklasyczych meod saysyczych. Podsawą iiejszego arykułu jes próba adapacji ieklasyczych meod saysyczych (boosrapowych) w problemayce esymacji paramerów modeli sochasyczych. Przeróbka surowców mieralych iżyieria mierala, ak jak każda iżyieria echicza podlega ciągłemu rozwojowi i doskoaleiu swoich echologii. Rozwijające się bardzo iesywie echiki kosrukcji urządzeń korolo-pomiarowych oraz wchodząca do przemysłu kompuerowa echika zbieraia i przewarzaia daych worzy dobre podsawy do doskoaleia modeli maemayczych przemysłowych układów echologiczych wzbogacaia różych surowców. Modelowaie maemaycze procesów przemysłowych rozpoczęo od rówań regresji, kóre opare były o założeie, że w okolicach zw. puku pracy, zależości pomiędzy wskaźikami ocey przebiegu procesu a wielkościami (zmieymi echologiczymi) wpływającymi a jego warość mogą być liearyzowae, lub geeralie, przedsawioe w posaci wielomiau. Nasępym eapem były próby worzeia posaci regresyjych modeli w oparciu o pewe przesłaki eoreycze oraz zwróceie uwagi a orgaizację daych w czasie (opóźieia rasporowe i masowe), czyli podzieloo modele a saycze i dyamicze. To zdecydowało o sosowaiu korelacyjej eorii procesów sochasyczych oraz eorii procesów Markowa. Nasępym eapem sosowaia modeli maemayczych w przeróbce były modele dyskree uwzględiające krok próbkowaia i opóźieia czasowe. Ogólie biorąc, są o modele ypu ARMAX uwzględiające człoy związae ze średią ruchomą (MA) oraz człoy związae z wielkościami egzogeymi (X) w różych kombiacjach.. Podsawy eoreycze Meody aalizy regresji używae są ajczęściej w Saysyce a porzeby opisu kszałowaia się poziomu pewego zjawiska w czasie, jak i a podsawie pobieraych z populacji geeralej prób losowych [3]. Jeżeli pomiędzy dwoma zmieymi losowymi (cechami saysyczymi ilościowymi) isieje zależość korelacyja i jedą ze zmieych y możemy uzać za zależą, a drugą x za iezależą, o moża próbować sformułować zależość fukcyją, kóra przedsawia- 68

3 łaby warość y w zależości od warości x i pewej dodakowej zmieej losowej ξ, kóra reprezeuje losową zmieość zmieej y i jes iezależa od x y = f( x, ξ ) gdzie: y zmiea objaśiaa (zależa), x zmiea objaśiająca (iezależa), ξ składik losowy, f posać fukcji zależości. Jeżeli warość zmieej y zależy od warości wielu zmieych iezależych x, x,..., x k, mówimy o regresji wielowymiarowej (wielorakiej). Regresja wielowymiarowa doyczy badaia wpływu wielu zmieych objaśiających a zmieą objaśiaą. Badaie akie może doyczyć zmieych losowych o iezaym, jedak zakładaym rozkładzie ormalym lub zmieych kórych warości pochodzą z szeregów czasowych. W obu przypadkach możliwe jes przeprowadzaie aalizy regresji. Jak moża się spodziewać e rodzaj aalizy jes rudiejszy iż w przypadku regresji jedowymiarowej, bowiem w przypadku kilku już zmieych objaśiających szybkich obliczeń moża dokoywać jedyie przy pomocy kompuerów. Model w przypadku regresji wielowymiarowej moża zapisać w posaci y f x x x k = (,,...,, ξ ) W przypadku, gdy fukcja f z powyższej zależości jes fukcją liiową, model przyjmuje posać y =α 0 +α x α kxk +ξ gdzie: y zmiea objaśiaa, x, x,..., x k zmiee objaśiające, ξ składik losowy, α, α,..., α k warości paramerów fukcji regresji (paramery modelu). Warości paramerów fukcji regresji a ogół ie są zae i do ich dokładego wyzaczeia porzeba byłaby zajomość rozkładów warości zmieej y dla wszyskich możliwych zesawów warości zmieych x, x,..., x k. Model regresji moża akże zapisać w posaci macierzowej jako y = X α+ξ 69

4 gdzie: y y y = wekor warości (realizacji) zmieej objaśiaej,... y α0 α α = wekor warości paramerów modelu,... α k x x... x k x x... x k X = macierz warości zmieych objaśiających, x x... xk ξ ξ ξ= wekor warości składika losowego.... ξ W ogólym przypadku k zmieych dla modelu regresji liiowej w posaci macierzowej 70 y = Xa+ e oraz yˆ = Xa z meody ajmiejszych kwadraów wyika, że ocey paramerów modelu (realizacje esymaorów w próbie) moża wyzaczyć jako T ( ) T a = X X X y Jeżeli spełioe są założeia modelu regresji liiowej, o esymaory paramerów rówaia regresji orzymae meodą ajmiejszych kwadraów (MNK-esymaory) są zgode, ieobciążoe i ajbardziej efekywe w klasie esymaorów liiowych (Twierdzeie Gaussa- -Markowa). Dla jedej zmieej objaśiające wzory macierzowe przyjmują posać: T ( X X ) xi xi i= i= = x x i x i i i= i= i= yi T i= Xy = xiyi i=

5 Miarą przecięej wielkości błędu dopasowaia jes wariacja reszowa, kóra jes oceą wariacji składika losowego S T e = ee = ei ( + ) ( + ) i k k =, aomias przecięy błąd szacuku parameru j jes rówy Sa ( ) = S( X X ) T j e j+, j+ Elemey pod pierwiaskiem są kolejymi elemeami główej przekąej zw. macierzy kowariacji (macierzy wariacji i kowariacji) oce paramerów D a X X T ( ) = S e ( ) Średi względy błąd szacuku parameru j wyraża się wzorem Sa ( j ) a j Bardzo ważą częścią aalizy regresji, po oszacowaiu oce umeryczych paramerów modelu jes ocea zmieości zmieej objaśiaej Y spowodowaej zmieością zmieej objaśiającej X. Do ocey akiej służą współczyiki deermiacji i ideermiacji, kórych suma musi wyosić. Posługując się wzorem a wskaźik ideermiacji, iaczej zway wskaźikiem zbieżości, kórego warość powia być jak ajiższa. Wskaźik zbieżości poado, określa warość współczyika deermiacji, kóry day jes wzorem poiższym R = ϕ Wskaźik e iformuje jaki proce zmieości zmieej objaśiaej wyjaśioy zosał zmieością zmieej objaśiającej. W przypadku regresji liiowej, akże wielorakiej ależy przeprowadzić jeszcze kilka aaliz wchodzących w skład aalizy resz regresyjych powierdzających przydaość skosruowaego modelu w celach progosyczych. Współczyik deermiacji day jes w ym przypadku wzorem R T ei ee i= = = T y y y ( ) i= ( y y) i (określa, jaka część zmieości cechy zależej jes wyjaśioa zmieością cechy iezależej). 7

6 Oszacowae paramery oraz skosruoway model pozosaje jeszcze sprawdzić pod względem użyeczości bowiem ie każdy model adaje się do dalszego za jego pomocą wioskowaia saysyczego. Jak ierpreować oszacowae paramery modelu oraz, czy są oe saysyczie isoe. Oczywisym jes że ajpierw ależy odpowiedzieć a o drugie pyaie, iaczej ie będzie sesu udzielaia odpowiedzi a pyaie pierwsze. 3. Boosrapowa esymacja paramerów fukcji regresji Do esymacji paramerów fukcji regresji poza opisaymi już szeroko meodami klasyczymi możemy wykorzysać meody ieklasycze j. meody boosrapowe [4]. Boosrapowa esymacja pukowa paramerów fukcji regresji opara a esymaorach uzyskiwaych meodą ajmiejszych kwadraów (MNK). Niech day będzie model posaci (, ) y = f X β +ξ dla i =,..., i i i gdzie: y i realizacje zmieej objaśiaej (zależej), X i realizacja wekora zmieych objaśiających (iezależych), ξ i warość składika losowego dla i =,...,, β wekor iezaych paramerów. Model e opisuje zależość między zmieą Y i wekorem zmieych objaśiających X. Niech ˆβ będzie MNK-esymaorem parameru β lub warością ego esymaora. Oszacowaia warości składików losowych są wówczas określoe wzorem 7 (, ˆ) ξ ˆ = y f X β dla i =,..., i i i Zdefiiujemy rozkład posaci ( ˆ i ) P Z =ξ = dla i =,..., Według ego rozkładu geerujemy próbę boosrapową ( ˆ* ˆ* ) ξ,..., ξ, a asępie wo- * rzymy próbę (,..., * ), * Y Y kórej realizacjami są warości (,..., * ) (, ˆ ) y = f X β +ξ dla i =,..., * * i i i y y określoe wzorem * * Warości y,..., y wykorzysujemy do poowego oszacowaia meodą MNK parameru β.

7 Esymację przeprowadzamy dla modelu (, ) y = f X β +ξ % dla i =,..., * i i i gdzie ξ % i jes składikiem losowym w uworzoym modelu. ˆ* ˆ* ξ,..., ξ i wyzaczaia oszacowaia Przedsawioy schema geerowaia ciągów ( ) * * parameru β powarzamy N razy. W wyiku orzymujemy warości ( N ) β,...,, β kóre określają boosrapowy rozkład MNK-esymaora β ˆ. Na ich podsawie moża wyzaczyć hisogram, kóry graficzie przedsawi e rozkład. Jeżeli przez ˆβ * ozaczymy esymaor boosrapowy parameru β, o moża wykazać, że charakeryzuje się o asępującymi własościami * E ( β ˆ ) = βˆ i ( ˆ ) * T cov β =σ ˆ ( X X ) gdzie ˆβ jes warością MNK-esymaora parameru, oraz ( ) σ = y f X βˆ ˆ i i,. = i T β X = ( X,..., X ) 4. Oszacowaie fukcji regresji meodą klasyczą i boosrapową W celu ocey możliwości wykorzysaia ieklasyczych meod saysyczych w problemayce esymacji paramerów modeli sochasyczych przeprowadzoo obliczeia zależości fukcyjych pomiędzy uzyskiem i zawarością miedzi w adawie. Obliczeia przeprowadzoo dla średich miesięczych wyików echologiczych za rok 005 z Oddziału Zakłady Wzbogacaia Rud KGHM Polska Miedź SA Rejo Polkowice oraz Lubi. Esymację paramerów powyższej zależości meodą klasyczą MNK wykoao wykorzysując pakie saysyczy STATISTICA 6.0, zaś obliczeia meodyką boosrap przy użyciu arkusza kalkulacyjego. Na podsawie ych daych meodą ajmiejszych kwadraów, a asępie meodą boosrapową dokoywao oszacowaia paramerów modelu y = a + a x +ξ 0 gdzie: y uzysk miedzi ε, x zawarość miedzi w adawie α, a0, a oszacowywae paramerów modelu, ξ składik losowy. 73

8 Esymacja paramerów fukcji regresji meodą ajmiejszych kwadraów Esymację paramerów zależości uzysku od zawarości miedzi w adawie meodą klasyczą MNK wykoao wykorzysując pakie saysyczy STATISTICA 6.0. Wykresy zależości zmieej uzysku od zawarości miedzi w adawie dla O/ZWR Rejo Polkowice oraz Lubi przedsawioo a rysuku. Są oe pomoce w wyzaczaiu zależości fukcyjych pomiędzy zmieymi umożliwiając zorieowaie się o charakerze ej zależości []. a) b) Rys.. Zależość uzysku miedzi w koceracie od zawarości miedzi w adawie dla: a) O/ZWR Rejo Polkowice; b) O/ZWR Rejo Lubi 74

9 W abeli przedsawioo wyiki oszacowaia dla paramerów rówaia zależości uzysku od zawarości miedzi w adawie meodą klasyczą MNK. TABELA Wyiki esymacji paramerów zależości uzysku od zawarości miedzi w adawie meodą klasyczą MNK Podsumowaie regresji zmieej zależej: Uzysk ε R = 0,8674, F(,0) = 7,973, p < 0,0000, S r = 0,48 O/ZWR Rejo Polkowice a 0 wyraz woly B błąd sadardowy (0) poziom p 78,404,6 6,37 0, a 5,500 0,64 8,544 0, Podsumowaie regresji zmieej zależej: Uzysk ε R = 0,046, F(,0) = 0,483, p < 0,708, S r = 0,3844 O/ZWR Rejo Lubi a 0 wyraz woly B błąd sadardowy (0) poziom p 84,9 3,49 4,398 0,00000 a,069,78 0,385 0,7083 Uzyskao więc meodą MNK asępującą posać fukcji regresji: O/ZWR Rejo Polkowice y = 78, , 500x lub ε= 78, , 500α O/ZWR Rejo Lubi y = 84, 9+, 069x lub ε= 84, 9+, 069α Oszacowae zależość cechują się dla O/ZWR Rejo Polkowice wysoką warością R (86,74%) oraz isoością współczyika przy zmieej iezależej (zawarość miedzi w adawie α) a a akże dużą dokładością z uwagi a iską warość średiego odchyleia przecięego S r = 0,4. Dla O/ZWR Rejo Lubi ieisoość współczyika przy zmieej iezależej a oraz bardzo iska warość współczyika deermiacji R, jedyie średie 75

10 odchyleie przecięe S r rówe 0,38 możemy uzać za zadowalające (ależy jedak pamięać że a warość średiego odchyleia przecięego wyika z iewielkiego zakresu zmieości uzysku miedzi rys. b.). Uzyskae warości szacowaego rówaia dla O/ZWR Rejo Lubi powodują że ależy je uzać za ieisoe. Przyczyą są zw. odsające warości kóre zosały zazaczoe a rysuku b dla kórych uzyskao przy iskich warościach zawarości miedzi bardzo rozbieże warości uzysku. Powodem ych rozbieżości poza błędami ozaczeń, kóre ależy z uwagi a sosowae procedury wykluczyć zmiaa wzbogacalości przerabiaej rudy a skuek zmiay składu mieralogiczego. Z uwagi a fak iż ie samo zagadieie uzyskaia poprawego modelu było przedmioem iiejszych rozważań przeprowadzoo dalsze obliczeia oszacowaia paramerów modelu meodą boosrapową. Boosrapowa esymacja paramerów fukcji regresji Do oszacowaia paramerów modelu meodą boosrapową zasosowao opisaą procedurę, przyjmując liczbę szacowań N = 00. Uzyskae rezulay przedsawioo w abeli. TABELA Saysyka oszacowaych paramerów modelu meodą boosrapową 76 ważych Średia Miimum Maksimum Odchyleie sadardowe O/ZWR a 0 wyraz woly 00 78,566 74,53 8,79, Rejo Polkowice a 00 5,47 3,78 7,47 0,57 O/ZWR a 0 wyraz woly 00 84,755 73,9 95,05 3,03 Rejo Lubi a 00,75 7,0 9,83,4 Na rysukach i 3 przedsawioo zaś hisogramy rozkładów ych paramerów uzyskae a podsawie 00 boosrapowych repeycji. Oszacowaie paramerów modelu przy pomocy meody boosrap umożliwia szerszą aalizę porówawczą uzyskaych wyików. Wyika z iej że dla rówaia O/ZWR Rejo Polkowice uzyskao miejszą zmieość dla współczyików a i a 0. Z uwagi a brak isoości uzyskaego rówaia dla O/ZWR Rejo Lubi ie ma możliwości jego ierpreacji z uwagi a prowadzoy proces echologiczy a w szczególości porówaia z warościami uzyskaymi dla O/ZWR Rejo Polkowice. Uzyskaie poprawej zależości fukcyjej pomiędzy badaymi zmieymi umożliwia oceę wpływu wzrosu zawarości miedzi w adawie a warość uzysku. Z rówaia uzyskaego dla O/ZWR Rejo Polkowice wyika że wzros zawarości miedzi w adawie o 0,% powoduje wzros uzysku o 0,54%. Oczywiście a warość uzysku ma wpływ w główej mierze poprawie prowadzoy proces wzbogacaia, jedak z uzyskaego rówaia płyą pewe korzyści prakycze p. możliwość porówaia uzyskaych warości uzysku przy zmieej zawarości miedzi w adawie. Ma o miejsce w syuacji wprowadzaia zmia w prowadzoej echologii czy eż zasoso-

11 waia owych urządzeń i oceie o ile udało się dzięki emu poprawić skueczość prowadzoego procesu co mierzymy między iymi uzyskiem, kórego warość zgodie ze wzorem obliczamy przy pomocy właśie zawarości składika użyeczego w adawie. Rys.. Hisogramy rozkładu MNK-esymaora parameru a 0 modelu y = a0 + ax +ε dla O/ZWR Rejo Polkowice i O/ZWR Rejo Lubi Rys. 3. Hisogramy rozkładu MNK-esymaora parameru a modelu y = a0 + ax +ε dla O/ZWR Rejo Polkowice i O/ZWR Rejo Lubi 77

12 5. Wioski Nieklasycze meody saysycze, a w szczególości wioskowaie ieparamerycze (ieparamerycza esymacja paramerów i charakerysyk fukcyjych rozkładu czy eż esów ieparameryczych), pozwalają a weryfikację założeń meod parameryczych, a dodakowo przy iespełioych założeiach uławiają zalezieie wielu iych możliwych podejść. Meody boosrapowe pozwalają właśie wyzaczyć, ie ylko oszacowaia paramerów (w ym ich przedziały ufości), ale akże aproksymację rozkładów esymaorów zasosowaych do począkowej ocey ych paramerów p. ak jak w aalizowaym przypadku rozkładu MNK-esymaorów paramerów rozparywaej fukcji regresji. Możliwa saję się więc szersza aaliza uzyskaych wyików wyzaczoej zależości fukcyjej dla badaych paramerów. W aalizowaym przypadku może o być aaliza zmieości uzyskaej zależości pomiędzy uzyskiem a zawarością miedzi w adawie dla okresów miesięczych czy eż pomiędzy poszczególymi Rejoami Oddziału Zakłady Wzbogacaia Rud KGHM Polska Miedź SA. Problem wykorzysaia meod ieklasyczych w ym boosrapowych w oceie zależości fukcyjych paramerów, wymaga bardziej szczegółowej aalizy eoreyczej oraz rachukowej a większym maeriale obserwacyjym co będzie przedmioem dalszych prac. LITERATURA [] STATISTICA PL dla Widows. Ogóle kowecje i saysyki. T., SaSof 997 [] Tumidajski T.: Zasosowaie meod saysyczych w aalizie procesów przeróbki surowców mieralych. Kaowice, Śląskie Wyd. Tech. 993 [3] Gajek L., Kałuszka M.: Wioskowaie saysycze. Warszawa, WNT 994 [4] Domański Cz., Pruska K.: Nieklasycze meody saysycze. Warszawa, PWE