Walidacja metod badawczych i szacowanie niepewności pomiaru. Wojciech Hyk

Transkrypt

1 Walidacja metod badawczych i szacowanie niepewności pomiaru Wojciech Hyk wojhyk@chem.uw.edu.pl

2 Plan Zagadnienia poruszane na szkoleniu Wstęp do analizy statystycznej Walidacja metody badawczej / pomiarowej Strategie szacowania niepewności pomiaru

3 Sterowanie jakością badań Cel Doprowadzenie procesu analitycznego do stabilnego i akceptowalnego poziomu jakości, utrzymanie go na tym poziomie oraz zapewnienie spełnienia ustalonych wymagań dla danego badania (precyzja, dokładność itp.).

4 Sterowanie jakością badań Elementy postępowania Laboratorium opracowuje i dokumentuje program sterowania jakością badań dla każdego rodzaju badania (metoda, matryca). Działania: wewnętrzne sterowanie jakością prowadzenie, interpretacja kart kontrolnych walidacja metody badawczej nadzór nad wyposażeniem pomiarowym szacowanie niepewności pomiaru zewnętrzne sterowanie jakością udział w badaniach międzylaboratoryjnych aktualizacja metody

5 Testy statystyczne Wybrane testy statystyczne (zał.: rozkład normalny wyników) Problem Wykrywanie błędu grubego (wyniku odstającego) Wykrywanie błędu systematycznego stałego (bias) Wykrywanie błędu systematycznego proporcjonalnego (badanie istotności odzysku) Określanie poprawności Badanie istotności współczynników krzywej kalibracyjnej (nachylenia, przesunięcia, korelacji) Test statystyczny Test Dixona lub Grubbsa Test t-studenta: porównanie wartości średniej z wartością odniesienia (przyjętą za prawdziwą)

6 Testy statystyczne Wybrane testy statystyczne (zał.: rozkład normalny wyników) Problem Porównanie poprawności dwóch metod / analityków (jedna próbka analityczna) Ustalenie wartości normatywnej dla linii centralnej kolejnej karty na podstawie dwóch poprzednich kart kontrolnych Badanie odporności metody Test statystyczny Test t-studenta: porównanie dwóch wartości średnich

7 Testy statystyczne Wybrane testy statystyczne (zał.: rozkład normalny wyników) Problem Test statystyczny Porównanie precyzji dwóch metod / analityków Badanie jednorodności wariancji w wybranym zakresie roboczym Ustalenie wartości normatywnej dla linii kontrolnych kolejnej karty na podstawie dwóch poprzednich kart kontrolnych Test F

8 Walidacja metody Walidacja jest sprawdzeniem, które zapewnia, że charakterystyka działania metody jest zrozumiała i wykazaniem, że metoda jest poprawna pod względem naukowym w określonych warunkach stosowania.

9 Elementy walidacji metody Charakterystyka krzywej kalibracyjnej Granica wykrywalności i oznaczalności Selektywność Precyzja w warunkach powtarzalności lub odtwarzalności Obciążenie / poprawność Odporność Niepewność pomiaru

10 Proces walidacji metody badawczej Projekt eksperymentu: rodzaj próbki liczność serii warunki pomiaru dane archiwalne Narzędzia statystyczne: rozkłady statystyczne testy statystyczne regresja liniowa propagacja niepewności Interpretacja wyników: zestawienie z kryteriami akceptacji identyfikacja źródeł niepewności

11 Metoda analityczna Przygotowanie próbki Przygotowanie wzorców do konstrukcji krzywej kalibracyjnej Oznaczenie instrumentalne Krzywa kalibracyjna Zawartość analitu w próbce

12 Charakterystyka krzywej kalibracyjnej 1. Dobór zakresu roboczego (analitycznego) i wykonanie pomiarów 2. Ustalenie modelu regresji oraz założeń - wybór metody regresji liniowej 3. Badanie poprawności modelu 4. Oszacowanie parametrów regresji 5. Oszacowanie parametrów charakteryzujących metodę 6. Wykorzystanie krzywej kalibracyjnej (wzorcowej)

13 Charakterystyka krzywej kalibracyjnej 1. Dobór zakresu roboczego (analitycznego) Praktyczne wskazówki dotyczące przedmiotu analizy Techniczne możliwości wykonania analizy Liniowość sygnału Minimum 6 punktów w zakresie

14 Charakterystyka krzywej kalibracyjnej 2. Założenia Liniowa zależność między zmienną zależną (objaśnianą, sygnałem analitycznym odpowiedzią instrumentu, Y) a zmienną niezależną (objaśniającą, stężeniem analitu, X) Y = a X + b Nielosowość zmiennej niezależnej; jej wartości są ustalonymi liczbami rzeczywistymi u wzg (x i ) << u wzg (y i ) Jednorodność wariancji wartości zmiennej Y u(y) = const (niezależnie od numeru obserwacji)

15 Charakterystyka krzywej kalibracyjnej 2. Sprawdzenie jednorodności wariancji wartości zmiennej Y Wyznaczenie wariancji dla wszystkich punktów zakresu roboczego Testowanie: porównanie największej i najmniejszej wariancji - test F Snedecora (serie równoliczne) F eksp = s k2 / s j2 lub F eksp = s j2 / s 2 k (F eksp > 1) Porównanie z tablicową wartością dystrybuanty F kryt (P = 0.99) Decyzja: F eksp F kryt wariancje są jednorodne; można przejść do wyznaczenia współczynników równania regresji F eksp > F kryt wariancje nie są jednorodne; należy zmniejszyć zakres roboczy do momentu uzyskania jednorodności wariancji lub zastosować regresję ważoną

16 Charakterystyka krzywej kalibracyjnej 3. Badanie poprawności modelu Wyznaczanie współczynnika korelacji liniowej r < można podejrzewać występowanie funkcji nieliniowej Istotność współczynnika korelacji, t r, eksp = r / (1 r 2 ) 1/2 (n 2) 1/2 Testowanie istotności współczynnika korelacji porównanie z tablicową wartością dystrybuanty rozkładu t-studenta, t kryt (P = 0.95 i f = n 2). Korelacja istotna, gdy t r, eksp t kryt. Ocena dopasowania: analiza reszt d i = y i a x i b Dobre dopasowanie równomierny rozrzut reszt wokół 0.

17 Charakterystyka krzywej kalibracyjnej 4. Szacowanie parametrów modelu regresji (a, b) R.L.Z. (x i, y i ) R.L.W. (Y) (x i, y i, w i ) R.L.W. (X,Y) (x i, y i, W i )

18 Charakterystyka krzywej kalibracyjnej 4. Wyznaczenie współczynników prostoliniowej krzywej wzorcowej y = a x + b Wartości współczynników nachylenia (a) oraz przesunięcia (b) obowiązują tylko wewnątrz danego zakresu roboczego

19 Charakterystyka krzywej kalibracyjnej 4.1. Wyznaczenie współczynnika nachylenia, a Istotność współczynnika nachylenia funkcji: t a, eksp = a / s a Testowanie istotności współczynnika nachylenia porównanie z tablicową wartością dystrybuanty rozkładu t-studenta, t kryt (P = 0.95 i f = n 2) Decyzja: t a, eksp t kryt wsp. nachylenia jest istotny; można przejść do obliczania wsp. przesunięcia t a, eksp < t kryt metoda analityczna charakteryzuje się bardzo złą precyzją; można zastosować większą liczbę stężeń wzorcowych lub poszukać innej metody analitycznej Współczynnik a jest miarą czułości metody

20 Charakterystyka krzywej kalibracyjnej 4.2. Wyznaczenie współczynnika przesunięcia, b Istotność współczynnika przesunięcia funkcji: t b, eksp = b / s b Testowanie istotności współczynnika przesunięcia porównanie z tablicową wartością dystrybuanty rozkładu t-studenta, t kryt (P = 0.95 i f = n 2) Decyzja: t b, eksp t kryt wsp. przesunięcia jest istotny t b, eksp < t kryt wsp. przesunięcia jest równy zero

21 Charakterystyka krzywej kalibracyjnej 4.3. Porównanie krzywej kalibracyjnej obliczonej metodą regresji zwykłej (linia przerywana) i ważonej (linia ciągła)

22 Charakterystyka krzywej kalibracyjnej 5. Wyznaczenie zmienności metody badawczej (w przypadku zastosowania wariantu regresji liniowej zwykłej) Stosuje się w celu porównywania różnych metod analitycznych Charakteryzuje precyzję metody instrumentalnej Współczynnik zmienności metody, v m _ v m = (s m / x ) 100 % s m = s y/x / a v m 3 % - dobra precyzja metody (krzywej wzorcowej) v m > 3 % - słaba precyzja metody (krzywej wzorcowej) (zwiększyć liczbę wzorców oraz liczbę powtórzeń analiz wzorców)

23 Charakterystyka krzywej kalibracyjnej 6. Analiza próbki o nieznanej zawartości analitu Wykonywana w tych samych warunkach, w których konstruowana była krzywa wzorcowa

24 Charakterystyka krzywej kalibracyjnej 6. Analiza próbki o nieznanej zawartości analitu (przewidywania) Wynik oznaczenia Niepewność standardowa oznaczenia R.L.Z. Nie uwzględniają niepewności x i R.L.W. (Y) R.L.W. (X,Y)

25 Schemat postępowania: Precyzja (powtarzalność) Stopień zgodności wyników kolejnych pomiarów wielkości mierzonej wykonanych dla wybranej próbki w tych samych warunkach i w ramach danego laboratorium. Analizy podwójne (powtórzone) dokonać analizy próbki wzorcowej lub rzeczywistej o określonym stężeniu w dwóch powtórzeniach min. 10 razy obliczyć rozstęp dla każdej analizy obliczyć odchylenie standardowe powtarzalności, s powt, oraz granicę powtarzalności, r powt :

26 Precyzja (powtarzalność) Analizy wielokrotne Schemat postępowania: dokonać analizy próbki wzorcowej lub rzeczywistej o określonym stężeniu w krótkich odstępach czasu (m serii po n powtórzeń; liczba stopni swobody f = m(n 1) 10) wykonać test na błąd gruby dla każdej serii obliczyć odchylenie standardowe powtarzalności, s powt, oraz granicę powtarzalności, r powt :

27 Precyzja pośrednia Schemat postępowania: analizy podwójne próbek o różnym stężeniu lub / i o różnych matrycach obliczyć względny rozstęp dla każdej analizy r wzg = 2 (x 1 x 2 ) / (x 1 + x 2 ) obliczyć odchylenie standardowe względnych rozstępów według wzoru:

28 Odtwarzalność wewnątrzlaboratoryjna Jednoczynnikowa analiza wariancji ANOVA

29 ANOVA - statystyka

30 Odchylenie standardowe powtarzalności (wewnątrzgrupowe) Stopień zgodności wyników kolejnych pomiarów wielkości mierzonej wykonanych dla wybranej próbki w tych samych warunkach i w ramach danego laboratorium. Założenie: jednorodność wariancji (test F skrajnych wariancji) Analizy podwójne (n = 2) Analizy wielokrotne (n > 2)

31 Odchylenie standardowe międzygrupowe Założenie: jednorodność średnich (analiza wariancji, ANOVA) Średnia ogólna Odchylenie standardowe średnich Odchylenie standardowe międzygrupowe Średnia liczność serii

32 Odchylenie standardowe odtwarzalności Stopień zgodności wyników pomiarów wielkości mierzonej wykonanych dla wybranej próbki w zmiennych warunkach pomiaru (lub w ramach różnych laboratoriów). Odchylenie standardowe odtwarzalności Granica odtwarzalności: r odtw = t(p, f) 2 s odtw 2.8 s odtw

33 Badanie obciążenia met. odzysku wzorca Wpływ matrycy, sposobu przygotowania próbek, założeń w metodzie pomiarowej na wynik końcowy pomiaru. Określenie i skorygowanie błędu systematycznego (obu składników: stałego i proporcjonalnego) Funkcja odzysku wzorca: korelacja par: oczekiwany wynik pomiaru - rzeczywisty wynik pomiaru stosuje się te same narzędzia statystyczne co do opracowania krzywej kalibracyjnej Przygotowanie próbek: szereg próbek (n 3) na bazie próbki rzeczywistej (włączając niewzbogaconą) stężenia dodatków równomiernie rozłożone w zakresie roboczym

34 Badanie obciążenia met. odzysku wzorca Pomiary: nr próbki: i = 0,, n przyrost stężenia wzorca w i-tej próbce: dc i = i D (D - jednostkowy teoretyczny przyrost stężenia wzorca) stężenie próbki wzbogaconej i-tym dodatkiem wzorca, np.: C 0 + id = (y 0 + id b) / a rzeczywiste wzbogacenie: dc eksp, i = C 0 + id C 0 Funkcja odzysku: korelacja między dc i (zmienna niezależna) a dc eksp, i (zmienna zależna) dc eksp = a (dc) + b

35 Badanie obciążenia met. odzysku wzorca Analiza funkcji odzysku: C kor = (1 / a) C eksp (b / a) 1 / a korekta proporcjonalnego błędu systematycznego b / a korekta stałego błędu systematycznego w przypadku idealnym, 100% odzysku, a = 1, b = 0 jeżeli a ± ts a nie zawiera 1, to występuje błąd proporcjonalny jeżeli b ± ts b nie zawiera 0, to występuje błąd stały

36 Poprawność Różnica między wartością średnią analizowanej próbki a wartością prawdziwą (lub przyjętą za prawdziwą). Ustala się na podstawie badania odpowiedniego materiału certyfikowanego Minimum 20 powtórzeń w serii pomiarowej Wyraża się w postaci: błędu bezwzględnego δ = x śr μ błędu względnego δ r = x śr μ / μ 100 %

37 Odporność Wpływ niewielkich, niezamierzonych zmian parametrów (warunków) metody badawczej na wynik końcowy. Określa się w ramach danego laboratorium lub na podstawie badań międzylaboratoryjnych. Badania dotyczą zmian warunków prowadzenia pomiaru, tj. temperatury, ph, wilgotności, rodzaju stosowanych odczynników itp. Zastosowanie testów istotności

38 Granica wykrywalności i oznaczalności Definicja C l = C b + k s b Krzywa kalibracyjna Test istotności porównanie wartości średnich stężeń uzyskanych dla próbki z analitem i ślepej próby

39 Niepewność pomiaru Niepewność pomiaru Wynik pomiaru (x) jest tylko przybliżeniem prawdziwej wartości mierzonej wielkości fizycznej (X). Ilościowym wyrazem tego przybliżenia jest niepewność pomiaru. X = x ± u(x) Wynik pomiaru: liczbowy rezultat pomiaru wraz z wartością liczbową oszacowanej niepewności standardowej (w tych samych jednostkach) błąd pomiaru niepewność standardowa pomiaru δ = x X u x = VAR δ Rozkład statystyczny błędu determinuje postać formuły obliczania wariancji błędu Jak określić niepewność standardową pomiaru?

40 Pomiar bezpośredni? NIE Pomiar pośredni TAK Badania biegłości? TAK Z wyników badań biegłości TAK TAK Obszar międzylaboratoryjny Szacowanie A / B / A + B Równanie modelowe? NIE Dostępność CRM? NIE Badanie precyzji TAK TAK Walidacja metody? TAK NIE Porównanie z wzorcem Modelowanie Obszar wewnątrzlaboratoryjny Modelowanie rozszerzone niepewność std jedostkowego pomiaru niepewność std metody / procedury

41 Szacowanie niepewności pomiaru Szacowanie niepewności standardowej Pomiar bezpośredni jednokrotny szacowanie typu B Pomiar bezpośredni wielokrotny szacowanie typu A lub złożenie A + B Pomiar pośredni przenoszenie (propagacja) niepewności (modelowanie) analiza statystyczna wyniku końcowego szacowanie niepewności przez porównanie z wzorcem szacowanie niepewności na podstawie wyników porównań międzylaboratoryjnych Oparte na osądzie maksymalne odstępstwo obserwowane w praktyce

42 Szacowanie niepewności pomiaru Pomiar bezpośredni Statystyczny wyraz pomiaru: x w = X + δ syst + δ los Model pomiaru: x = x w δ syst + δ los δ syst δ los błąd systematyczny (jednostronny) błąd losowy (dwustronny) X wartość prawdziwa mierzonej wielkości x w wartość mierzonej wielkości uzyskana eksperymentalnie (wskazanie przyrządu pomiarowego) x poprawna wartość mierzonej wielkości uzyskana eksperymentalnie

43 Szacowanie niepewności pomiaru Pomiar bezpośredni Statystyczny wyraz pomiaru: x w = X + δ syst + δ los δ syst błąd systematyczny (bias pomiaru) Model pomiaru: x = x w δ syst + δ los instrument pomiarowy (rozdzielczość, błąd wskazania) założenia w procedurze pomiarowej (uproszczenia) wpływ warunków otoczenia (efekty temperaturowe) efekty matrycowe δ los błąd losowy powtarzalność lub odtwarzalność pomiaru Niepewność złożona: u x = u 2 δ syst + u 2 δ los

44 Szacowanie niepewności pomiaru Źródła informacji o błędach (składowych niepewności) Specyfikacja techniczna urządzenia (działka elementarna, rozdzielczość aparaturowa, błąd graniczny) Świadectwa wzorcowania (błędy wskazań) Zależność od warunków pomiaru (temperatura, wilgotność, ciśnienie itp.) Certyfikaty (matrycowych) materiałów odniesienia Niepewność stałych fizykochemicznych i innych parametrów użytych w definicji wielkości mierzonej Kryteria / założenia w procedurze / metodzie pomiarowej Karty sprawdzeń / kontrolne losowa zmienność (powtarzalność) pomiarów

45 Szacowanie niepewności pomiaru Pomiar bezpośredni jednokrotny Model pomiaru: x = x w δ syst (δ syst = δ instr ) Metoda szacowania niepewności standardowej: B (na podstawie przyjętego rozkładu prawdopodobieństwa) Wyrażenia na niepewność standardową: u(x) = δ instr / 3 (rozkład prostokątny) u(x) = δ instr / 6 (rozkład trójkątny) δ instr połowa działki elementarnej, rozdzielczość aparaturowa, błąd graniczny, błąd wskazania itp.

46 Szacowanie niepewności pomiaru Pomiar na podstawie danych z innego laboratorium x l ± δ (P = 95 %): u(x l ) = δ / 1.96 (metoda typu B) x l ± δ (P = 95 %, n): u(x l ) = δ / t (metoda typu B) δ nieokreślony typ błędu, t parametr rozkładu Studenta

47 Szacowanie niepewności pomiaru Pomiar bezpośredni wielokrotny Seria powtórzonych pomiarów: x 1, x 2,..., x n Model pomiaru: x = x w + δ los x = x w δ instr + δ los Metoda szacowania niepewności standardowej: A (analiza rozproszenia wyników) Wyrażenia na niepewność standardową: A + B

48 Pomiar pośredni - metoda analityczna Przygotowanie próbki Przygotowanie wzorców do konstrukcji krzywej kalibracyjnej Oznaczenie instrumentalne Krzywa kalibracyjna Zawartość analitu w próbce

49 Szacowanie niepewności pomiaru Pomiar pośredni przenoszenie niepewności (metoda modelowania) Ustalenie matematycznego związku między wielkością mierzoną a parametrami (zmiennymi, składowymi) pośrednimi (Y = f(x 1,..., X m )) Określenie wartości zmiennych (x 1,..., x m ) Identyfikacja źródeł niepewności Ilościowe określenie niepewności poszczególnych źrodeł (w postaci niepewności standardowych, u(x 1 ),..., u(x m )) Obliczenie wartości wielkości mierzonej (y = f(x 1,..., x m )) Obliczenie złożonej i rozszerzonej niepewności (u(y), U(y)) Przedstawienie rezultatu w postaci y ± U(y)

50 Szacowanie niepewności pomiaru Szacowanie niepewności złożonej (metoda modelowania) Równanie modelowe: y = f(x 1, x 2,, x m ) Zmienne x 1, x 2,... niezależne Zmienne x 1, x 2,... zależne c j = 1 dla niepewności mających bezpośredni wkład do wartości y

51 Szacowanie niepewności pomiaru Szacowanie niepewności złożonej (metoda modelowania) Przypadki szczególne Suma / różnica Y = P + Q R +... Iloczyn / iloraz Y = P Q / R...

52 Szacowanie niepewności pomiaru Pomiar pośredni analiza statystyczna wyniku końcowego Model pomiaru: y = y w + e sumaryczny błąd systematyczny (obciążenie metody) e sumaryczny błąd losowy (precyzja w warunkach powtarzalności lub odtwarzalności) Niepewność złożona: u y = u 2 + u 2 e

53 Szacowanie niepewności pomiaru Szacowanie niepewności złożonej przez porównanie z jednym wzorcem Poprawka systematyczna stała ( ) schemat obliczeń Wartość średnia dla wzorca (CRM) (n powtórzeń): y Poprawka systematyczna (bias metody): = y μ Poprawny wynik analizy (w powtórzeń): y = y Niepewność standardowa poprawki: u = u y + u μ = s (y ) n + u (μ) Niepewność złożona wyniku: u y = u y + u = s / (y) + u w (δ ) + u (δ ) + u ( ) + t

54 Szacowanie niepewności pomiaru Niepewność rozszerzona U(y) = k u(y) Założenie: zmienne x i niezależne o symetrycznych rozkładach Niepewność rozszerzona wyrażana jest dla poziomu prawdopodobieństwa 95%. Wyznaczanie współczynnika rozszerzenia, k propagacja rozkładów: k = 1.96 ( 2) (dominujący udział składowej o rozkładzie normalnym) k = t(p, f) (dominujący udział składowej o mniej niż 10 stopniach swobody, rozkład t-studenta) k = 1.65 (dominujący udział składowej o rozkładzie prostokątnym)

55 Źródła literaturowe EURACHEM/CITAC Guide Quantifying Uncertainty in Analytical Measurement 3rd Edition, 2012 Analiza statystyczna w laboratorium Wojciech Hyk, Zbigniew Stojek PWN, 2016 analiza statystyczna online