Statystyka w podstawowych elementach systemu zarządzania laboratorium wg PN-EN ISO/IEC 17025. Katarzyna Szymańska
Jakość decyzji odpowiada jakości danych zebranych przed jej podjęciem. W praktyce nadzorowanie, przewidywanie oraz podejmowanie trafnych decyzji to dobry sposób na unikanie kosztów złej jakości. 2
PN-EN ISO/IEC 17025 Zapewnienie jakości wyników badań i wzorcowań Pkt. 5.9 Organizacja Pkt. 4.1.4 Zakupy usług i dostaw Pkt. 4.6 Wyposażenie Pkt. 5.5 Metody badań i wzorcowań oraz ich walidacja Pkt. 5.4 analiza, ocena, trend, prawdopodobieństwo w PN-EN ISO/IEC 17025 Obsługa klienta Pkt. 4.7.2 Działania korygujące Pkt. 4.11 Personel Pkt. 5.2 Działania zapobiegawcze Pkt. 4.12 3
PN-EN ISO/IEC 17025 DOSKONALENIE Laboratorium powinno ciągle doskonalić skuteczność swojego systemu zarządzania poprzez analizy danych. 4
PN-EN ISO/IEC 17025 Statystyka w organizacji i zarządzaniu Laboratorium w dużej mierze sprowadza się do analizy ryzyka i oceny prawdopodobieństwa wystąpienia ryzyk w ujęciu jakościowym. Statystyka stosowana przez Laboratorium powinna być dostosowana do celu i zadań realizowanych w ramach systemu zarządzania. 5
Ocena ryzyka Organizacje różnych rodzajów i wielkości stawiają czoła czynnikom i wpływom wewnętrznym jaki i zewnętrznym, które składają się na niepewność tego, czy i kiedy osiągną one swoje cele. Wpływ, jaki wywiera ta niepewność na cele organizacji, nazywa się ryzykiem. PN-ISO 31000 6
PN-EN ISO/IEC 17025 Organizacja - Jeśli Laboratorium jest częścią większej organizacji prowadzącej działalność inną niż badania / wzorcowania należy zidentyfikować wszystkie potencjalne źródła konfliktów interesów. Działania korygujące analiza przyczyn niezgodności ustalenie podstawowej (-ych) przyczyny (przyczyn) problemu oraz ocena skuteczności. Działania zapobiegawcze należy określić niezbędne doskonalenia i potencjalne źródła niezgodności, aby zmniejszyć prawdopodobieństwo wystąpienia tych niezgodności oraz ocena skuteczności. 7
Ocena ryzyka Przy identyfikacji ryzyka zaleca się, aby organizacja zidentyfikowała źródła ryzyka, obszary wpływów, zdarzenia oraz ich przyczyny i potencjalne następstwa. Celem jest stworzenie wyczerpującej listy ryzyk, opartej na tych zdarzeniach, które mogą tworzyć, stymulować, zapobiegać, przeszkadzać, przyspieszać lub opóźniać osiąganie celów. Analiza ryzyka (jakościowa i/lub ilościowa) uwzględnia rozważenie przyczyn i źródeł ryzyka, ich pozytywnych i negatywnych następstw oraz prawdopodobieństwa wystąpienia tych następstw. 8
Analiza ryzyka Jakościowa Analiza Czynników Ryzyka Proces oceny prawdopodobieństwa i wpływu na projekt zidentyfikowanych czynników ryzyka, Hierarchizacja czynników ryzyka pod ktem ich potencjalnego wpływu na cele przedsięwzięcia, Metoda określenia znaczenia poszczególnych czynników ryzyka i sterowania reakcją na nie. 9
Analiza ryzyka Prawdopodobieństwo, obliczane jest najczęściej w oparciu o wykorzystanie: dyskretnej skali stopniowania prawdopodobiestwa, np. bardzo prawdopodobne, prawdopodobne, mało prawdopodobne i nieprawdopodobne; metody grupowego podejmowania decyzji, w której uczestnicy-eksperci głosują na najlepsze, ich zdaniem, rozwizanie. Osiągnięcie przez grupę zbliżonych oszacowań kończy proces decyzyjny; metody podejmowania decyzji bazująca nie na opinii ekspertów, lecz na doświadczeniach uczestników naszego przedsięwzięcia, spośród których kierownik wybiera najlepsze, jego zdaniem, rozwizanie. 10
Zakupy / Obsługa Klienta / Szkolenia Zakupy - Laboratorium powinno oceniać dostawców materiałów pomocniczych, dostaw i usług. Obsługa klienta - Laboratorium powinno dążyć do uzyskiwania informacji zwrotnych od swoich klientów. Informacje te powinny być analizowane i wykorzystywane do doskonalenia systemu zarządzania. Personel szkolenia powinna być oceniana skuteczność podejmowanych działań dot. szkoleń. 11
Zakupy / Obsługa Klienta / Szkolenia Czynniki warunkujące praktyczną użyteczność wyników analizy: zastosowanie narzędzi pomiarowych, które trafnie mierzą założone przez badacza wielkości, zebrane dane dobrze odzwierciedlają rzeczywisty poziom mierzonych wielkości, poddana badaniom próba klientów jest reprezentatywna dla populacji klientów, na którą mają być uogólnione wyniki badań, cele analizy zostały sformułowane w sposób umożliwiający ich zrealizowanie za pomocą metod analizy danych, osoba lub zespół przeprowadzający analizę wykazuje odpowiednią znajomość możliwości i ograniczeń procedur analizy danych oraz doświadczenie w poprawnej interpretacji uzyskanych wyników, dostęp do odpowiedniego oprogramowania komputerowego (np. STATISTICA). 12
Zakupy / Obsługa Klienta / Szkolenia analiza korelacji - bardzo często wykorzystywana w badaniu różnych aspektów satysfakcji klienta. ocenimy powiązanie zmiennej (zależnej) z pozostałymi zmiennymi (zmienne objaśniające). W tym celu obliczymy wartości współczynników korelacji liniowej Pearsona. 13
Zakupy / Obsługa Klienta / Szkolenia Na podstawie wyników zamieszczonych w tabeli możemy stwierdzić, że: najmocniejsze powiązanie ze zmienną Ogólne zadowolenie wykazuje zmienna Niezawodność produktu (r = 0,71). Nieco słabszą korelację wykazuje zmienna Warunki gwarancji, najsłabszą, ale istotną statystycznie, korelację wykazuje zmienna Warunki dostawy. Dla wszystkich zmiennych współczynnik korelacji przyjmuje wartość dodatnią, co oznacza, że im wyższa ocena danej pozycji tym wyższe ogólne zadowolenie klienta. Oprócz współczynników korelacji zmiennych objaśniających ze zmienną zależną w tabeli są również podane współczynniki korelacji w obrębie zmiennych objaśniających. 14
PN-EN ISO/IEC 17025 Statystyka ma zastosowanie przy realizacji narzędzia systemowego - przeglądu zarządzania. Cel przeglądu zarządzania zapewnienie stałej przydatności i skuteczności systemu zarządzania oraz działalności badawczej. Przegląd weryfikacja przydatności, adekwatności i skuteczności działań związanych z wyborem i określeniem oraz wyników tych działań w odniesieniu do spełnienia przez podmiot oceny zgodności wyspecyfikowanych wymagań. PN-EN ISO/IEC 17000 Skuteczność stopień, w jakim planowane działania są zrealizowane i planowane wyniki osiągnięte. PN-EN ISO 9000 15
Metody badań i wzorcowań Wdrażanie metody: walidacja metody z zastosowaniem odpowiednich modeli matematycznych i statystycznych, dostosowanych do specyfiki metody, badanej cechy, badanego obiektu oraz wymagań klientów / prawa, prowadząca do określenia cech charakterystycznych metody; sprawdzenie możliwości realizacji metody w warunkach Laboratorium; W aspekcie zarządzania metodami badawczymi występują przypadki stosowania metod obliczeniowych, gdzie wynik badania to matematyczne opracowanie zbioru danych wejściowych, a nie wynik eksperymentu badawczego. W zależności od złożoności formuł matematycznych oraz stosowanych narzędzi informatycznych, Laboratorium musi zastanowić się nad potrzebą zastosowania metod statystycznych w metodach obliczeniowych. 16
Metody badań i wzorcowań Wyniki walidacji stanowią dane wejściowe do kolejnego etapu wdrażania metody, a mianowicie szacowania niepewności wg. ustalonych i powszechnie stosowanych zasad, prezentowanych np. w Guide to the Expression of Uncertainty in Measurement (GUM). OPIS METODY BADAWCZEJ / WZORCOWANIA / POBIERANIA PRÓBEK OKRESLENIE / IDENTYFIKACJA ŹRÓDEŁ NIEPEWNOŚCI OCENA WPŁYWU ŹRÓDEŁ NIEPEWNOŚCI NA ZMIENNOŚĆ WYNIKU BADANIA / WZORCOWANIA / POBIERANIA PRÓBEK BUDŻET NIEPEWNOŚCI 17
Metody badań i wzorcowań MODEL POMIARU (IDENTYFIKACJA WIELKOŚCI MIERZONEJ I WIELKOŚCI WPŁYWAJĄCYCH) OKREŚLENIE STANDARDOWYCH NIEPEWNOŚCI WIELKOŚCI WEJŚCIOWYCH - (NIEPEWNOŚĆ TYPU A i B) OBLICZENIE/SZACOWANIE STANDARDOWYCH NIEPEWNOŚCI SKŁADOWYCH OBLICZENIE STANDARDOWEJ NIEPEWNOŚCI ZŁOŻONEJ OBLICZENIE NIEPEWNOŚCI ROZSZERZONEJ 18
Metody badań i wzorcowań Wdrożenie metody (zrealizowana walidacja i oszacowana niepewność) wg. ustalonych i ugruntowanych modeli matematycznych, w kolejnym kroku pociąga konieczność opracowania w Laboratorium metod statystycznych służących monitorowaniu miarodajności realizowanych działań. KARTY KONTROLNE 19
Wyposażenie Sprawdzanie wyposażenia pomiarowego świadectwa wzorcowania Analizowanie / śledzenie trendów Merytoryczna podstawa do określenia czasookresów wzorcowań przyrządów pomiarowych 20
Zapewnienie jakości wyników badań Laboratorium powinno analizować uzyskiwane wyniki i trendy układania się wyników otrzymywanych w ramach wewnętrznego jak i zewnętrznego zapewnienia jakości wyników badań. Szczególnej analizie należy poddawać wszystkie wątpliwe i niezadowalające wyniki oraz podejmować skuteczne działania korygujące i/lub zapobiegawcze. 21
Zapewnienie jakości wyników badań Karty graficzne pozwalają na wizualną ocenę zachowania się zbioru wartości liczbowych Karty kontrolne umożliwiają: Śledzenie zmienności przypadkowej (losowej, jednorazowej) Śledzenie zmienności systematycznej (cykliczna tendencja). 22
Zapewnienie jakości wyników badań Karty kontrolne Shewharta PN-ISO 8258+AC1 Ocena liczbowa Ocena alternatywna Karta wartości średniej (x) i rozstępu (R) lub odchylenia standardowego(s) karta x-r karta x-s Karta pojedynczych obserwacji(x i ) i ruchomego rozstępu (R) karta x i -R Karta frakcji jednostek niezgodnych (p) lub liczby jednostek niezgodnych (np) karta p karta np Karta liczby niezgodności(c) lub liczby niezgodności na jednostkę(u) karta c karta u Karta mediany(m)i rozstępu (R) karta M-R Karta sum skumulowanych 23
Zapewnienie jakości wyników badań Analiza wyników uczestnictwa w PT/ILC powinna uwzględniać co najmniej: Kryteria akceptacji Niepewność wykonanych pomiarów Ocena wyników własnych (w tym analiza własnego budżetu niepewności) Analiza uzyskanych wyników na tle innych laboratoriów 24
Zapewnienie jakości wyników badań analiza wyników uczestnictwa 25
Zapewnienie jakości wyników badań analiza wyników uczestnictwa Najprostsze narzędzia statystyczne do oceny uzyskiwanych wyników Różnica D Różnica procentowa D % D D x X x X 100 % X gdzie: x wynik uzyskany przez uczestnika X wartość przypisana 26
Zapewnienie jakości wyników badań analiza wyników uczestnictwa Przykład 1 Przykład 2 27
Zapewnienie jakości wyników badań wybór PT/ILC Wybierając program PT/ILC laboratoria powinny uwzględniać: właściwości, które utwierdzają zaufanie do odpowiedniości obiektów badań biegłości (np. jednorodność, stabilność oraz jeżeli to właściwe, spójność pomiarową do wzorców krajowych lub międzynarodowych); opracowanie statystyczne techniki statystyczne wykorzystywane do oceny osiągniętych rezultatów powinny być odpowiednie do mierzonych cech i metod badań objętych programem, a kryteria dotyczące akceptacji osiągniętych rezultatów powinny być jednoznacznie określone; procedur wykorzystywanych do wyznaczania wartości przypisanych, instrukcji dla uczestników, metod statystycznych stosowanych do przetwarzania danych oraz końcowego sprawozdania podsumowującego. 28
Zapewnienie jakości wyników badań wybór PT/ILC Wartość przypisana wartość przypisana określonej właściwości obiektu badania biegłości - PN-EN ISO/IEC 17043:2011 Procedury wyznaczania wartości przypisanej uszeregowane tak, że w większości wypadków ich kolejność odpowiada wzrostowi niepewności wartości przypisanej. Procedury te wymagają stosowania: a) znanych wartości wynikających z określonego sposobu przygotowania obiektu badań (np. produkcja lub rozcieńczenie); b) certyfikowanych wartości odniesienia wyznaczonych metodami definitywnymi (dla badań ilościowych); c) wartości odniesienia wyznaczonych drogą analizy, pomiaru lub porównania obiektu badania biegłości z materiałem odniesienia lub wzorcem, mającym odniesienie do wzorca krajowego lub międzynarodowego; d) wartości uzgodnionych na podstawie wyników eksperckich uczestników zaleca się, aby eksperci (którymi mogą być, w niektórych sytuacjach, laboratoria referencyjne) posiadali dające się udokumentować kompetencje do wyznaczania badanej wielkości mierzonej(-ych) i stosowały zwalidowane metody o znanej, wysokiej dokładności, porównywalne z metodami ogólnie stosowanymi; e) wartości uzgodnionych na podstawie wyników uczestników 29
Zapewnienie jakości wyników badań wybór PT/ILC Liczba E n E n U x X 2 lab U 2 ref gdzie: x wynik uzyskany przez uczestnika, X wartość przypisana, U lab rozszerzona niepewność wyniku uczestnika, U ref rozszerzona niepewność wartości przypisanej wyznaczona przez laboratorium odniesienia Kryteria oceny liczby E n En 1,0 En > 1,0 - wynik zadowalający - wynik niezadowalający 30
Zapewnienie jakości wyników badań wybór PT/ILC 31
Zapewnienie jakości wyników badań wybór PT/ILC 32
Zapewnienie jakości wyników badań wybór PT/ILC gdzie: Wskaźnik z Wskaźnik zeta x wynik uzyskany przez uczestnika, X wartość przypisana, σ odchylenie standardowe dla oceny biegłości, u lab złożona niepewność standardowa wyniku uczestnika, u av niepewność standardowa wartości przypisanej, z 2,0 Kryteria oceny wskaźnika z i ξ - wynik zadowalający 2,0 < z < 3,0 - wynik wątpliwy z 3,0 z x X - wynik niezadowalający Niewłaściwe jest przeliczanie wskaźników z na zeta w sytuacji, gdy wynik uzyskany w PT/ILC jest wątpliwy lub niezadawalający u x 2 lab X u 2 av 33
Opracowanie wyników Wyniki uzyskiwane w ramach realizacji procedur pomiarowych podlegają opracowaniu, ze względu na: - Pomiary cząstkowe (konieczność określenia chociażby średniej arytmetycznej) - Niepewność pomiaru niepewność badania; - cechy badanych obiektów określane na drodze metod obliczeniowych. 34
Dziękuję za uwagę 35