Najczęściej popełniane błędy w procesie walidacji metod badawczych Maria Szafran Główny Specjalista Działu Akredytacji Laboratoriów Badawczych Polskie Centrum Akredytacji
Metody badań proces wdrożenia w laboratorium Laboratorium samo określa obszar działalności (metody badań), na który zamierza uzyskać akredytację lub rozszerzenie zakresu akredytacji stosuje właściwe metody dla wykonywanych badań/pobierania próbek, które: - spełniają wymagania klienta - są opisane w aktualnych wydaniach norm (dla metod znormalizowanych) lub dokumentach opracowanych przez laboratorium (dla metod nieznormalizowanych) 2
Metody badań proces wdrożenia w laboratorium Laboratorium samo określa przydatność metody własnej (nieznormalizowanej) do zamierzonego zastosowania zgodnie z przeznaczeniem w procesie walidacji samo sprawdza i potwierdza możliwość realizacji metody znormalizowanej w warunkach laboratorium (siły i środki laboratorium) 3
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Wybór: walidacja czy sprawdzenie możliwości realizacji metody znormalizowanej w warunkach laboratorium w przypadku zmian w metodzie opisanej w normie 4
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Walidacja metod znormalizowanych gdy wprowadzamy zmiany merytoryczne w metodzie mające istotny wpływ na wyniki badań Zmiany merytoryczne zmiany zasad stanowiących podstawę miarodajności i rzetelności wyników badań (np. zmiana sposobu pobierania próbek, techniki pomiarowej, sposobu oddziaływania na obiekt badań, wykorzystanie innych zjawisk towarzyszących badaniom) 5
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Przykłady zmian merytorycznych skutkujących koniecznością przeprowadzenia walidacji: wykorzystywanie metody poza przewidzianym dla niej zakresem określonym w normie (np. inny obiekt, rozszerzony zakres metody, inna zasada/technika pomiarowa, itp.) zmiana trybu postępowania przewidzianego w metodzie znormalizowanej np. w związku z ograniczeniami technicznymi laboratorium (inna metodologia postępowania, np. zmiana sposobu zadawania obciążenia próbki w badaniach mechanicznych) 6
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Należy przy tym uwzględniać: Metoda badań opis logicznego uporządkowania działań wykonywanych podczas badania - metody znormalizowane - metody znormalizowane, wykorzystywane poza przewidzianym dla nich zakresem lub zmodyfikowane - metody nieznormalizowane metody własne, opracowane w laboratorium 7
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Sprawdzenie możliwości realizacji metody znormalizowanej w warunkach laboratorium wprowadzamy zmiany, które nie są zmianami merytorycznymi - nie mają istotnego wpływu na wyniki badań - np. zastosowanie nowej generacji wyposażenia pomiarowego i badawczego (gdy spełnia ono wszystkie wymagania jakościowe określone w normie) - modyfikacja trybu postępowania (bez zmiany przewidzianego ciągu metodycznego i wykorzystywanych w metodzie znormalizowanej zjawisk), np. z powodu uwarunkowań związanych ze stosowanym wyposażeniem, infrastrukturą laboratorium, wykonywaniem badań przy wprowadzeniu automatyzacji pomiarów, itp. 8
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Opis metody badań przedstawiony w normie może być uzupełniony przez laboratorium o dodatkowe szczegóły, kiedy jest to konieczne w celu zapewnienia jednakowego stosowania. Uzupełnienie może mieć formę instrukcji wewnętrznej określającej np. szczegóły postępowania w związku z zastosowaniem wyposażenia badawczego posiadającego zautomatyzowany system sterowania oddziaływaniem na obiekty badań. Nie wymaga się opracowywania własnej procedury badawczej i walidacji metody badań 9
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Niepełny zakres działań podejmowanych w ramach walidacji metod badań (nieznormalizowanych, znormalizowanych stosowanych poza zakresem określonym w normie) brak przeprowadzenia pełnego algorytmu postępowania walidacyjnego 10
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Należy przy tym uwzględnić: Walidacja potwierdzenie przez przedstawienie obiektywnego dowodu, że zostały spełnione wymagania dotyczące konkretnie zamierzonego zastosowania Walidację można przeprowadzić w warunkach rzeczywistych lub symulowanych 11
Walidacja metody podstawowe kroki Wymagania klienta 1 Metoda badawcza specyfikacja wymagań (charakterystyki metody) 2 określenie wartości cech charakterystycznych metody 3 Wymagania Porównanie 1 2 Cechy metody Inna metoda, nowe PW, rezygnacja nie Czy cechy spełniają wymagania wynikające ze specyfikacji? tak 4 Formalne stwierdzenie o przydatności metody 12
Walidacja metod główne problemy Zawężony zakres charakterystyk metody określany w procesie walidacji (krok 2) ograniczenia wynikające z budżetu niepewności (np. poprawność algorytmu, uwzględnienie wszystkich składowych itp.) błędny dobór matryc (np. realizacja walidacji na wzorcach bez uwzględnienia obiektów rzeczywistych i wpływu matrycy na wynik walidacji) błędne ustalenie poziomu spodziewanej wartości badanej cechy (np. mała/duża liczba drobnoustrojów, walidacja dla małych stężeń, a potem oznaczanie bardzo dużych stężeń) 13
Walidacja metod główne problemy Zakres walidacji parametry, które należy wyznaczyć dla scharakteryzowania danej metody, np.: - granica wykrywalności - selektywność metody - liniowość - powtarzalność i/lub odtwarzalność - wielkości wpływające (rodzaj, zakres, wpływ) - niepewność pomiaru 14
Sprawdzenie możliwości realizacji metody główne problemy Zawężony zakres działań podejmowanych w przypadku sprawdzenia możliwości realizacji metod w warunkach laboratorium - powierzchowna analiza uwarunkowań realizacji metody, - brak uwzględnienia wszystkich wielkości wpływających, - brak analizy wyników wzorcowania wyposażenia stosowanego w metodzie znormalizowanej 15
Sprawdzenie możliwości realizacji metody zakres czynności Elementy uwzględniane podczas potwierdzania możliwości prawidłowej realizacji metody znormalizowanej, np.: - odpowiednie wyposażenie (np. dokładność, wymagania dotyczące warunków zastosowania) - kompetencje personelu - posiadane wzorce lub odczynniki - zapewnienie spójności pomiarowej - uzyskiwanie odpowiednich dokładności pomiaru - niepewność związana z wynikiem badania 16
Walidacja metod główne problemy Brak kryteriów lub brak merytorycznego uzasadnienia dla przyjętych kryteriów oceny wyników działań podejmowanych w procesie walidacji metod badań WALIDACJA Specyfikacja wymagań Wyniki walidacji Charakterystyki określone w walidacji Stwierdzenie walidacyjne 17
Sprawdzenie możliwości realizacji metody główne problemy Brak kryteriów lub brak merytorycznego uzasadnienia dla przyjętych kryteriów oceny wyników działań podejmowanych w procesie sprawdzania metod badań Sprawdzenie realizacji metody w laboratorium wymagane kryteria Znormalizowane charakterystyki posiadane charakterystyki 18
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Brak zapisów i dowodów w procesie walidacji / sprawdzania metod badań lub niekompletność tych zapisów - brak udokumentowanych dyspozycji systemowych dotyczących sposobu zaplanowania i wykonania walidacji/sprawdzenia - brak/niekompletność dowodów przeprowadzonych badań - powierzchowna analiza otrzymanych wyników - nieuwzględnianie aktualnych wytycznych dotyczących technik obróbki statystycznej wyników - brak stwierdzenia walidacyjnego - brak stwierdzenia o możliwości realizacji metody znormalizowanej 19
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Personel realizujący proces walidacji / sprawdzania nie jest personelem kompetentnym i/lub upoważnionym Powierzenie zadania personelowi bez uwzględnienia weryfikacji jego kompetencji w odniesieniu do odpowiednich kryteriów określonych w systemie zarządzania dla wykonywania procesów walidacji i/lub poszczególnych kroków procesu walidacji / sprawdzania w zakresie kwalifikacji, przeszkolenia i doświadczenia oraz umiejętności, gwarantujących rzetelność realizacji zadania 20
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Nie uwzględnia się kompetencji personelu jako elementu wpływającego na wyniki walidacji/sprawdzenia Aspekty szczególnie ważne przy: - badaniach sensorycznych - pobieraniu próbek - zarządzaniu zakresem elastycznym 21
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Brak: - rewalidacji metod - ponownego sprawdzenia możliwości realizacji metod (brak monitorowania wpływu czynników na wykonaną walidację i zmian jej charakterystyk w czasie - niezbędne do wykazania stałości i ciągłej przydatności przeprowadzonej walidacji) 22
Walidacja/sprawdzenie możliwości realizacji metod główne problemy Powszechne stosowanie określenia walidacja do większości działań podejmowanych przy wdrażaniu i ocenie charakterystyk metody, bez realizacji właściwego algorytmu walidacyjnego wątpliwości dotyczące kompetencji personelu (może wskazywać na brak zrozumienia zasady i celu procesu walidacji) 23
Zmiany w metodach badań uaktualnienie dokumentu normatywnego Nowelizacja dokumentów normatywnych (nowe wydanie normy lub uzupełnienie dodatkiem) zmiany formalne nie zmieniające i nie wpływające na przebieg czynności badania oraz jego wyniki wniosek do PCA o uaktualnienie zakresu akredytacji informacja o zmianach wprowadzonych w ramach nowelizacji ww. dokumentów dowody przeprowadzenia analizy / sprawdzenia / wdrożenia znowelizowanego dokumentu do badań w laboratorium możliwość powoływania się na akredytację w odniesieniu do uaktualnionej metody, tylko po wprowadzeniu przez PCA nowego wydania normy / wydania normy z dodatkiem do zakresu akredytacji 24
Zmiany w metodach badań uaktualnienie procedury własnej Nowelizacja dokumentów własnych zmiany formalne nie zmieniające i nie wpływające na przebieg czynności badania oraz jego wyniki (np. korekta wynikająca z okresowego przeglądu dokumentów, korekty redakcyjne, zmiana nazwy laboratorium lub firmy macierzystej itp.) zmiany formalne nie muszą skutkować zmianami wydania procedury badawczej dokumentu zidentyfikowanego w zakresie akredytacji Uwaga: wszystkie zmiany muszą być jednak wprowadzane zgodnie z dyspozycjami systemu zarządzania, nadzorowane i weryfikowane z punktu widzenia: czy zmiana formalna?, czy zmiana merytoryczna? i zatwierdzane na poziomie zatwierdzenia pierwotnego. Laboratorium prowadzi i nadzoruje zapisy z tym związane. 25
Zmiany w metodach badań nowe metody Zmiany merytoryczne - zmiany przebiegu realizowanych czynności badania lub warunków badania mające wpływ na wyniki realizowanych badań Nowe wydanie dokumentu opisującego metodę badań norma / własna procedura badawcza wniosek do PCA o rozszerzenie zakresu akredytacji prawo do powoływania się na akredytację może być udzielone w wyniku pozytywnej oceny na miejscu lub oceny dowodów walidacji znowelizowanej metody badań możliwość powoływania się na akredytację w odniesieniu do nowej metody, tylko po wprowadzeniu przez PCA nowego wydania normy / własnej procedury badawczej do zakresu akredytacji 26
Walidacja metod główne problemy Dziękuję za uwagę! 27