RELACJA Z KONFERENCJI

Transkrypt

1 Nr 1 (21) Marzec 2011 ISSN RELACJA Z KONFERENCJI (Warszawa, 2 grudnia 2010 roku) NOwE KIERuNKI ROZwOJu kontroli jakości w laboratorium medycznym

2 Dr Wojciech Gernand Dr Sten Westgard, Dr Wojciech Gernand Dr Sten Westgard, Pawel Roguski (tlumacz), Prof Andrzej Szutowicz Dr Sten Wesgard Komitet Naukowy Dagna Bobilewicz Warszawa Jan Kulpa Kraków Redakcja Mirosława Nowacka Abbott Laboratories Poland Abbott Laboratories Poland Sp. z o.o. ul. Postępu 21 B, Warszawa tel.: , faks: (21)

3 SzAnoWnI PAńSTWo 2 grudnia w Warszawie odbyła konferencja zorganizowana przez Abbott Laboratories Poland pt Nowe kierunki rozwoju kontroli jakości w laboratorium medycznym. Konferencja została zorganizowana pod honorowym patronatem Polskiego Towarzystwa Diagnostyki Laboratoryjnej, Krajowej Izby Diagnostów Laboratoryjnych oraz Fundacji Kolegium Medycyny Laboratoryjnej ProQuality. Honorowym gościem konferencji był dr Sten Westgard. Niniejszy numer Abbott Voice został poświęcony relacji z tej konferencji. Termin konferencji zbiegł się z atakiem zimy, który dotknął i praktycznie sparaliżował całą Polskę i część Europy. Atak zimy zatrzymał dr Westgarda na lotnisku w Pradze, gdzie spędził kilkanaście godzin i dotarł na Konferencję zaledwie na 10 minut przed planowaną godziną wykładu. Także drugi zagraniczny gość dr Davide Villa (Laboratory Solution Design Manager Abbott) utknął na lotnisku tym razem we Frankfurcie i po dobie oczekiwania dotarł do Warszawy tuż przed swoim wykładem. Również uczestnicy konferencji w znacznym stopniu mieli problem z przyjazdem do Warszawy. Tego dnia rano nie jeździły pociągi z Poznania i Wrocławia, a praktycznie wszystkie pozostałe doznały znacznych opóźnień. Mimo tych przeciwności aury konferencja odbyła się i brało w niej udział ok. 100 uczestników. Wszystkim, którzy w taką pogodę dotarli na Konferencję serdecznie dziękujemy za przybycie, a wszystkim tym, którym zima uniemożliwiała podróż przekazujemy sprawozdanie z konferencji i przepraszamy za godziny spędzone na ośnieżonych dworcach. Program Konferencji składał się z trzech sesji. Pierwsza sesja nosiła tytuł Kontrola jakości w laboratorium medycznym. Przewodniczyli jej prof. Maciej Szmitkowski, prof. Andrzej Szutowicz. Pierwszy wykład pt. Granice kontroli jakości wygłosił dr Wojciech Gernand i przedstawił w nim aktualne podejście do prowadzenia wewnętrznej kontroli jakości w laboratorium diagnostycznym. Kolejny wykład wygłosił dr Sten Westgard. Nosił on tytuł Six Sigma Metrics to Define Quality for Laboratory Systems Dr Westgard przedstawił zastosowanie miary jakości programu six sigma w ocenie jakości badań laboratoryjnych. Wykład pozwolił uczestnikom konferencji zapoznać się z założeniami programu six sigma oraz poznać zastosowanie programu w wewnątrzlaboratoryjnej kontroli jakości oraz w ocenie stosowanych metod diagnostycznych i sprzętu diagnostycznego. Dr Westgard przedstawił liczne przykłady zastosowania programu w laboratoriach pracujących na analizatorach Architect i podkreślił unikalną jakość uzyskanych przy użyciu tego sprzętu wyników. 3

4 Kolejna sesja nosiła tytuł Monitorowanie procesów zarządzania jakością w laboratorium, a prowadzona była przez dr Małgorzatę Wróblewską i dr Ewę Świątkowską. Pierwszym wykładowcą w tej sesji był dr Davide Villa, który przedstawił wykład How organization and specimen workflow have impacts on quality and performances of a modern Laboratory. Wykład pozwolił na globalne spojrzenie na laboratorium i pozwolił ocenić w jaki sposób organizacja pracy i obiegu materiału wpływają na jakość wyników i wydajność pracy w nowoczesnym laboratorium. Kolejny wykład pani prof. Mirosławy Pietruczuk przedstawił szczególne wymagania dotyczące jakości i kompetencji w medycznych laboratoriach diagnostycznych. Pozwolił poznać standardy akredytacyjne i praktyczne ich zastosowanie. Temat wywołał bardzo ożywioną dyskusję uczestników Konferencji. Sesją tę zamknęła pani dr Małgorzata Wróblewska wykładem Rola programów zewnętrznej oceny jakości w laboratorium medycznym. Wykład przedstawił podejście do zewnątrzlaboratoryjnej kontroli jakości jako narzędzia monitorującego pracę laboratorium. Na jego podstawie mogliśmy się dowiedzieć jak powinniśmy reagować na wyniki sprawdzianów i w jaki sposób mogą one pomóc w zapewnieniu jakości badań laboratoryjnych. Konferencję zamknęła sesja prowadzona przez prof. Andrzeja Brzezińskiego pt Rola wartości referencyjnych w prawidłowej ocenie wyniku badania laboratoryjnego. W sesji podkreślano, że nawet najbardziej precyzyjne wyniki badań tylko wtedy niosą właściwą wartość diagnostyczną jeśli odnoszą się do prawidło zdefiniowanych wartości referencyjnych. Sesja jest wstępną prezentacją projektu prowadzonego przez Katedrę i zakład Diagnostyki Laboratoryjnej CM UMK w Bydgoszczy, Uniwersyteckie Centrum Kliniczne w Gdańsku i Laboratoria Diagnostyka w Krakowie oraz firmę Abbott Laboratories Poland pod merytorycznym nadzorem prof. Jerzego Janeckiego. Celem programu jest opracowanie zakresów wartości referencyjnych dla populacji polskiej dla grupy metodycznej Architect za pomocą programu JEG. W pierwszym wykładzie Zastosowanie metody JEG w rutynowej pracy laboratorium medycznego pan mgr Tadeusz Góralczyk przedstawił założenia programu, sposób gromadzenia danych i ich opracowywanie. Kolejny wykład dr zenona Jakubowskiego Ocena zakresu wartości referencyjnych na podstawie analizy rozkładu wyników pozwolił na zapoznanie się z pierwszymi wynikami badań. Wykład podsumowujący Zakresy wartości referencyjnych rozważania teoretyczne i doświadczenia praktyczne w zastępstwie pani prof. Grażyny odrowąż-sypniewskiej wygłosił pan mgr Łukasz Szternel. Tematy konferencji okazały się na tyle interesujące, że na pewno będą one kontynuowane w czasie czerwcowej konferencji w Falentach, na którą serdecznie zapraszamy. Jeszcze raz składam serdecznie podziękowania wykładowcom za trud związany w przygotowanie wykładów, a przewodniczącym sesji za sprawne przeprowadzenie Konferencji i moderację dyskusji, a wszystkim uczestnikom za determinację w dotarciu na Konferencję. Szczególnie chciałabym podziękować dr Wojciechowi Gernandowi za pomoc merytoryczną w przygotowanie konferencji. Mirosława Nowacka 4 1(21)

5 GrAnICE KonTroLI JAKoŚCI dr Wojciech Gernand Laboratorium Medyczne LOMA, Opole Zmienność jest cechą każdego procesu. Czynności powtarzane według ustalonego schematu doprowadzają zwykle do uzyskania oczekiwanych rezultatów, jednak ich bliższa ocena ujawnia pewną zmienność, nieuniknione zróżnicowanie. Dotyczy to procesów o różnym stopniu złożoności, od prostego strzału z łuku, po wysłanie promu kosmicznego w wyznaczone miejsce. Zmienność pojawia się w czynnościach codziennych, takich jak parzenie kawy, a także w sytuacjach specjalnych, jak awaryjne lądowanie samolotu. Zmienność towarzyszy także wykonywaniu badań laboratoryjnych. Uważna obserwacja pozwala dostrzec w każdym procesie dwa rodzaje zmienności 1. Pierwsza zmienność jest czymś naturalnym i nieodłącznym, co wynika z oddziaływania nieskończonej liczby drobnych czynników, które tworzą niejako podstawowe rozedrganie każdego procesu. Naturalna zmienność ujawnia się, ponieważ nie sposób wyeliminować wszystkich najdrobniejszych jej powodów. Można ją redukować, lecz nie można jej wyeliminować. Naturalna zmienność jest przewidywalna. Obserwacja realizowanego procesu pozwala stwierdzić, że uzyskiwane wyniki rozkładają się losowo, w charakterystyczny sposób wokół wyniku przeciętnego (średniej). Jeśli obserwuje się pomiary, nietrudno dostrzec, że ich wyniki wykazują rozkład normalny, z właściwymi jego cechami wyrażonymi m.in. przez wartość średnią i odchylenie standardowe. Drugi rodzaj zmienności to skutek czegoś niezwykłego, nieprawidłowości, dysfunkcji, awarii, czasem katastrofy. Zmienność tę nazywa się zmiennością z przyczyn wyznaczalnych, ponieważ ma ona uchwytny powód. W przeciwieństwie do zmienności naturalnej, zmienność z przyczyn wyznaczalnych można wyeliminować naprawić układ, skorygować proces, wprowadzić poprawkę obliczeniową. Niestety nie można tej zmienności przewidzieć. Reakcją wykonawcy na tego rodzaju niemoc jest kontrola jakości. Kontrola jakości (ang. quality control, QC) zatem to nic innego, jak stała obserwacja procesu nastawiona na śledzenie jego zmienności naturalnej i wykrywanie zmienności z przyczyn wyznaczalnych. Słowo kontrola wyraża w tym zwrocie obserwację prowadzoną w toku realizacji procesu. Odróżnia ono ten zwrot od takich zwrotów, jak inspekcja jakości (ang. quality inspection, QI), czy ocena jakości (ang. quality assessment, QA), realizowanych po zakończeniu rozpatrywanego procesu. Narzędziem użytecznym przy obserwacji zmienności procesu jest karta kontrolna wykres pozwalający zapisywać dokonywane obserwacje w odniesieniu do osi czasu. Zapisywanymi obserwacjami mogą być wyniki pomiarów, wtedy gdy badana jest cecha ilościowa, lub wyniki zliczania, wtedy gdy obserwowana jest cecha jakościowa. Obserwacji podlega wycentrowanie wyników oraz ich rozproszenie (Ryc. 1). 5

6 Ryc. 1. Karta kontrolna z naniesionymi wynikami obserwacji odzwierciedlającymi naturalną zmienność kontrolowanego procesu. Dla autorów kart kontrolnych od samego początku interesujące było znalezienie wyników świadczących o zmienności z przyczyn wyznaczalnych. W pierwszych latach stosowania kart kontrolnych najwięcej uwagi zwracano naturalnie na wyniki przekraczające dolną lub górną granicę kontrolną granice oddalone zwykle o trzy odchylenia standardowe od wartości średniej. W 1956 r. eksperci z Western Electric Company opublikowali opis czterech konstelacji wyników wskazujących obecność nienaturalnej zmienności procesu 2. Po prawie trzydziestu latach Lloyd S. Nelson skompletował zestaw ośmiu przejawów nieprawidłowej zmienności, zwanych dziś regułami Nelsona (Ryc. 2) 3. Po upływie 20 lat koncepcja kart kontrolnych trafiła do laboratoriów medycznych. W 1950 roku Stanley Levey i Elmer R. Jennings jako pierwsi przedstawili możliwość prowadzenia kontroli jakości badań laboratoryjnych poprzez śledzenie zapisów na karcie kontrolnej 4. Choć w swej pracy przedstawili nieco inny typ karty, określany mianem karty średniej i rozstępu, dziś ich nazwiska związane są nieodłącznie z kartą kontrolną, na którą nanosi się wyniki pojedynczych pomiarów wykonywanych w stabilnym materiale kontrolnym. Podobnie, jak w kontroli innych procesów, podczas kontroli jakości badań laboratoryjnych poszukuje się wyników, które sygnalizują pojawienie się zmienności z przyczyn wyznaczalnych. Chodzi tu o jak najwcześniejsze wykrycie zaburzenia w funkcji kontrolowanego układu pomiarowego, tak, by wstrzymać jego działanie, zanim stanie się źródłem niewiarygodnych wyników, które powodowałyby niewłaściwą ocenę kliniczną, a co więcej, mogłyby zmieniać podejmowane decyzje diagnostyczne i terapeutyczne. Ryc. 2. Reguły Nelsona. 1. Jeden wynik poza granicą trzech odchyleń standardowych; 2. Dziewięć wyników po tej samej stronie średniej; 3. Sześć stopniowo narastających (malejących) wyników; 4. Czternaście wyników na przemian rosnących i malejących; 5. Dwa z trzech wyników poza granicą dwóch odchyleń standardowych; 6. Cztery z pięciu wyników poza granicą jednego odchylenia standardowego; 7. Piętnaście wyników w granicach średnia ± jedno odchylenie standardowe; 8. Żaden z kolejnych ośmiu wyników nie lokuje się w granicach średnia ± jedno odchylenie standardowe. 6 1(21)

7 W roku 1981 ukazała się praca prof. Jamesa O. Westgarda i wsp., która rozszerzyła możliwości interpretacyjne użytkowników kart kontrolnych w laboratoriach medycznych 5. Na podstawie szczegółowej analizy skuteczności poszczególnych konstelacji wyników kontrolnych w wykrywaniu nieprawidłowości, autorzy zaproponowali złożony algorytm interpretacyjny, który można stosować przy wykrywaniu zmienności z przyczyn wyznaczalnych. Algorytm ten nazywany jest złożoną regułą interpretacyjną lub regułą Westgarda (Ryc. 3). Szczególną zasługą autorów algorytmu jest wyjaśnienie, jak powinno się traktować zidentyfikowane na karcie kontrolnej konstelacje. Istotne dla wszelkich działań podejmowanych po odkryciu nietypowej zmienności jest, by rozpoznaną konstelację powiązać z typem ujawnionych błędów pomiarowych. Autorzy zasugerowali rozpoznawanie w konstelacjach 1 3S i R 4S nadmiernych błędów przypadkowych, czyli zaburzeń precyzji, zaś w konstelacjach 2 2S, 4 1S, 10 X i 7 T nadmiernych błędów systematycznych, czyli zaburzeń dokładności (dziś, po ujednoliceniu słownictwa metrologicznego, nazywanej poprawnością). Publikacja Westgarda i wsp. zmieniła wyraźnie sposób, w jaki postrzega się wyniki nanoszone na kartę kontrolną. Kropki rysowane na milimetrowym papierze zaczęły przenosić więcej informacji. Z prostych sygnałów, świadczących o prawidłowym bądź nieprawidłowym działaniu układu pomiarowego, przekształciły się w swego rodzaju opis szczególnie cenny w praktyce, gdy, działając pod presją czasu, trzeba podjąć natychmiastowe czynności zaradcze. Sygnały mówiące o zbyt dużych błędach przypadkowych skierowały uwagę wykonawców badań na czynniki zwiększające rozproszenie wyników, niestabilności, nieciągłości, zanieczyszczenia itp. Zapisy świadczące o zbyt dużym błędzie systematycznym pozwoliły zaś skupić się na powodach obserwowanych przesunięć wycentrowanego do tej pory procesu pomiarowego. Wczesne koncepcje prof. Westgarda i wsp., wynikające ze szczegółowych analiz statystycznej mocy proponowanych działań kontrolnych, przerodziły się po latach w coś, co jest swego rodzaju paradygmatem, ujmowanym za pomocą angielskiego zwrotu performance driven quality control 6. Oznacza to konieczność dopasowania działań kontrolnych do jakości kontrolowanego układu pomiarowego. Idea ta zawarta jest w obowiązującej w Polsce regulacji prawnej przedstawiającej standardy jakości dla medycznych laboratoriów diagnostycznych i mikrobiologicznych 7. Opisane powyżej rozwiązania stosować można jedynie w odniesieniu do danych ilościowych, z zastrzeżeniem, że powinny one wykazywać w okresie stabilnego funkcjonowania metody badawczej rozkład normalny. Upraszczanie sygnałów pomiarowych (zaokrąglanie wyników) może zmieniać rozkład danych, który zaczyna odbiegać od rozkładu normalnego. Karta kontrolna Levey a i Jenningsa przestaje mieć wtedy zastosowanie. Podobnie przekształcanie danych ilościowych w dane półilościowe lub jakościowe sprawia, że konieczne staje się zastosowanie innych narzędzi kontrolnych. Ryc. 3. Reguła Westgarda i wsp S jeden wynik poza granicą dwóch odchyleń standardowych (sygnał ostrzegawczy); S jeden wynik poza granicą trzech odchyleń standardowych; S dwa wyniki poza granicą dwóch odchyleń standardowych; 4. R 4S dwa wyniki uzyskane w tej samej serii pomiarowej oddalono od siebie o ponad 4 odchylenia standardowe; S cztery wyniki poza granicą jednego odchylenia standardowego; X dziesięć wyników po jednej stronie wartości średniej; 7. 7 T siedem stopniowo narastających (malejących) wyników. 7

8 Planowanie skutecznego programu kontroli wewnątrzlaboratoryjnej składa się z kilku etapów. Istotne jest w tej fazie: 1. Określenie wielkości dopuszczalnych błędów pomiarowych; 2. Wybranie najlepszego stabilnego materiału kontrolnego; 3. Przeprowadzenie wstępnej oceny układu pomiarowego, która dostarczy informacji o nieprecyzyjności i obciążeniu wyników pomiarów; 4. Wybranie schematu kontroli z określoną liczbą pomiarów w serii oraz optymalnym położeniem granic kontrolnych na karcie (kartach) Levey a i Jenningsa. Odpowiedzialność za określenie pożądanej jakości analitycznej wyników badań, wyrażonej w formie dopuszczalnych błędów pomiarowych, spoczywa na wykonawcach badań. Przy podejmowaniu decyzji o tym, jak duże błędy możliwe są do zaakceptowania, korzystać można z kilku źródeł informacji. Najobszerniej opisane jest postępowanie oparte na analizie zmienności biologicznej badanych składników prowadzące do ustalenia wielkości dopuszczalnych błędów 8. Rozwiązanie to sprawdza się przy większości składników występujących naturalnie w materiale biologicznym. Z praktycznego punktu widzenia, przy ustalaniu dopuszczalnych błędów pomiarowych użyteczne są także kryteria oceny jakości przyjmowane w programach zewnętrznej oceny jakości (np. Centralnego Ośrodka Badań Jakości w Diagnostyce Laboratoryjnej) 9. Po ustaleniu wielkości dopuszczalnych błędów pomiarowych możliwe staje się przeprowadzenie interpretacji wyników oceny wstępnej układu pomiarowego, który ma być objęty kontrolą jakości. Materiał kontrolny, wybrany do rutynowego postępowania kontrolnego, poddaje się wstępnym pomiarom. Na podstawie ich wyników oblicza się podstawowe miary rozkładu normalnego wartość średnią oraz odchylenie standardowe. To te dwie liczby dostarczają informacji o błędach pomiarowych. Wartość średnia porównana z wartością odniesienia dostarcza informacji o obciążeniu (błędzie systematycznym) ocenianego układu pomiarowego. Stwierdzona różnica, wyrażana zwykle w formie procentowej (obciążenie, B%), jest miarą poprawności wykonywanych badań. Odchylenie standardowe, odzwierciedlające rozproszenie wyników wokół wartości średniej, dostarcza informacji o błędach przypadkowych towarzyszących pomiarom. Odniesione do wartości średniej w obliczeniu współczynnika zmienności (CV), jest miarą precyzji wykonywanych badań. Tyle teoria metrologiczna. W praktyce przydatne jest zrozumienie, że B% i CV to jedynie przybliżone i umowne miary poprawności i precyzji wykonywanych badań. Nadawanie im jednoznacznej wymowy może być niekiedy nadinterpretacją. B% jest pochodną różnicy pomiędzy wartością średnią a przyjętą wartością odniesienia. W warunkach pracy rutynowej dostęp wykonawców badań do wiarygodnych wartości odniesienia, przypisanych materiałowi kontrolnemu, jest ograniczony. Posiłkowanie się wartością odniesienia podaną w metryczce mianowanego materiału kontrolnego, choć najprostsze, może być w przypadku wielu produktów odwoływaniem się do średniej wartości uzyskanej tą samą metodą w innym laboratorium. Lepszym rozwiązaniem jest korzystanie z wartości odniesienia uzgodnionej w wielu laboratoriach badających taki sam materiał kontrolny. Może to być wartość średnia aktualizowana przez producenta materiału kontrolnego po pewnym okresie użytkowania produktu lub wartość średnia obliczana w firmowych bądź niezależnych programach porównań międzylaboratoryjnych (w Polsce np. Standlab). Innym praktycznym ograniczeniem przy posługiwaniu się wartością B% jest to, że wartość średnia brana do obliczeń nie zawsze ukazuje obecność systematycznych przesunięć w wynikach. Skrajne przesunięcia grup wyników, okresowe ich zawyżanie i zaniżanie, doprowadzać może do uzyskiwania średniej wartości, która stwarzać będzie pozór bardzo dobrego wycentrowania procesu pomiarowego (Ryc. 4). 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3, ,45 6,78 5,46 4,13 3,47 Ryc. 4. Układ wyników ukazujący systematyczne przesunięcia (powtarzający się trend) wartość średnia i obliczona wartość B% nie dostarczają w tym wypadku informacji o obecności błędów systematycznych. Współczynnik zmienności CV jest miarą precyzji, obliczaną jako pochodna odchylenia standardowego i wartości średniej. Ograniczenie praktyczne w posługiwaniu się wartością CV wynika z tego, że opierając się na niewielkiej liczbie wyników, trudno ją dokładnie oszacować. W prak- 8 1(21)

9 tyce laboratoryjnej trudno zgromadzić w okresie wstępnej oceny setki wyników pomiarów kontrolnych przeprowadzonych w jednym materiale. Wyników takich jest zwykle około dwudziestu. Przedział ufności obliczony dla CV przy niewielkiej liczbie danych jest szeroki. Jeśli np. rzeczywista wartość CV to 5 %, to przy 20 wynikach istnieje 95 % prawdopodobieństwo, że wartość obliczona pochodzić może z przedziału 3,8-7,3 %. Dlatego interpretując wyniki przeprowadzanych w praktyce obliczeń, warto mieć w pamięci to, że dysponując ograniczoną pulą danych, dokonuje się jedynie zgrubnego oszacowania CV. Drugie ograniczenie CV jako miary precyzji to fakt, że wyniki pomiarów kontrolnych nie zawsze wykazują rozkład normalny, przez co odchylenie standardowe przestaje być rzetelną miarą rozproszenia wyników wokół średniej. Jeśli przyjrzeć się jeszcze raz rycinie 4, dostrzec można, że, przy niewielkiej wartości B%, wartość CV będzie dość duża. Liczby sugerują w tym wypadku problem z precyzją przy całkowicie zadowalającej poprawności. Ocena karty kontrolnej ukazuje coś przeciwnego. W celu uniknięcia tego rodzaju pułapek, warto trzymać się zasady, wg której pełna ocena jakości kontrolowanego procesu powinna opierać się zarówno na analizie wskaźników liczbowych, jak i graficznej prezentacji zarejestrowanej zmienności procesu. Jakość układów pomiarowych instalowanych w laboratoriach medycznych ulega stałej poprawie. Stabilizacja warunków przeprowadzanych pomiarów sprawia, że coraz częściej widuje się testy, dla których B% i CV przyjmują bardzo małe wartości. Ta wielce pożądana tendencja doprowadza do sytuacji, w której klasyczna karta kontrolna Levey a i Jenningsa przestaje mieć realne zastosowanie. Odnoszenie wyników pomiarów do bardzo wąskiego obszaru kontrolnego wyznaczonego przez trzy, cztery, a nawet pięć małych odchyleń standardowych, jest nieuzasadnione. Wydaje się, że nadszedł czas na podjęcie dyskusji o nowych rozwiązaniach kontrolnych, które uwzględniałyby zachodzący postęp technologiczny. Przyczynkiem do takiej dyskusji mogą być prace dr Philippe Marquisa, propagującego nowe rodzaje kart kontrolnych 10,11. Piśmiennictwo 1. Shewhart WA. Economic control of quality of manufactured product. D. Van Nostrand Company, New York Western Electric Company. Statistical Quality Control handbook. Western Electric Co, Indianapolis Nelson LS. Technical Aids. Journal of Quality Technology 1984, 16, 4, Levey S, Jennings ER. The use of control charts in the clinical laboratory. Am J Clin Pathol 1950;20: Westgard JO, Barry PL, Hunt MR, Groth T. A multi-rule Shewhart chart for quality control in clinical chemistry. Clin Chem 1981;27: Brooks ZC. Performance driven quality control. AACC Press, Washington Rozporządzenie Ministra Zdrowia z dnia 21 stycznia 2009 r. zmieniające rozporządzenie w sprawie standardów jakości dla medycznych laboratoriów diagnostycznych i mikrobiologicznych. Dz.U z dnia 11 lutego 2009 r. 8. Fraser CG. Biological Variation: From Principles to Practice. AACC Press, Washington

10 ocena JAKoŚCI BADAń LABorAToryJnyCh za PoMoCą MIAr ProGrAMU SIx SIGMA Sten Westgard MS Westgard QC Wprowadzenie Laboratoria poszukują obiektywnych sposobów oceny i porównania metod analitycznych oraz pracy aparatury. Niestety istnieje bardzo niewiele sposobów umożliwiających bezpośrednie porównanie systemów na wspólnej płaszczyźnie. Aktualnie stosowane metody oceny mogą być nieobiektywne, uzależnione od niejasnych kryteriów zaawansowania technologicznego lub skupiające się na łatwo mierzalnych czynnikach, takich jak szybkość pracy, koszt lub łatwość użycia. Analityczne cele i wymogi dotyczące jakości danego testu są często pomijane podczas procesu decyzyjnego związanego z zakupem aparatury. Szybko zmieniające się przepisy dodatkowo zwiększają niejasności dotyczące akceptowalnych standardów jakości aparatury oraz metody. Niniejsze opracowanie opisuje technikę prowadzenia obiektywnej i ilościowej oceny przydatności metod, działania analizatorów oraz pracy laboratoriów. Technika ta oparta jest na trzech częściach składowych obejmujących: 1. statystyczne miary jakości programu Six Sigma, czyli ogólnie akceptowane miary zarządzania jakością, ulepszania procesów oraz uniwersalnej analizy porównawczej; 2. wymogi jakościowe w formie konkretnych celów ilościowych dla testów analitycznych; oraz 3. dane dotyczące wydajności uzyskane podczas walidacji i weryfikacji metody lub rutynowe dane laboratoryjne. Jednym ze sposobów zrozumienia, w jaki sposób analiza miar jakości Sigma łączy te trzy części składowe, jest obrazek przedstawiający tarczę z wbitą strzałą (Ilustracja 1). Kształt tarczy określany jest przez statystyczne miary jakości programu Six Sigma. Wielkość tarczy określana jest przez wielkość wymogu jakościowego. Miejsce wbicia strzały określane jest przez dane zebrane w trakcie stosowania metody. Ilustracja 1 Analiza statystycznych miar jakości Sigma jest nie tylko obiektywną oceną metod analitycznych oraz pracy aparatury, ale stanowi także krytyczną wiedzę z zakresu wprowadzenia projektu w życie. Naturalną konsekwencją analizy statystycznych miar jakości Sigma jest powstanie planu kontroli jakości (Quality Control Design), w którym za pomocą ilościowych i graficznych narzędzi ustala się procedury kontroli jakości niezbędne do rutynowego monitorowania działania metod i analizatorów. 10 1(21)

11 Six Sigma jako cel diagnostyki laboratoryjnej Six Sigma jest ogólnie uznanym programem zarządzania jakością, który poza branżą medyczną prawdopodobnie najbardziej znany jest jako innowacyjny produkt firm General Electric oraz Motorola. 1 Nazwa Six Sigma kojarzona jest także z kolorowymi określeniami osób zaangażowanych w prace związane z programem green belt ( zielony pas, czyli pracownik wykonujący zadania Six Sigma w niepełnym wymiarze godzin), black belt ( czarny pas, czyli pełnoetatowy pracownik zespołu Six Sigma), master black belt ( mistrz czarnego pasa, czyli konsultant czarnych pasów ) oraz champion (wyższy menedżer odpowiedzialny za pracę zepołu Six Sigma). Program Six Sigma stosowany jest zarówno przez firmy produkcyjne, jak i usługowe, oraz różne placówki służby zdrowia, od szpitali po laboratoria referencyjne. Statystyczna miara jakości programu Six Sigma daje możliwość ilościowego określenia wykonania procesów, wyrażonego jako liczba defektów na milion możliwości ich wystąpienia (ang. Defects-Per-Million Opportunities DPM lub DPMO). Programy Six Sigma zawierają także wydajne techniki, takie jak metodologia DMAIC (ang. Define-Measure-Analyze-Improve-Control, czyli zdefiniuj-zmierz-przeanalizuj-usprawnij-kontroluj) oraz analiza przyczyn źródłowych (ang. Root Cause Analysis), umożliwiające wykrycie i wyeliminowanie wad i zmienności w procesie. Celem programu Six Sigma jest, najprościej rzecz ujmując, wyeliminowanie lub ograniczenie wszelkiej zmienności w obrębie danego procesu. Zmienność w procesie prowadzi do niepotrzebnej pracy i strat materiałowych związanych, między innymi, z powtórkami oznaczeń oraz szukaniem rozwiązań zastępczych. Ograniczanie liczby usterek zmniejsza koszty oraz wpływa na poprawę wydajności i rentowności. Proces, który spełnia założenia programu Six Sigma, pozwala osiągnąć zarówno wysoką jakość, jak i wydajność. Ilościowy cel programu Six Sigma to stworzenie procesu, który minimalizuje zmienność, aż do osiągnięcia średniej wyznaczonej przez sześć odchyleń standardowych od granicy tolerancji (Ilustracja 2). Osiągnięcie poziomu sześciu odchyleń standardowych (światowy poziom jakości) oznacza wystąpienie około trzech defektów na milion możliwości ich wystąpienia. Ilustracja 2: Związek pomiędzy nieprecyzyjnością (współczynnik zmienności CV), niedokładnością (obciążenie) a całkowitym błędem dopuszczalnym (TEa) w przewidywaniu defektów Skala Six Sigma zazwyczaj obejmuje zakres od zera do sześciu, ale proces może przekroczyć wartość sześciu sigm, jeśli zmienność jest na tyle niska, żeby obniżyć ilość defektów. Poza branżą medyczną poziom 3 Sigma uznawany jest za najniższą dopuszczalną jakość procesu. Jeśli jakość spada poniżej poziomu 3 Sigma, proces uważany jest za niestabilny i nieakceptowalny. W przeciwieństwie do innych branż, służba zdrowia i laboratoria kliniczne zdają się pracować w środowisku 2 do 3 Sigma. Rutynowe stosowanie w kontroli wartości granicznych 2s (tzn. 2 odchylenia standardowe lub 2 SD) wskazuje na ogólne zadowolenie z tradycyjnego podejścia do kontroli jakości. Pomimo ogólnie znanych problemów wynikających z zastosowania wartości granicznych 2s mogą one prowadzić do fałszywego odrzucenia na poziomie od 10 do 20 %, w zależności od liczby wykonanych kontroli wiele laboratoriów korzysta z nich we wszystkich prowadzonych badaniach. Niewłaściwe stosowanie wartości granicznych 2s w badaniach laboratoryjnych prowadzi często do błędnie powtarzanych kontroli, nadmiaru czynności naprawczych lub, co gorsza, do stosowania rozwiązań zastępczych, które sztucznie poszerzają granice kontrolne, aż do momentu, w którym laboratoria nie są już w stanie wykryć krytycznych błędów analitycznych. Jedną z zalet skali Six Sigma jest możliwość przeprowadzenia uniwersalnej analizy porównawczej. Statystyczne miary jakości Sigma pozwalają na porównywanie ze sobą różnych procesów, nawet pomiędzy różnymi instytucjami i branżami. Na przykład, bezpieczeństwo linii lotniczych osiąga wartość wyższą niż sześć sigma ze średnią 1,5 wypadków na milion wylotów, podczas gdy transport bagażu przez amerykańskie linie lotnicze osiąga poziom zaledwie 4,1 Sigma, ponieważ około 1 % bagaży nie trafia w miejsce docelowe lub jest zagubionych, a punktualność wylotów w amerykańskich liniach lotniczych osiąga poziom zaledwie 2,3 Sigma, ponieważ prawie 30 % lotów jest opóźnionych, co tłumaczy ciągłe niezadowolenie klientów. 11

12 W służbie zdrowia jakość podstawowych procesów w skali Sigma nie jest tak dobrze znana. Kiedy Instytut Medycyny wydał swój słynny raport To Err is Human, 2 okazało się, że w amerykańskich szpitalach odnotowywanych jest od 48 tys. do 90 tys. możliwych do uniknięcia zgonów rocznie. Dokładne przestudiowanie wskaźnika zgonów w szpitalach, które brały udział w badaniu, ujawniło, że ten sektor służby zdrowia osiąga poziom zaledwie 3,8 Sigma. Jeśli miałby on osiągnąć poziom sześć sigma, ilość zgonów wynosiłaby zaledwie od 16 do 34 zgonów rocznie. Nevalainen 3, w swojej przełomowej pracy dotyczącej zastosowania oceny Sigma w laboratorium klinicznym, przeanalizował sposób przeprowadzania podstawowych procesów, wykrywając w wielu z nich rażące nieprawidłowości: Wskaźnik oceny jakości (Q-Probe) % błędów DPM Sigma Dokładność zlecenia 1,8 % ,60 Powielone zlecenia testów 1,52 % ,65 Błędy założenia opaski na nadgarstek (brak opaski) Błędne godziny przeprowadzania badań w terapii monitorowanej (TDM) Akceptowalność próbek hematologicznych 0, ,00 24, ,20 0, ,15 Akceptowalność próbek biochemicznych 0, ,25 Ocena histopatologiczna wyciętych tkanek 3, ,30 Adekwatność materiału cytologicznego 7, ,95 Badania zewnątrzlaboratoryjne 0, ,85 Niezgodność diagnostyczna badań histopatologicznych zamrożonych wycinków tkanek Fałszywie ujemne wyniki ponownego badania przesiewowego rozmazu PAP 1, ,60 2, ,45 Raportowanie błędów 0, ,80 Ilustracja 3: Statystyczne miary jakości Sigma podstawowych procesów w laboratorium, dane Nevalainena. Wracając do naszego modelu tarczy i strzały, możemy powiedzieć, że program Six Sigma warunkuje kształt tarczy. Zgodnie z tym kształtem celem jest trafienie w sam środek tarczy, czyli osiągnięcie zdolności na poziomie sześć sigma, natomiast wewnętrzne okręgi oznaczają poziom 4 i 5 Sigma. Proces charakteryzujący się poziomem wykraczającym poza okrąg 3 Sigma nie osiąga celu i nie może być uznany jako spełniający założenia. Definiowanie wymogów jakościowych Poznanie samego kształtu tarczy nie wystarcza. Jej rozmiar musi być także sprecyzowany. W terminologii programu Six Sigma oznacza to, że wyznaczone muszą być granice tolerancji. W przypadku laboratorium klinicznego chodzi więc o zdefiniowanie wymaganej jakości wykonania testu analitycznego. Granice tolerancji w przypadku laboratorium są najlepiej wyrażane jako całkowity błąd dopuszczalny (ang. total allowable error TEa). Błąd TEa to ogólnie przyjęta koncepcja w laboratoriach medycznych, jako model łączący zarówno nieprecyzyjność, jak i niedokładność (obiążenie) metody do wyliczenia całkowitego ich wpływu na wynik testu. 4 Całkowity błąd dopuszczalny wyraża, jak duża nieprecyzyjność i jak duża niedokładność łącznie mogą być tolerowane w wyniku testu bez negatywnego wpływu na leczenie pacjenta spowodowanego interpretacją takiego wyniku. Six Sigma jako cel diagnostyki laboratoryjnej Ustalenie poziomu jakości wymaganej dla testu laboratoryjnego nie jest tak proste, jak to może się wydawać. Większość laboratoriów nie zna poziomu jakości analitycznej wymaganego dla ich testów. W rzeczywistości wiele laboratoriów zakłada nawet, że wcale nie trzeba go znać. O ile nie otrzymają bezpośredniej reklamacji dotyczącej jakości wyników testu, wiele laboratoriów uznaje, że oferowana przez nie jakość analityczna jest na odpowiednim poziomie. Nie jest to jedyne błędne założenie przyjmowane przez laboratoria. Czasami laboratoria zakładają, iż skoro dany wytwórca skonstruował analizator i wyprodukował do niego odczynniki, jakość przeprowadzanych testów z ich użyciem jest odpowiednia. Chociaż możemy przyjąć, że żaden wytwórca nie wyprodukowałby analizatora i odczynników, które działałyby źle, założenie takie nie jest zgodne z zasadami dobrej praktyki laboratoryjnej. Laboratoria często przyjmują założenie, iż samo postępowanie zgodnie z zaleceniami wytwórcy wystarcza do zapewnienia odpowiedniej jakości takich testów. Ponownie należy zauważyć, iż sam fakt dostarczania przez wytwórcę wskazówek postępowania nie gwarantuje, że są one wystarczające. Standardy branżowe, jak również zapisy odpowiednich rozporządzeń, przenoszą obowiązek zapewnienia właściwych procedur kontroli jakości na laboratorium, a w szczególności na kierownika laboratorium. Jedną z trudności, z którymi mierzą się laboratoria, jest zdefiniowanie specyfikacji jakościowych. Kilkadziesiąt lat temu istniało zaledwie kilka odpowiednich informacji na ten temat. Na szczęście obecnie istnieje szeroki wybór wymogów jakościowych i wartości 12 1(21)

13 docelowych. Dla laboratoriów amerykańskich pierwszym i najważniejszym punktem odniesienia są wytyczne ze sprawdzianów zewnątrzlaboratoryjnych CLIA. CLIA wyznacza szczegółowe wymagania jakościowe dla blisko 80 analitów. Inne kryteria analityczne zapewniane są przez programy sprawdzianów zewnątrzlaboratoryjnych, programy zewnętrznej kontroli jakości lub grupy użytkowników. Poza USA niektóre specyfikacje jakościowe udostępniane są przez Królewskie Kolegium Patologów (Royal College of Australasian Pathologists -RCPA), jak również publikowane w wytycznych Niemieckiego Stowarzyszenia Medycznego (RiliBäk). Kliniczne kryteria stosowane mogą być także w celu generowania wymogów jakościowych. Począwszy od roku 2000 dr Carmen Ricos wraz ze współpracownikami udostępnia ciągle aktualizowaną bazę danych dotyczących zmienności biologicznej. Ułożyli oni w tabelę żądane wartości nieprecyzyjności, niedokładności oraz całkowitego błędu dopuszczalnego dla przeszło 300 różnych analitów. 5 Nowy międzynarodowy standard akredytacyjny dotyczący jakości w laboratoriach, ISO 15189, także zawiera wytyczne dotyczące badań analitycznych. Wreszcie do określenia przedziałów dla decyzji klinicznych wykorzystać można wytyczne ciągle rozwijającego się obszaru badań, którym jest medycyna laboratoryjna oparta na dowodach naukowych (Evidence- Based Laboratory Medicine EBLM). Przedziały takie mogą z kolei być wykorzystane do ustalenia wymogów jakościowych poszczególnych testów. Ostatecznie laboratorium może także skonsultować się z klinicystami, którzy korzystają z wyników testów, i, dokumentując to, w jaki sposób interpretowane są wyniki, ustalić jakość wymaganą dla procesu wykonywania testów. Wracając do modelu strzały i tarczy, ustalenie wymogów jakościowych oznacza określenie rozmiaru tarczy. Ponieważ występują różnice w zastosowaniu i wykonaniu poszczególnych testów, różne są także rozmiary tarczy, w którą trafić musi strzała/proces. Program Six Sigma oraz wymogi jakościowe wspólnie określają kształt i rozmiar tarczy. Teraz wystarczy ustalić, gdzie (i czy) strzała trafia w tarczę. W tym celu potrzebne są nam dane z rzeczywistego przeprowadzonego procesu Pomiar jakości pracy laboratorium w programie Six Sigma Zazwyczaj jakość w skali Sigma wyznaczana jest poprzez zliczenie defektów, a następnie przez przekształcenie tej wartości na liczbę defektów na milion możliwości ich wystąpienia (ang. Defects-Per-Million Opportunities DPM lub DPMO). Znając wartość DPM, skorzystać można z tabeli Six Sigma dostępnej w standardowych opracowaniach, aby uzyskać miarę jakości według Six Sigma. Zliczanie defektów uzależnione jest od dwóch czynników. Po pierwsze, możliwe musi być zdefiniowanie, co oznacza defekt w procesie. Po drugie, możliwe musi być wykrycie defektu, kiedy już nastąpi. W przypadku większości procesów są to proste zadania. Większość procesów analizowanych w projektach Six Sigma korzysta z techniki zliczania defektów. W laboratoriach zliczanie defektów także jest najczęstszą techniką pomiarów Six Sigma. Na przykład, czas uzyskania wyniku (ang. turn-around time TAT) jest łatwy do zdefiniowania dla laboratorium. Laboratorium może ustalić, aby docelowy czas uzyskiwania wyników mieścił się w granicach 60 minut od otrzymania próbki do badania. A zatem, jeśli wynik testu uzyskiwany jest po 61 minutach, łatwo jest wykryć defekt (tzn. TAT wynosi > 60 minut). Zliczenie ilości defektów w wynikach testów (> 60 minut) na przestrzeni pewnego okresu czasu jest prostym sposobem na ustalenie jakości w skali Sigma dla parametru, którym jest czas uzyskania wyniku. Jednak w przypadku samych wyników testów laboratoryjnych ustalenie defektu, a następnie jego wykrycie, jest o wiele trudniejsze. Kiedy wygenerowany zostanie pojedynczy wynik, nie można powiedzieć, jaka powinna być poprawna wartość wyniku tego testu, nawet jeśli próbka zostanie oznaczona wiele razy. Na przykład, jeśli wynik oznaczenia cholesterolu wynosi 212 mg/dl, wartość poprawna dla tego testu nie jest znana, o ile próbka ta nie została oznaczona także przy użyciu akceptowalnej metody referencyjnej. Nie wiemy zatem, czy wynik mieści się w granicach tolerancji lub spełnia wymogi jakościowe. Jeśli wartość poprawna wynosi 190 mg/dl, uzyskany wynik testu jest prawdopodobnie defektem. Jeśli wartość poprawna wynosi 205 mg/dl, uzyskany wynik testu jest prawdopodobnie akceptowalny. Jednak bez znajomości wartości poprawnej nie ma sposobu policzenia, jak wiele defektów generowanych jest w procesie wykonywania testu. Na szczęście istnieje też inna metoda ustalenia jakości procesu w skali Sigma: pomiar zmienności. Jest to metoda wygodna dla laboratoriów, ponieważ pomiar zmienności poprzez wykorzystanie kontroli jest częścią ich rutynowej pracy. Kontrole posiadają znane wartości, a więc zmierzona może zostać zmienność uzyskanego wyniku testu. Dysponując różnymi wynikami oznaczeń kontroli, uzyskać można informacje o standardowym odchyleniu w procesie wykonywania testu oraz obliczyć nieprecyzyjność (współczynnik zmienności, CV w %). Informacje o niedokładności (obciążeniu) procesu wykonywania testu analitycznego można łatwo uzyskać poprzez porównanie wyników pomiędzy zastosowaną metodą testową a metodą referencyjną lub poprzez przeanalizowanie wyników uzyskanych metodą testową względem badań zewnątrzlaboratoryjnych, grupy 13

14 użytkowników lub innego rodzaju zewnętrznego programu zapewnienia jakości. Idealną sytuacją jest, gdy dane dotyczące nieprecyzyjności i niedokładności uzyskiwane są w tym samym okresie czasu i na tym samym poziomie krytyczności (poziom decyzyjny) interpretacji wyników testu. Inaczej mówiąc, dane dotyczące jakości wykonania testu powinny być dokładnym odzwierciedleniem działania metody testu w konkretnym momencie i przy konkretnym stężeniu analitu. W ten sposób otrzymana ocena w skali Sigma najlepiej oddaje rzeczywiste działanie testu. Na przykład, jeśli poziom krytyczny wyznaczany jest przez dolną granicę zakresu pomiarowego testu, szacowane obciążenie powinno być także wyliczone dla tego samego poziomu stężenia lub zastosować można równanie regresji z porównania metod w celu oszacowania obciążenia dla poziomu krytycznego. W przypadku testów o kilku poziomach krytycznych konieczne może być dokonywanie oceny w skali Sigma dla każdego poziomu. Związek pomiędzy nieprecyzyjnością i niedokładnością a miarami jakości Sigma może być przedstawiony graficznie (Ilustracja 2). Uwzględniając prawidłowy rozkład wyników, jak również znaną wartość odchylenia standardowego (nieprecyzyjność) oraz znaną wartość obciążenia, łatwo obliczyć można akceptowalny zakres działania testu i, na odwrót, zdefiniować można zakresy stężeń, przy których wyniki nie są akceptowalne (tzn. poziomy stężeń powyżej i poniżej granic tolerancji, które określają błąd TEa). Związek pomiędzy nieprecyzyjnością i niedokładnością a miarami jakości Sigma może być wyrażony poniższym równaniem matematycznym: Jest to prosty dowód na to, że laboratoria pracują aktualnie w środowisku, w którym osiąganie najwyższego światowego poziomu jakości nie jest celem samym w sobie. Powracając do modelu tarczy i strzały, podejście Sigma daje nam tarczę, wymagania jakościowe definiują rozmiar naszej tarczy, natomiast dane uzyskane dla wybranej metody dają nam strzałę, która powinna trafić w tarczę tak blisko jej środka ( sześć sigma ), jak to tylko możliwe. Nawet jeśli brakuje danych o obciążeniu metody, obliczyć można wynik w zmodyfikowanej skali Sigma. Otrzymana miara jakości dokumentuje zdolność metody do osiągnięcia światowego poziomu jakości w idealnych warunkach i przy braku obciążenia. Ponieważ w rzeczywistości praca każdego laboratorium obciążona jest pewnym błędem systematycznym, obserwowana jakość metody będzie zawsze poniżej jej potencjalnej zdolności w skali Sigma. Korzyścią wynikającą z takiej oceny jest fakt, iż pozwala ona laboratorium na oszacowanie, jak dużo miejsca na błąd pozostaje po uwzględnieniu nieprecyzyjności. W przypadku niektórych analizatorów nawet pojedyncza miara jakości Sigma pozwoli laboratorium na podjęcie decyzji na temat przydatności metody. zdolność wg miary jakości Sigma = = (TEa)/CV obserwowane miara jakości Sigma = = (TEa obciążenie obserwowane )/CV obserwowane Prosty przykład zastosowania równania dla miary jakości Sigma ujawnia, że stan rzeczywisty jakości procesów w służbie zdrowia odbiega od sześć sigma. W przypadku oznaczania cholesterolu CLIA definiuje całkowity dopuszczalny błąd na poziomie 10 %. Oznacza to, że wynik oznaczenia cholesterolu musi mieścić się w granicach 10 % od wartości poprawnej. Amerykański Narodowy Program Edukacji Cholesterolowej (National Cholesterol Education Program NCEP) ustalił osobne, docelowe poziomy nieprecyzyjności i niedokładności wynoszące 3 % dla każdej z nich. Metoda, która pozwala na zachowanie 3 % CV oraz 3 % obciążenia, uznawana jest za akceptowalną przez NCEP. Miary jakości Sigma mówią co innego: (10 3)/3 = 2,33 Sigma lustracja 4: Wykres decyzji dot. metody dla całkowitego błędu dopuszczalnego wynoszącego 10 % Działanie metod może być graficznie przedstawione za pomocą wykresu decyzji dotyczącej metody 6 (MEDx, Ilustracja 4) z nakreślonymi prostymi dla miar jakości programu Six Sigma. Wykres decyzji dotyczącej metody przedstawia niedokładność na osi y, a nieprecyzyjność na osi x. Zazwyczaj wykres taki szkicowany 14 1(21)

15 jest dla każdego poszczególnego wymogu jakościowego (tzn. dla 10 % wymogu jakościowego wykorzystany zostałby wykres decyzji dot. metody stworzony dla 10 %), jednak możliwe jest także jednoczesne przedstawienie kilku metod o różnych wymogach jakościowych za pomocą znormalizowanego wykresu specyfikacji operacyjnych (OPSpecs). W przypadku znormalizowanego wykresu decyzji dot. metody, każda z osi ustawiona jest na 100 %, natomiast wartości x i y ustalane są dla danego testu poprzez obliczenie jego procentowego spełnienia wymogu jakościowego (Ilustracja 5). Ilustracja 5: Znormalizowany wykres decyzji dot. metody Na przykład, jeśli wymóg jakościowy testu wynosi 10 %, podczas gdy współczynnik zmienności (CV) wynosi 1 %, natomiast obciążenie wynosi 2 %, współrzędne na znormalizowanym wykresie decyzji dot. metody wynosiłyby (10, 20) (Ilustracja 6). Ilustracja 6: Znormalizowany wykres decyzji dot. metody z przykładowym punktem Podczas gdy znormalizowane wykresy decyzji dot. metody z wartościami granicznymi programu Six Sigma charakteryzuje wiele właściwości i skomplikowanych obliczeń nałożonych na jeden obraz, wynik takiego wykresu ciągle pasuje do modelu tarczy i strzały. Wykres można wyobrazić sobie jako górną, prawą ćwiartkę tarczy. Obszar wyznaczony wokół punktu (0,0) na wykresie (i poniżej wszystkich prostych) jest środkiem tarczy. Proste Sigma naniesione na wykres są podobne do okręgów na tarczy, gdzie 3 Sigma wyznacza krawędź tarczy (wszystko co jest poniżej poziomu 3 Sigma uznaje się za nietrafiające do celu, tzn. nieakceptowalne). Współrzędne x oraz y dla testu naniesionego na wykres przedstawiają jakość działania testu oraz punkt, w który trafiła strzała. Korzyści z oceny w skali Sigma Biorąc pod uwagę proste parametry stosowane w równaniu wyliczającym miarę jakości Sigma, laboratoria mogą z łatwością ustalić aktualną przydatność wszystkich stosowanych w danym czasie metod. Dane uzyskane z protokołów standardowych metod walidacji nowego analizatora mogą także być wykorzystywane do ustalenia miar jakości działania. Oprócz tego wyniki formalnych badań przeprowadzanych w celu walidacji metody są zazwyczaj przedstawiane w formie plakatów reklamowych podczas konferencji naukowych lub, jako bardziej oficjalne raporty, publikowane w pismach naukowych, lub po prostu dostarczane przez wytwórcę na żądanie. Posługując się takimi danymi, laboratoria mogą obliczyć miary jakości Sigma, porównać je z miarami jakości Sigma analizatorów konkurencyjnych firm, a następnie skorzystać z tej wiedzy w procesie decyzyjnym. Takie zastosowanie miar jakości do oceny i porównania pracy analizatorów przed dokonaniem zakupu nowego urządzenia ma znaczącą wartość. Daje ono laboratorium możliwość przewidywania, które metody spełniać będą jego potrzeby kliniczne, a które nie. Jeden krok dalej: od oceny miar jakości Sigma do planu kontroli jakości Analiza miar jakości Sigma nie ogranicza się tylko do oceny i walidacji metod. Miary jakości Sigma mogą służyć także do udoskonalania i usprawniania rutynowych procedur metody. Połączenie miar jakości Sigma z narzędziami tworzenia planów kontroli jakości, takimi jak wykres specyfikacji operacyjnych (OPSpecs), pozwala laboratorium na dostosowanie do własnych potrzeb i optymalizację procedur kontroli jakości przeprowadzanych w danym laboratorium. Odpowiedni plan kontroli jakości pomaga w wyeliminowaniu znacznej ilości, o ile nie wszystkich, nieekonomicznych praktyk kontroli jakości 2s, zastępując je właściwymi wartościami granicznymi kontroli i liczbą pomiarów kontrolnych. 15

16 Ilustracja 7: Wykres OPSpecs dla całkowitego błędu dopuszczalnego wynoszącego 10 % Wykres typu OPSpecs stanowi graficzny opis nieprecyzyjności i niedokładności, które są dopuszczalne, oraz reguł kontroli i liczby pomiarów kontrolnych, które są wymagane do osiągnięcia przez procedurę kontroli jakości odpowiedniego poziomu zapewnienia jakości analitycznej dla wybranego wymogu jakościowego. 7 Przekątne na tym wykresie przedstawiają zdolność do wykrywania błędów za pomocą rzeczywistych procedur kontroli jakości (reguły kontroli i ilości pomiarów). Linie te ułożone są od góry do dołu zgodnie z ich zdolnością do wykrywania błędów; najwyższa prosta oznacza najwyższą zdolność do wykrywania błędów (pod tą prostą wyznaczone jest największe pole powierzchni, w które może trafić dana metoda). Ilustracja 8: Przykładowy znormalizowany wykres OPSpecs 16 1(21)

17 Inne szczegóły dotyczące procedury kontroli jakości podane są w legendzie po prawej stronie wykresu i obejmują wskaźnik fałszywych odrzuceń (Pfr) oraz liczbę pomiarów kontrolnych (N) i liczbę cykli (R). Nieprecyzyjność i niedokładność metody wykorzystywane są jako odpowiednio współrzędna x oraz współrzędna y. Jeśli taki punkt operacyjny leży pod jedną z prostych na wykresie OPSpecs, wskazuje to, że procedura kontroli jakości przedstawiona przez taką prostą zapewni właściwą jakość procesu (Ilustracja 7). Przywołując po raz ostatni model strzały i tarczy, wykres OPSpecs może być rozpatrywany w ten sam sposób, co analiza miar jakości Sigma z wykresem decyzji dot. metody. Wykres OPSpecs jest jak prawa górna ćwiartka tarczy, z punktem wyjściowym jako środek tarczy. Zdolność metody (strzała) powinna być tak blisko środka tarczy, jak to jest tylko możliwe. Jednak w tym przypadku, różne okręgi na tarczy oznaczają różne procedury kontroli jakości stosowane w laboratorium. Im bliżej środka tarczy, tym więcej dostępnych procedur zarządzania jakością. Wykresy OPSpecs, tak jak wykresy decyzji dot. metody, zazwyczaj generowane są z myślą o konkretnych wymogach jakościowych. Jednak wykresy OPSpecs mogą być także normalizowane, dzięki czemu wiele testów o różnych wymogach jakościowych może być przedstawionych na tym samym wykresie (Ilustracja 8). Wnioski Analiza miar jakości Sigma, wykresy decyzji dotyczącej metody oraz wykresy OPSpecs stanowią proste narzędzia, umożliwiające laboratoriom ocenę przydatności aktualnych metod oraz planu kontroli jakości, jak również porównanie dostępnych na rynku urządzeń konkurencyjnych firm. Podejście to umożliwia zarówno ilościowe obliczenia, jak i wzrokową ocenę. Te techniki zapewniają laboratorium praktyczny sposób wybrania właściwej metody, a następnie wybrania właściwej kontroli jakości dla tej metody. Wynikiem tego jest optymalizacja procesu wykonywania oznaczeń, który spełnia wymagania jakościowe dla właściwej interpretacji testu. Piśmiennictwo Westgard JO, Six Sigma QC Design and Control, 2nd Edition, Madison WI: Westgard QC, nstitute of Medicine. To Err is Human: Building a Safer Health System. Washington DC: National Academy Press, Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124: Westgard JO, Basic Planning for Quality, Madison WI: Westgard QC, 2000 Ricos C, Alvarez V, Cava F, Garcia-Lario JV, Hernandez A, Jimenez CV, Minchinela J, Perich C, Simon M. Desirable specifications for Total Error, Imprecision and Bias derived from Biologic Variation, com/ biodatabase1.htm Accessed December 12, Westgard JO. A Method Evaluation Decision Chart (MEDX chart) for judging method performance, Clinical Laboratory Science, 1995, vol. 8, no. 5, pp Westgard JO, Charts of operational process specifications ( OPSpecs charts ) for assessing the precision, accuracy, and quality control needed to satisfy proficiency testing performance criteria Clinical Chemistry 38: , Abbott MS_09_7907v1-5 May PL-Mn

18 rola ProGrAMóW zewnętrznej oceny JAKoŚCI W LABorATorIUM MEDyCznyM Małgorzata Wróblewska Zakład Medycyny Laboratoryjnej Gdański Uniwersytet Medyczny Zewnętrzną ocenę jakości (External Quality Assessment, EQA) w laboratoriach medycznych można zdefiniować jako zintegrowany, specjalistyczny system retrospektywnego monitorowania wykonawstwa badań odbywających się w określonym czasie i warunkach. Zewnętrzna ocena jakości odbywa się poprzez porównania międzylaboratoryjne (Interlaboratory Comparison, ILC) polegające na zorganizowaniu, wykonaniu i ocenie badań tego samego lub podobnych obiektów badań przez co najmniej dwa laboratoria, zgodnie z uprzednio ustalonymi warunkami. Porównania międzylaboratoryjne mogą być użyte do badania biegłości (określeniu zdolności laboratorium do przeprowadzenia badań). Cele i zasady organizacji badań biegłości określa norma PN-EN ISO/IEC 17043:2010, która zastąpiła przewodnik ISO Guide-43. Próbki kontrolne stosowane do przeprowadzania porównań międzylaboratoryjnych powinny być możliwie najbardziej podobne do próbek pacjentów. Zdolność próbek kontrolnych do zachowania się tak jak autentyczne próbki pacjentów podczas badań wykonywanych przy użyciu różnych metod analitycznych określa się mianem komutabilności. Niestety, nawet jeżeli proces przygotowywania próbek kontrolnych nie powoduje zmiany ich składu, to może wpływać na ich strukturę molekularną. Zatem wyniki analiz w próbkach kontrolnych są analizowane na tle zbioru wyników uzyskanych za pomocą metod tych samych lub opartych na tych samych zasadach, ponieważ oczekujemy takiego samego efektu matrix. W tym miejscu należy podkreślić, że liczebność grup metodycznych wpływa w istotny sposób na wiarygodność wyników EQA. Warunkiem właściwej oceny wykonawstwa badań jest też regularne uczestnictwo w programach EQA. Ocena taka nie powinna być bowiem oparta na pojedynczym wyniku, lecz na serii wyników uzyskanych na przestrzeni czasu. Raporty przygotowywane przez organizatorów EQA stanowią zbiór informacji, które dopiero po wnikliwej analizie stają się naprawdę przydatne do wprowadzenia/utrzymania standardów jakości w laboratoriach medycznych. Zadania programów porównań międzylaboratoryjnych poza badaniem biegłości stwarzają także możliwość ewaluacji stosowanych metod badawczych i aparatury pomiarowej oraz certyfikacji materiałów odniesienia. 18 1(21)

19 zastosowanie METoDy JEG W rutynowej PrACy LABorATorIUM MEDyCznEGo Tadeusz Góralczyk KSS im. Jana Pawła II w Krakowie Danuta Kozłowska Diagnostyka sp. z o.o. sp. komandytowa JEG to program komputerowy opracowany według założeń profesora Jerzego Janeckiego, służący do wyznaczania zakresów referencyjnych z archiwalnych zbiorów wyników badań laboratoryjnych. Zbiór wyników jest przekształcany w histogram. Histogram jest wygładzany metodą jądrowej estymacji gęstości (stąd nazwa programu JEG) i tworzona jest krzywa histograficzna. Krzywa ta jest skalowana do stałej wysokości. W skalowaną krzywą histograficzną wpisywana jest optymalnie dopasowana krzywa Gaussa, której parametry: -2SD i +2SD wyznaczają granice tzw. Gaussowskiego Zakresu Referencyjnego (GZR). Wartości średnie Gaussowskich Zakresów Referencyjnych można wykorzystać do oceny jakości wyników pacjentów przyjmując założenia: 1. duże zbiory wyników określonej populacji dają prawie identyczne GZR-y; 2. stabilna metoda daje odtwarzalne wyniki, a brak odtwarzalności jest wynikiem błędów, co uwidacznia się w zmienności parametrów GZR. Wewnętrzna kontrola jakości (IQC) oparta na pomiarach firmowych materiałów kontrolnych obejmuje tylko analityczny etap procesu powstawania wyników. Nic nie mówi o jakości fazy przedanalitycznej. Analiza zbioru wyników pacjentów daje nam tą informację. Jedną z metod takiej analizy jest ocena średnich z normalnych (AON) zaproponowana przez Cembrowskiego (1984). W oparciu o program JEG można wyliczać dzienne (tygodniowe, miesięczne) GZR-y, nanosić na kartę kontroli ich wartości średnie i analogicznie jak w metodzie AON oceniać ich rozmieszczenie względem wyznaczonych granic. Jeżeli średnia (AON lub GZR) wypadnie poza przyjęte granice, a wyniki IQC są prawidłowe świadcząc o stabilności metody, to można przypuszczać, że przynajmniej część wyników pacjentów może być obarczona błędem przedanalitycznym. Program JEG można zastosować także do oceny jakości wyników powstających z materiałów (próbek) dostarczanych do laboratorium z różnych źródeł. Odbywa się to poprzez wizualne porównywanie krzywych histograficznych z wyznaczonym wzorcem lub między sobą. Wobec powszechnej już komputeryzacji laboratoriów i stale powiększających się baz danych trzeba z nich korzystać, aby wspomóc standardową IQC w trosce o jakość wyników pacjentów. 19

20 Dokonano oceny statystycznej wyników badań pochodzących z programu NATPOL pt. Rozpowszechnienie głównych czynników ryzyka chorób układu sercowo-naczyniowego w Polsce prowadzonego przez Tomasza Zdrojewskiego i współpracowników z Katedry Nadciśnienia Tętniczego i Diabetologii Gdańskiego Uniwersytetu Medycznego. Badania laboratoryjne w tym programie obejmowały pomiar stężenia: glukozy, cholesterolu, triglicerydów, homocysteiny, insuliny i CRP. Analizie statystycznej poddano wyniki pomiaru stężenia: glukozy, cholesterolu, triglicerydów, Podobnie analizie statystycznej poddano zbiory wyników, dla tych samych badań, pochodzących z bazy danych pacjentów Uniwersyteckiego Centrum Klinicznego w Gdańsku. Wielkość badanej populacji pacjentów w programie NATPOL wynosiła od 2300 do 2329 osób. Analizę statystyczną wyników bazy danych UCK prowadzono na zbiorach pochodzących z ostatnich 3 lat o wielkości od ok dla TG i CHOL do dla glukozy. Uzyskane zbiory danych były analizowane w oparciu o oprogramowanie Jądrowej Estymacji Gęstości (JEG). Program ten pozwala na wyznaczenie gaussowskich zakresów referencyjnych. Badanie wykazuje, że uzyskane wartości z zakresów referencyjnych dla poszczególnych badań laboratoryjnych w populacji ogólnopolskiej z programu NATPOL w porównaniu do wyników pacjentów UCK nie różnią się statystycznie znamiennie. Znamienne różnice występują jedynie w wartościach średnich uzyskanych dla cholesterolu i glukozy. Dla triglicerydów różnice są statystycznie nieznamienne. W ramach odrębnych badań użyto programu JEG do wyznaczenia wartości referencyjnych dla badań profilu tarczycowego. Uzyskane wartość modalna dla TSH dla całej populacji szpitalnej wynosi 2,26 uu/ml a zakres wartości referenocena zakresu WArToŚCI referencyjnych na PoDSTAWIE AnALIzy rozkładu WynIKóW Dr Zenon Jakubowski Centrum Medycyny Laboratoryjnej Uniwersyteckie Centrum Kliniczne Gdańsk Gdańsk, ul.dębinki 7 zjakubowski@uck.gda.pl cyjnych 0,37-4,16 uu/ml. Ze zbioru wyników tej populacji usunięto te pochodzące z klinik i poradni endokrynologicznych. Dalsza predefinicja populacji polegała na ograniczeniu populacji do osób dorosłych powyżej 16 roku życia Tabela I. Tabela I. Wartości odniesienia dla TSH wyników pacjentów UCK i proponowanych przez producenta testu firmę Abbott. Wartość modalna uu/ml zakres uu/ml UCK TSh >16 2,16 0,39-3,93 ABBoTT 2,55 0,35-4,94 Legenda: Na poszczególnych wykresach krzywych badań laboratoryjnych: kolorem jasnym czerwonym (obszar zacieniony) zaznaczono wartości referencyjne dla metody Abbott Architect. Kolorem ciemno czerwonym uzyskaną krzywą z danego zbioru wyników. Natomiast kolorem zielonym wyznaczony Gaussowski zakres referencyjny. W lewym górnym rogu znajdują się informacje dotyczące nazwy parametru i zakresu wartości referencyjnych. W prawym górnym rogu natomiast wyznaczony zakres wartości referencyjnych (krzywa Gaussa), liczba wyników oraz wartość średnia lub modalna. 20 1(21)