Wspomaganie analizy systemów pomiarowych (MSA)

ARCHIVES of FOUNDRY ENGINEERING Published quarterly as the organ of the Foundry Commission of the Polish Academy of Sciences ISSN (1897-3310) Volume 10 Special Issue 3/2010 169 174 33/3 Wspomaganie analizy systemów pomiarowych (MSA) J. Feliks*, A. Lichota Akademia Górniczo-Hutnicza, Wydział Zarządzania, Katedra Zarządzania i Inżynierii Systemów ul. Gramatyka10, 30-067 Kraków * Kontakt korespondencyjny e-mail: jfeliks@zarz.agh.edu.pl Received 30.04.2010; accepted in revised form 30.05.2010 Streszczenie W artykule opisano wybrane metody służące do oceny systemów pomiarowych dla wielkości alternatywnych z punktu wymagań dotyczących zastosowania statystycznego sterowania procesem i kontroli jakości. Zaprezentowano przykłady zastosowania wybranych metod oceny systemów pomiarowych w tym metodę wykorzystującą test Cohen a. Wyszczególniono wskaźniki takie jak powtarzalność, odtwarzalność, zgodność ze wzorcem, itp. oraz kryteria służące do oceny systemów pomiarowych dla wielkości alternatywnych. Pokazano na przykładzie wyników eksperymentu pomiarowego możliwości wykorzystania pakietu MSExcel do implementacji procedur i analizy wyników. Słowa kluczowe: Analiza Systemów Pomiarowych (MSA), test Cohen a, MSExcel 1. Wprowadzenie Ocena wyrobów metodą alternatywną jest powszechnie stosowana zwłaszcza tam, gdzie bezpośredni lub pośredni pomiar wyrażony wartością liczbową interesującej nas cechy wyrobu jest niemożliwy bądź utrudniony lub nieopłacalny. Wynikiem tego typu oceny są rozstrzygnięcia czy dany wyrób spełnia lub nie spełnia określonych wymogów, ewentualnie wyrób może być oceniany w kilku kategoriach. Sam pomiar i jego wynik nie informuje nas o stopniu spełnienia wymagań w stosunku do badanej cechy, a jedynie wspomaga decyzję o tym czy badany element należy przyjąć jako dobry, czy odrzucić i uznać jako źle wykonany zły. Najczęściej stosowane przyrządy pomiarowe lub metoda oceny daje w wyniku informacje typu TAK/NIE {go/nogo} dwie możliwe wartości informujące czy badany element spełnia lub nie spełnia określonych wymagań. Rzeczywiste systemy pomiarowe charakteryzują się właściwościami statystycznymi, które powinny spełniać określone wymagania, zależne od celów spełnianych przez te systemy. I tak np. w przypadku monitorowania procesu bazującego na ciągłych wynikach pomiarów (SPC) małe wartości błędów położenia i rozrzutu są pozytywne. Natomiast w przypadku klasyfikacji produktów na dobre i złe zalecane są systemy pomiarowe zapewniające wyraźne różnice wyników pomiarów dla obu tych grup produktów. Jednak ze względu na np. błędy wykonania bądź niewłaściwej obsługi tzw. sprawdzianów nie jest możliwe uzyskanie ostrej jednoznacznej granicy pomiędzy kwalifikacją badanej próbki. 2. Metody oceny systemów pomiarowych dla atrybutów W literaturze można spotkać opis kilku metod oceny tego typu systemów metoda analityczna (Analitic Method), metoda detekcji sygnałów (Signal Detection Method), Test Cohen a zgodności ocen kontrolerów (Cross Tab Method) [1]. Procedura oceny tego typu systemów, szczególnie z wykorzystaniem metody detekcji sygnałów wymaga specjalnego przygotowania próbki ARCHIVES of FOUNDRY ENGINEERING Volume 10, Special Issue 3/2010, 169-174 169

przeznaczonej do badań. Aby wyznaczyć liczbowe wskaźniki, na podstawie których dokonuje się oceny systemu pomiarowego złożonego najczęściej z urządzeń pomiarowych oraz operatorów, dokonuje się wstępnej selekcji przeznaczonych do badań elementów. Sposób zbierania próbek różni się od sposobu stosowanego dla danych liczbowych. Próbki nie są pobierane w sposób losowy, lecz są specjalnie wyselekcjonowane. Zaleca się, aby w próbce znalazło się (rys. 1.): - około 1/3 elementów, które jednoznacznie przechodzą test (TAK) obszar III, - około 1/3 elementów, które jednoznacznie nie przechodzą testu (NIE) obszar I. - około 1/3 elementów, które mogą zostać ocenione w różny sposób. Dla takich elementów wyspecjalizowany personel musi określić zgodność lub nie ze wzorcem obszar II. razy. Przy ocenie dokonywanej przez dwóch operatorów w tym samym przypadku minimalna liczność próbki może wynosić ok. 18 sztuk, a liczba powtórzeń pomiaru danej części powinna wynosić 4. Zalecane liczności próbek jak liczbę pomiarów zestawiono w tabeli 1. Dane te należy traktować jako zalecenia przy doborze minimalnej liczności próbki a nie jako wytyczne [2]. Tabela 1. Zalecane liczności próbek i liczby pomiarów Liczba operatorów Liczba przyrządów 1 0 1 1 Minimalna liczba części Minimalna liczba pomiarów dla części badanej. 24 5 2 0 2 lub więcej 1 2 2 lub więcej 3 lub więcej 0 2 lub więcej 2 lub więcej 18 4 12 3 Źródło:Innovations in System Management - elsmar.com Rys. 1. Obszary związane z systemem pomiarowym Próbki te należy traktować jako wzorzec o znanej wartości. Próbki należy ponumerować i w sposób losowy dać każdemu z operatorów do testowania. Wyniki testu pozwalają wyznaczyć wielkość obszaru II decydującego o możliwości niejednoznacznej interpretacji testu. Liczność próbki zależy od ilości operatorów oraz ilości przyrządów używanych podczas testu. Niestety nie ma jednoznacznych metod pozwalających wyznaczyć optymalną liczbę badanych próbek oraz powtórzeń z punktu widzenia kosztów przeprowadzenia badań jak i wiarygodności uzyskanych wyników. W literaturze najczęściej spotyka się opinię, że aby otrzymać wiarygodne wyniki testów należy przeprowadzić badania na ok. 30 do 40 próbek powtarzając pomiary 2 do 3 razy. Oczywiście dobór liczności próbki jak i ilości powtórzeń zależy od specyfiki samego procesu, ustaleń pomiędzy odbiorcą a dostawcą elementów i od procedury przeprowadzenia pomiaru. Jeżeli do oceny wyrobów używa się metod nie wymagających wykorzystania przyrządów (np. ocena wzrokowa) to zaleca się, aby przeprowadzić badania przy liczbie powtórzeń co najmniej 4 Liczba zero w tabeli dla przyrządów oznacza, że test dokonywany jest bez użycia przyrządu np. wzrokowo. Do przeprowadzenia stosownych obliczeń można wykorzystać specjalistyczne oprogramowanie (np. Minitab, Statistica ) lub zbudować arkusz programu Excel wykorzystując wbudowane funkcje tego programu. Poniżej przedstawiono wykorzystanie pakietu do analizy systemu pomiarowego z wykorzystaniem między innymi testu Cohen a. Przykładowy eksperyment przeprowadzono badając 50 elementów z wykorzystaniem jednego przyrządu pomiarowego. W badaniu brało udział dwóch operatorów. W pierwszym etapie badań każdemu z elementów przyporządkowano numer (od 1 do 50) oraz dokonano osądu czy dany element powinien (1), czy nie powinien (0) przejść test. Wyniki zapisano w kolumnie WZORZEC. Przykładowe wyniki pomiarów przedstawiono na rys 2. Następnie operator #1 w sposób losowy otrzymywał próbki do pomiaru realizując badanie wszystkich 50 próbek. W kolejnym kroku do pomiarów przystępował operator #2 realizując pomiar w tej samej co operator #1 kolejności. Kolejny etap procedury polegał na zmianie kolejności (w sposób losowy) badanych elementów i powtórzeniu pomiarów przez obydwu operatorów. Wyniki każdego z operatorów posortowano i wpisano do przygotowanego wcześniej arkusza. 170 ARCHIVES of FOUNDRY ENGINEERING Volume 10, Special Issue 3/2010, 169-174

Rys. 2. Przykładowe wyniki pomiarów W arkuszu umieszczone dodatkowe kolumny informujące o zgodności decyzji każdego operatora pomiędzy sobą (O-O), zgodności decyzji operatora ze wzorcem (O-W), zgodności decyzji operatorów pomiędzy sobą oraz operatorów ze wzorcem. W przypadku wystąpienia niezgodności wyznaczana jest liczba i rodzaj niezgodności np. jeżeli wzorzec został zakwalifikowany jako dobry (1) a operator zakwalifikował go jak zły (0) mamy do czynienia z tzw. niezgodnością pozytywną (N-P). Jest to raczej bezpieczny przypadek odrzucenia dobrej próbki. Inaczej wygląda sytuacja w przypadku zakwalifikowania złej próbki jako dobrej (N-N) ta sytuacja niesie ze sobą poważniejsze konsekwencje związane z przepuszczeniem przez system złej próbki i zakwalifikowanie jej jako dobrej. Na podstawie wyników testu obliczono następujące wskaźniki liczbowe: - Skuteczność (E) odniesiona do operatorów jak i do wzorca - Prawdopodobieństwo fałszywego alarmu (P fa ), które oznacza zakwalifikowanie dobrej próbki (wzorca) jako złą - Prawdopodobieństwo pomyłki (P miss ), które oznacza, które oznacza zakwalifikowanie złej próbki (wzorca) jako dobrą Skuteczność (E) określa zdolność systemu klasyfikacji próbek. Liczona jest jako stosunek liczby właściwie zidentyfikowanych próbek do liczby prób. Jest ona wyrażana najczęściej w procentach. E= liczba właściwie zidentyfikowanych próbek/ liczby prób. Prawdopodobieństwo fałszywego alarmu P fa oznacza szansę odrzucenia właściwego elementu. Obliczane jest jako stosunek zakwalifikowanych jako złe próbki (a są dobre) do liczby pomiarów dobrych próbek. P fa = Liczba fałszywych alarmów/ (Liczba dobrych próbek * ilość pomiarów). Prawdopodobieństwo pomyłki oznacza szansę nie odrzucenia niewłaściwego elementu. Obliczane jest jako stosunek zakwalifikowanych jako dobre próbki (a są złe) do liczby pomiarów złych próbek. P miss = Liczba pomyłek/ liczba sposobności do popełnienia pomyłki W literaturze [1, 3] spotyka się inne wskaźniki pozwalające na ocenę systemu pomiarowego. Jednym z nich jest wskaźnik powtarzalności, czyli liczbowa ocena stopnia zgodności decyzji podejmowanych przez operatora przy badaniu tych samych próbek. ARCHIVES of FOUNDRY ENGINEERING Volume 10, Special Issue 3/2010, 169-174 171

Rys. 3. Raport analizy systemu pomiarowego Powtarzalność wyznacza się jako stosunek liczby zgodnych decyzji operatora przy badaniu próbki do liczby przebadanych próbek. Odtwarzalność wyznaczana jest jako stosunek ilości zgodnych decyzji pomiędzy operatorami do liczby przebadanych próbek. Przy pomocy tego wskaźnika oceniamy jak operatorzy powtarzają decyzję pomiędzy sobą. Zgodność ze standardem liczba decyzji zgodnych ze wzorcem do liczby przebadanych próbek. Na rys. 3. przedstawiono przykładowy raport z przeprowadzonych badań. System pomiarowy ocenia się według wymienionych w raporcie wartości wskaźników, z których najistotniejsze to: współczynnik skuteczności systemu pomiarowego, prawdopodobieństwo fałszywego alarmu oraz prawdopodobieństwo pomyłki. Jednym z ciekawszych parametrów wyznaczanych w analizie jest bias (B). Określa on jedną z tendencji operatora do klasyfikowania próbki jako zła, gdy w rzeczywistości jest dobra lub do nie odrzucenia złej próbki i zakwalifikowanie jej jako dobra. 172 ARCHIVES of FOUNDRY ENGINEERING Volume 10, Special Issue 3/2010, 169-174

Współczynnik bias obliczany jest jako stosunek prawdopodobieństw P fa/ P miss.i w zależności od jego wartości mamy do czynienia z następującymi przypadkami: B < 1 Tendencja systemu pomiarowego do akceptowania próbek B = 1 Brak biasu B > 1 Tendencja systemu pomiarowego do odrzucania próbek Współczynnik ten wyznacza się dla każdego operatora. Proponowane kryteria oceny systemu zestawiono w tabeli 2. Tabela 2. Kryteria oceny systemu pomiarowego [1] Parametr Akceptowalny Marginalnie Nie akceptowalny akceptowalny Skuteczność >90% 80% do 90% < 80% Prawd. <5% 5% do 10% > 10% fałszywego alarmu Prawd. <2% 2% do 5% > 5% pomyłki Powtarzalność >90% 80% do 90% < 80% Odtwarzalność >90% 80% do 90% < 80% Zgodność ze wzorcem >90% 80% do 90% < 80% 3. Analiza systemu pomiarowego z wykorzystaniem testu Cohen a Porównania zgodności pracy operatorów jak i wydawanych przez nich decyzji można dokonać wykorzystując do badań test Cohen a oraz obliczając współczynnik kappa. Współczynnik ten może przyjmować wartość z zakresu od 0 do 1. Przy badaniu zgodności pomiędzy decyzjami operatorów przyjmuje się, że wartość współczynnika powyżej 0,7 oznacza dobrą zgodność ich decyzji. Współczynnik kappa nie rozstrzyga, w jakim stopniu występuje zgodność, jego wartość decyduje tylko o występowaniu lub nie zgodności decyzji operatorów. Aby wyznaczyć wartość współczynnika kappa dla operatorów (w naszym przykładzie operator A to operator#1 a operator B to operator#2) należy przyjrzeć się uważnie wynikom uzyskiwanym przez operatorów podczas badań. W pierwszy kroku procedury wyznaczania współczynnika kappa należy policzyć liczbę zgodnych decyzji wydawanych przez operatorów jak i liczbę występujących decyzji niezgodnych pomiędzy operatorami. Dla naszego przykładu, gdzie do badania wykorzystano 50 sztuk próbek uzyskano wyniki przedstawione w tabeli 3. Na podstawie wyników zamieszczonych w tabeli można stwierdzić, że w 45 przypadkach operatorzy wydali zgodną decyzję o nie akceptacji badanej części (0), w 49 przypadkach ich decyzję o akceptacji części pokrywały się (1), w dwóch przypadkach operator A podjął decyzję o odrzuceniu próbki podczas gdy operator B postanowił zaliczyć próbkę do wykonanych właściwie, a w 4 przypadkach operator A uznał, że badaną próbkę należy przyjąć, podczas gdy operator B uznał, że należy ją odrzucić. W sumie mamy N=100 przypadków, co wiąże się z tym, że pomiar 50 części powtarzano dwukrotnie. Tabela 3. Analiza zgodności decyzji operatorów B Suma Decyzje 0 1 A 0 45 2 47 1 4 49 53 Suma 49 51 100 W kolejnym kroku należy wyznaczyć sumę odpowiedzi zgodnych pomiędzy operatorami. W naszym przypadku znajdują się one na przekątnej tabeli 3. A całkowita liczba wyników zgodnych (45+49 = 94) Następnie wyznaczany oczekiwaną częstość występowania danej kategorii ze wzoru: suma _ wiersz * suma _ kolumna EC = suma co w naszym przypadku dla pierwszego wiersza i pierwszej kolumny daje: EC 47 * 49 = 100 1 1 = 23,03 Analogicznie należy wyznaczyć odpowiednią wielkość dla wiersza drugiego i kolumny drugiej EC 2-2, która w naszym przypadku wynosi (51*53)/100 = 27,03. Wartość współczynnika kappa należy wyznaczyć ze wzoru: kappa = A N EC EC Po podstawieniu danych liczbowych otrzymamy kappa = (45+ 49) (23,03+ 27,03) = 0,88 100 (23,03+ 27,03) Powyższe obliczenia w prosty sposób można wykonać wykorzystując arkusz programu Excel. Poniżej przedstawiono wyniki analizy dla tego samego przypadku uzyskane w w/w programie. ARCHIVES of FOUNDRY ENGINEERING Volume 10, Special Issue 3/2010, 169-174 173

informuje nas, że operator pierwszy posiada dobrą zgodność ze wzorcem. Podsumowanie Rys. 4. Współczynnik kappa dla operatorów Analiza pokazuje, że operatorzy posiadają dobrą zgodność wyników pomiarów pomiędzy sobą (kappa =0,88 > 0,7). Można dokonać również oceny systemu pod względem jego zdolności do sortowania dobrych i złych próbek. Oceny takiej dokonujemy licząc stosowne współczynniki kappa dla poszczególnych operatorów porównując ich wyniki ze wzorcem. Rys. 5. Współczynnik kappa operator wzorzec Na rys.5 przedstawiono przykładowe wyniki analizy uzyskane dla pierwszego operatora. Wartość współczynnika kappa = 0,90 W referacie przedstawiono wybrane metody statystycznej analizy systemów pomiarowych (MSA) przeznaczonych do oceny alternatywnej tzw. atrybutów z wykorzystaniem specjalnych urządzeń pomiarowych (tzw. sprawdzianów). Omówiono liczbowe wskaźniki pozwalające na ocenę tego typu systemów, oraz zaprezentowano możliwości wykorzystania arkusza MSExcel do wspomagania analizy tego typu systemów. Literatura [1] Measurement Systems Analysis MSA-Third Edition. (2002) Reference manual. AIAG-Work Group. Daimler-Chrysler Corporation, Ford Motor Company, General Motors Corporation. [2] Innovations in System Management - elsmar.com. [3] Larry B. Barrentine, Concept for R&R Studies. Second Edition. ASQ Quality Press (2003). [4] ISO-10012 (2003) Measurement management systems - Requirements for measurement processes and measuring equipment. (First edition - 2003-04-15). [5] PN-ISO 10012-2 (1997) Wymagania dotyczące zapewnienia jakości wyposażenia pomiarowego. Cz. 2 - Wytyczne do sterowania procesami pomiarowymi (tłumaczenie na j. polski - PKN - 2002). Computer-aided measurement system analysis Abstract Product analysis with the alternative method is commonly used, especially where the direct or indirect measurement taken as a numerical value of the interesting feature of the product is infeasible, difficult or too expensive. Such an analysis results in deciding whether a given product meets the specified requirements or not. The product may also be analysed in several categories. Neither the measurement itself, nor its result provides information on the extent to which the requirements are met with respect to the analysed feature. The measurement only supports the decision whether to accept the part inspected as good or reject and deem it bad (made improperly). Several analysis methods for systems of this type have been described in the literature: the Analytic Method, the Signal Detection Method, Cohen s Kappa (Cross Tab Method). The paper discusses selected methods of measurement system analysis for alternative parameters in the scope of requirements related to the application of statistical process control and quality control. The feasibility is presented of using the MSExcel package to procedure implementation and result analysis for measurement experiments. 174 ARCHIVES of FOUNDRY ENGINEERING Volume 10, Special Issue 3/2010, 169-174