Dobór próby metodami statystycznymi z wykorzystaniem IDEA CaseWare
Wśród audytorów najczęściej zastosowanie znajdują trzy metody doboru próby. To jaki rodzaj doboru próby zastosujemy zależy od celu przeprowadzanego badania, oraz zastosowanego poziomu istotności. I. PPS (Probability Proportional to Size Sampling) czyli dobór próby z uwzględnieniem wagi próby. Metoda ta służy do oszacowania łącznej sumy niezgodności w zbiorze transakcji finansowych. Możemy ją zrealizować o oparciu o próbkowanie jednostek monetarnych (ang: MUS - Monetary Unit Sample), lub też w szczególności próbkowanie jednostek dolarowych (DUS). W zestawieniu z innymi metodami bazują one na jednostkach waluty, przy czym transakcje z większą kwotą mają większe prawdopodobieństwo, że zostaną wybrane. Metoda MUS jest podobna do próbkowania systematycznego. Różnica tkwi jednak w tym, że dla doboru systematycznego dobierany jest przykładowo co tysięczny rekord, natomiast dla metody MUS wybierana jest co tysięczna jednostka waluty. Metoda MUS jest wskazana do szacowania dokładności raportów finansowych, gdzie istotną składową jest waga(kwota) operacji, a potencjalne błędy występują rzadko. Metoda MUS pozwala więc ocenić skalę niezgodności transakcji wyrażonych w walucie. Metoda MUS jest używana gdy: Badany proces jest powszechnie uznany jako niezawodny, Prawdopodobieństwo błędów jest niskie, Celem audytora jest pozyskanie próby o stosunkowo niskiej liczebności, Skupiamy się bardziej na transakcjach o wyższej wartości, ale nie ignorujemy transakcji niskokwotowych. Badanie z zastosowaniem próbkowania wg metody monetarnej (MUS) obejmuje następujące etapy: 1. Planowanie Wskazanie celu badania, Zdefiniowanie populacji, Opisanie jak intepretujemy potencjalne błędy Oszacowanie wielkości próby w oparciu o: o Poziom pewności jest to wartość procentowa informująca nas na ile próba jest reprezentatywna, oraz na ile posiadamy pewność do interpretowania wyników prawidłowo o Tolerowany poziom błędów (tolerowany błąd szacunków) - jest to wartość maksymalnego błędu w populacji, którego audytor będzie akceptować. o Oczekiwany poziom błędów - błąd, którego audytor oczekuje w populacji w oparciu o wcześniejsze badania, lub własne doświadczenia, 2. Dobór próby z użyciem modułu MUS Wybór próby Przeprowadzenie właściwych badań audytowych na próbie www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 2 z 23
Identyfikacja błędów 3. Analiza wyników Raport niezgodności ukazujący zidentyfikowane błędy, oraz ich interpretacje w odniesieniu do całej populacji, Zestawienie skali wystąpienia błędów z wartością tolerowanego poziomu błędu, Wyciągnięcie wniosków. W ramach monetarnej metody doboru próby IDEA umożliwia proste i intuicyjne przeprowadzenie procesu badawczego poprzez udostępnienie gotowych modułów (zrzut poniżej). Poniższy przykład ukazuje przykładową bazę transakcji sprzedaży. Część transakcji jest ujęta w kwocie ujemnej (co wynika ze specyfiki transakcji płatniczych), w związku z tym wybrano opcję absolute values. Umożliwia to interpretacje wszystkich wartości jako wartości bezwzględne. Dla badanego modelu wskazano poziom pewności na poziomie 95%. Przy metodzie MUS nie zaleca się stosowania poziom pewności niższego niż 90%. Należy również pamiętać, że im wyższy podamy poziom pewności tym bardziej liczebna będzie pobrana próba. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 3 z 23
Kolejnym elementem wymaganym przy oszacowaniu wielkości próby jest wartość tolerowanego poziomu błędu. Jego wartość należy interpretować jako bezwzględny poziom błędów, jaki może być zaakceptowany przez audytora. Im wyższy jest tolerowany poziom błędów, tym więcej błędów możemy zaakceptować, tym samym mniejsza wielkość próby jest wymagana przy badaniu. W naszym przypadku łączna suma sprzedaży wynosi 1,7 mln $, maksymalny tolerowany poziom błędu wynosi 1 procent, co jest toższame z kwotą 17000$ tolerowanego błedu. Ostatnim elementem niezbędnym w szacunku z zastosowaniem metody MUS jest oczekiwany poziom błędu. Jest to inaczej przewidywany poziom błędów szacowany dla całej populacji w oparciu o dotychczasowe doświadczenia i wiedzę audytorów. Wartość oczekiwanego poziomu błędu możemy podać zarówno w postaci procentowej, jak i kwotowej. W naszym przypadku audytor szacuje, że około 0,1% wartości transakcji ( lub inaczej na kwotę 1700$) będzie stanowić poziom oczekiwanego błędu. Po kliknięciu przycisku Estimate IDEA dokonuje oszacowania wielkości próby w oparciu o model MUS. Uzyskujemy wielkość próby na poziomie 363 operacji. Przy założeniu poziomu pewności o wartości 95%, oraz oczekiwanego poziomu błędu na poziomie 0,1% możemy spodziewać, że w próbie o liczebności 363 wystąpi błędna wartość, a syntetyczne prawdopodobieństwo tego zdarzenia wynosi 36,2%. Możemy to wyliczyć ze wzoru: liczebność próby *wartość oczekiwanych błędów/wartość populacji*100 = 363*1700/1700000*100= 36,3% liczebności próby * procentowa wartość oczekiwanych błędów*100 = 363*0,1%*100 = 36,3% www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 4 z 23
Po zatwierdzeniu domyślnych wartości dla kolejnego okna dialogowego (zrzut ekranu powyżej) następuje wyodrębnienie 363 rekordów w nowej tabeli. Dodatkowo do utworzonej tabeli zostaje dołączone nowe kolumny. Jedną z istotniejszych jest kolumna AUDIT_AMT (poniższy zrzut), która zawiera wartości kolumny badanej (kwoty transakcji). Jest to kolumna edytowalna. W sytuacji gdy audytor w ramach badania transakcji w próbie zidentyfikuje operacje dla której kwota odbiega od kwoty zadeklarowanej w systemie, wpisuje w kolumnie www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 5 z 23
AUDIT_AMT faktyczną wartość transakcji Zakładamy, że w ramach działań kontrolnych zidentyfikowaliśmy w próbie 363 transakcji 3 niezgodności. Jedna z nich dotyczy przykładowo rekordu o numerze 250 dla którego zidentyfikowana rzeczywista wartość transakcji wynosi 60,00$ (zamiast 55,32$ ). Po uzupełnieniu kolumny AUDIT_AMT o wyszukane poprawne wartości możemy przeprowadzić analizę skali niezgodności. W tym celu klikamy na opcję Single Sample, która jest dostępna w module Monetary Unit. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 6 z 23
Pojawi się okno dialogowe o nazwie Monetary Unit Sampling Evaluate Single Sample i pozostawiamy domyślne ustawienia dla okna: Na koniec uzyskujemy podsumowanie badań informujące nas o: Nie zidentyfikowaniu przeszacowań (w trakcie badań audytowych przeprowadzonych na próbie transakcji nie zidentyfikowano przeszacowań kwot transakcji) Zidentyfikowaniu trzech niedoszacowań (w trakcie badań audytowych przeprowadzonych na próbie transakcji zidentyfikowano trzy niedoszacowania kwoty transakcji) www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 7 z 23
Szacowany poziom błędu netto dla całej populacji wynosi 1512,47$ Zarówno dla poziomu brutto jak i netto górny maksymalny poziom błędu jest niższy niż tolerowany poziom błędu (17 000$) W związku z tym należy wnioskować z 95 procentową pewnością, że wartość zidentyfikowanych błędów mieści się w przedziale tolerowanego poziomu błędu. Tym samym nie jest konieczne zwiększenie wartości tolerowanego poziomu błędu w przyszłości. Tym samym jesteśmy w 95 procentach pewni, że próba jest reprezentatywna względem badanej populacji generalnej i w związku z tym nie trzeba przeprojektowywać modelu badawczego. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 8 z 23
II. Dobór jakościowy (Attribute Sampling) Dobór jakościowy jest metodą statystyczną doboru próby mającą częste zastosowanie w audycie wewnętrznym. Jej celem jest stwierdzenie, czy poszczególne rekordy są prawdziwe, lub fałszywe. Metoda ta może być użyta w ocenie: Zasadności zastosowanych podpisów autoryzacyjnych dla danej kwoty transakcji, Czy należny rachunek jest zaległy, Czy roszczenia związane z wydatkami podróżniczymi są zasadne, bądź też nie. Generalnie dobór jakościowy jest wskazany gdy: Istnieje potrzeba zastosowania rozwiązania z zakresu statystycznego doboru próby, a dotychczasowe rozwiązania i metody były niezadowalające. Celem badania jest sprawdzenie poprawności funkcjonowania kontroli wewnętrznej. Badanie powinno dać wynik tylko pozytywny albo negatywny dobór losowy bez użycia wag transakcji jest wystarczający. Dobór jakościowy obejmuje następujące etapy: Planowanie Wskazanie celu badań Zdefiniowanie badanej populacji Określenie jak należy interpretować zidentyfikowane niezgodności. Wskazanie wielkości próby z zastosowaniem następujących parametrów: o Poziom pewności jest to wartość procentowa informująca nas na ile próba jest reprezentatywna, oraz na ile posiadamy pewność do interpretowania wyników prawidłowo o Tolerowany poziom błędów (tolerowany błąd szacunków) - jest to wartość maksymalnego błędu w populacji, którego audytor będzie akceptować. o Oczekiwany poziom błędów - błąd, którego audytor oczekuje w populacji w oparciu o wcześniejsze badania, lub własne doświadczenia, Przeprowadzenie doboru jakościowego Wybór próby Przeprowadzenie właściwych badań audytowych na próbie Identyfikacja błędów Diagnoza Raport niezgodności ukazujący zidentyfikowane błędy, oraz ich interpretacje w odniesieniu do całej populacji, Zestawienie skali wystąpienia błędów z wartością tolerowanego poziomu błędu, Wyciągnięcie wniosków. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 9 z 23
Podobnie jak w doborze wg metody pieniężnej (MUS), dobór jakościowy wymaga od użytkownika określenia wartości pewnych wskaźników: Tolerowany wskaźnik odchylenia ujęty w wartościach procentowych, jest to inaczej maksymalny procent błędnych transakcji (np. niezgodnych transakcji) jaki jesteśmy w stanie zaakceptować. Jeżeli liczba błędów będzie wyższa niż tolerowany wskaźnik odchylenia, to oznacza że kontrola wewnętrzna nie spełnia swoich oczekiwań i konieczne jest przemodelowanie systemu kontroli wewnętrznej. Im wyższa wartość tolerowanego wskaźnika odchylenia, tym jesteśmy bardziej skłonni zaakceptować błędy. W takiej sytuacji wymagana jest mniejsza liczebność próby. Oczekiwany wskaźnik odchylenia ujęty w wartościach procentowych jest to procent błędów jakie przewidujemy uzyskać w oparciu o dotychczasowe doświadczenie. Im mniejszy jest oczekiwany wskaźnik odchylenia, tym mniejsza jest wymagana liczebność próby. Poziom pewności ujęty w wartościach procentowych jest to prawdopodobieństwo, że dobrana próba jest reprezentatywna względem populacji generalnej. Im wyższy poziom pewności, tym większa liczebność próby jest wymagana. Aby lepiej zrozumieć przebieg procesu doboru próby metodą jakościową najlepiej będzie przedstawić to na konkretnym przykładzie. Załóżmy, że decyzją Zarządu wskazano maksymalny tolerowany wskaźnik odchylenia na poziomie 10%. W tej sytuacji jeśli uzyskamy wynik powyżej 10% będzie to oznaczać, że działania audytu wewnętrznego nie są zadowalające W oparciu o dotychczasowe doświadczenie Zarząd oczekuje wartość wskaźnika błędów na poziomie 3 procent. Dla Zarządu akceptowalny poziom pewności wynosi 90%. Wielkości populacji generalnej (czyli inaczej liczba rekordów) wynosi 89979. Następnie w IDEI klikamy na moduł Attribute i wybieramy zakładkę Planning(beta risk control. Wszystkie wymienione wartości ( wielkość populacji, tolerowany wskaźnik odchylenia, oczekiwany wskaźnik odchylenia, poziom pewności) wpisujemy odpowiednio do okna dialogowego. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 10 z 23
Aby dokonać stosownych szacunków klikamy na przycisk Compute. W oparciu o nasze założenia dowiadujemy się, że wymagana wielkość próby powinna wynosić 52. Dla takiej próby działania kontrolne będą spełniać nasze oczekiwania gdy zidentyfikujemy nie więcej niż dwa błędy. W takiej sytuacji wskaźnik odchyleń nie będzie większy niż 10%, oraz mamy pewność większą niż 90%, działania audytowe spełniają oczekiwania Zarządu. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 11 z 23
Teraz aby najszybciej dokonać wyboru wymaganych 52 rekordów skorzystamy w IDEI z modułu Random Record Sampling. Następnie należy dokonać szczegółowej oceny wybranych rekordów operacji. Każdy błąd w próbie powinien być odnotowany. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 12 z 23
Po przeprowadzeniu badań kontrolnych na wskazanej próbie przechodzimy do zakładki Sample evaluation, gdzie wpisujemy liczbę zidentyfikowanych błędnych rekordów ( zakładamy że znaleźliśmy 5 błędnych rekordów, zgodnie z naszym założeniem dopuszczalna liczba błedów wynosiła 2 rekordy) wraz z wielkością populacji (89979), wielkością próby(52) i poziomem pewności(90%). Klikamy następnie na przycisk Compute. Na podstawie wyliczeń w IDEI uzyskujemy informacje o faktycznym wskaźniku odchyleń. Interpretacja jest następująca - mamy 90% pewność że wskaźnik odchyleń będzie nie większy niż 17,11%. Wartość wskaźnika jest większa od zakładanej wstępnie wartości na poziomie 10%. W związku z tym próba nie może być traktowana jako reprezentatywna i jest wskazane przeprojektowanie rozwiązań realizowanych w ramach kontroli wewnętrznej. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 13 z 23
www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 14 z 23
III. Klasyczna metoda doboru próby (CVS Classical Variables Sampling) Klasyczna metoda doboru próby pozwala dokonać selekcji danych w taki sposób, aby interpretować każdy rekord jako odrębną jednostkę próby. W związku z tym każdy rekord ma równe szanse, aby zostać wybranym do próby (w przeciwieństwie do metody monetarnej, gdzie faworyzowane są rekordy o większej kwocie). O ile metoda MUS (monetarna) używana jest w sytuacjach gdzie oczekujemy małej liczb błędów, klasyczna metoda lepiej sprawdza się w badaniach w których oczekujemy większej liczby błędów. Z drugiej strony metody klasyczne z reguły wymagają większej liczebności próby. Wyróżniamy trzy rodzaje badań w ramach klasycznej metody doboru próby: Estymacja wartości na podstawie średniej (mean per unit estimation) - w tym przypadku dzięki zastosowaniu średniej wartości elementów w próbie szacujemy wartość tych elementów dla całej populacji. Przykładowo, zakładamy, że posiadamy populacje generalną o wielkości 1000 rekordów i wskazaliśmy próbę 20 rekordów. Następnie sumujemy wartość tych 20 rekordów(5000$) i dzielimy przez ich liczbę (20). Średnia wartość dla próby będzie wynosić 250$ (5000/20). Jeżeli odniesiemy ten wynik do zbioru 1000 rekordów możemy oszacować łączną jej wartość na kwotę 250000$ (250$*1000). Dodatkowo wyliczenia tego typu mogą być wzbogacone o takie wskaźniki jak: poziom pewności, ryzyko próby i wskaźnik błędu dla próby w odniesieniu do całej populacji. Wskaźnik estymacji (Ratio estimation) - najpierw wyliczany jest odpowiedni wskaźnik dla próby, następnie jego wartość odnoszona jest dla całej populacji. Załóżmy, że dla 20 badanych elementów próby uzyskujemy łączną wartość błędów na poziomie 500$, a łączna suma tej próby wynosi 5000$ możemy łatwo wyliczyć wskaźnik błędów na poziomie 10% (500$/5000$). Jeżeli łączna suma wszystkich transakcji w zbiorze wynosi 225000$, więc szacunkowa wartość błędnych transakcji w całej zbiorowości powinna wynosić 22500$ (225000$ *10%). Estymacja różnicująca (difference estimation) - również w swojej konstrukcji uwzględnia wyliczony wskaźnik. Przypuścimy ze mamy do czynienia z populacji o liczebności 1000 rekordów i próbie o wielkości 20 rekordów. Na podstawie analizy danych w próbie zidentyfikowano błędne transakcje w kwocie 500$. Szacunkowa wartość błędnych transakcji w całej zbiorowości będzie wynosić 25000$ (500$/20*1000). IDEA umożliwia przeprowadzenie wyliczeń dla wymienionych powyżej rodzajów szacunków. Dodatkowo przy dokonywaniu tego typu kalkulacji należy wskazać poziom istotności i wymaganą precyzja. Wymagana precyzja jest to różnica między tolerowanym błędem, a oczekiwanym błędem. Im niższa wartość tej różnicy tym większa wymagana jest próba. W oszacowaniu wartości tych wskaźników nieoceniona jest wiedza w zakresie historycznych danych i dotychczasowego doświadczenia przy podobnych badaniach. Poziom precyzji powinien być określony przez Zarząd wraz z pracownikami audytu. Również tutaj konieczne jest wskazanie losowej próby w odpowiedniej wielkości. Aby lepiej zrozumieć sposób realizacji klasycznej metody doboru próby najlepiej będzie to przedstawić na konkretnym przykładzie. Populacją generalną są transakcje płatnicze w restauracji, wśród których czasami występują anulowane transakcje. Z populacji generalnej 89979 transakcji www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 15 z 23
wyodrębniamy 1828 transakcji dla których odnotowano anulowanie sprzedaży. Łączna wartość anulowanej sprzedaży wynosi 52104,18$. Zarząd przypuszcza, że z winy wadliwego systemu płatniczego (POS) skala wadliwych transakcji może obejmować płatności od 20% (1 transakcja na 5) do 33% transakcji (1 transakcja na 3). W oparciu o powyższe informacje zostaje wyliczony poziom precyzji: Tolerowany błąd = 52104,18$ * 0,33 = 17194,38$ Oczekiwany błąd = 52104,18$ * 0,20 = 10420,84$ Wymagana precyzja = 17194,38$ - 10420,84$ = 6773,54$ Następnie w IDEI pozostawiamy otwartą bazę 1828 transakcji z anulowaną sprzedażą i klikamy na przycisk Variables, a następnie uruchamiamy moduł Preparation. Uzyskujemy okno dialogowe o nazwie Classical Variables: Prepare Stratify. W tej części mamy możliwość utworzenia warstw kwot i pobranie reprezentatywnej próby względem warstw. Zastosowanie warstw jest szczególnie przydatne gdy występuje znaczna różnica w rozkładzie danych pomiędzy największymi i najmniejszymi kwotami. W naszym przypadku dane dotyczą transakcji płatniczych w restauracji, z reguły tego typu transakcje ujęte są w niskich kwotach. Rozpiętość kwot transakcji jest więc mała. W związku z tym przyjmujemy, że nie jest konieczne przeprowadzenie stratyfikacji. W oknie dialogowym w pozycji Number of strata wpisujemy 1, oraz pole Automatic sampling of high value items zostawiamy jako nieodznaczone. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 16 z 23
Następnie klikamy na przycisk Next aby uzyskać histogram częstości występowania poszczególnych kwot anulowanych transakcji w próbie. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 17 z 23
Średnia wartość transakcji wynosi 28,50$, a standardowe odchylenie wynosi 32,41$. Wykres jest prawostronnie skośny, co sugeruje, że w zestawieniu występują również operacje z bardzo wysoką kwotą. Klikamy przycisk Next, w kolejnym oknie dialogowym podajemy poziom pewności (confidence level) w wartości 95%, wymaganą precyzja (desired precision) którą wcześniej wyliczyliśmy w wartości 6773,54, oraz oczekiwany udział błędów w populacji (expected proportion of errors in the population)na poziomie 20 %. Przy uwzględnieniu powyższych założeń IDEA dokonała szacunku wymaganej liczby próby na poziomie 256 rekordów (jak poniżej) www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 18 z 23
Wyodrębnienie próby 256 transakcji zostanie zrealizowane przez IDEE z zastosowaniem tzw. czynnika pseudolosowego. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 19 z 23
Uzyskujemy nową bazę reprezentująca wytypowane do próby rekordy. Baza zostaje wzbogacona o nową kolumnę o nazwie AUDIT_AMT, w której audytor będzie wpisywał rzeczywistą kwotę wynikającą z przeprowadzonych przez niego badań. W naszym przypadku zakładamy, że 21 spośród 256 badanych transakcji posiadało kwotę nieprawidłową. Teraz w IDEI klikamy na przycisk Variables a następnie uruchamiamy moduł o nazwie Evaluation. Uzyskujemy okno dialogowe o nazwie Classical Variables: Evaluate box które pozwoli nam podsumować wyniki badań audytowych jakie przeprowadziliśmy na próbie. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 20 z 23
Po zatwierdzeniu informacji w powyższym oknie uzyskujemy wykres w którym zidentyfikowane błędy zostają przedstawione w ujęciu na 6 kategorii: www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 21 z 23
1. Mean per unit - wartość średnia 2. Difference - różnica 3. Combined ratio - wskaźnik zespolony 4. Separate ratio wskaźnik rozdzielny 5. Combined regression regresja zespolona 6. Separate regression regresja rozdzielona Po kliknięciu każdego z wymienionych typów zostanie wyświetlony raport dla wybranej kategorii. Klikając na ikonki dotyczące kategorii Mean per unit uzyskujemy szczegółowe informacje. W oparciu o uzyskany raport możemy stwierdzić z 95% pewnością, że błędy we wszystkich transakcjach(1828 rekordów pierwszej próby) mają wartość między -$15144,76 a -5189,96$. Najbardziej prawdopodobna wielkość łącznej sumy błędów to 10167,36. www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 22 z 23
Dane kontaktowe: PBSG Sp. z o.o. ul. Szyperska 14 61-754 Poznań T: 48 61 826 11 52 M: firma@pbsg.pl www.pbsg.pl Wersja 1.0 z dnia: 2016-01-16 Strona: 23 z 23