Analiza wpływu przekształceń matematycznych na zbiory o zadanym rozkładzie cyfr

Transkrypt

1 Marzena Farbaniec * Tadeusz Grabiński ** Bartłomiej Zabłocki *** Wacław Zając **** Analiza wpływu przekształceń matematycznych na zbiory o zadanym rozkładzie cyfr Streszczenie: Artykuł przedstawia wpływ przekształceń matematycznych na zbiór o zadanym rozkładzie. Jego celem jest sprawdzenie jak działania matematyczne wpływają na rozkład cyfr znaczących w liczbie, co z kolei przekłada się na rozkład całego badanego zbioru. Do analizy wzięto pod uwagę takie działania matematyczne jak: dodawanie, mnożenie, potęgowania, logarytmowanie. Słowa kluczowe: prawo Benforda, rozkład Benforda, rozkład cyfr znaczących, analiza zbiorów danych, metody numeryczne, metody symulacyjne 1. Wprowadzenie W ostatnich latach daje się zauważyć znaczny wzrost zainteresowania prawem Benforda. Przyczynami takiej zmiany stanu rzeczy jest rozwój technologii informatycznych oraz wzrost digitalizacji danych. Informacja stała się najcenniejszym dobrem XXI wieku, a co za tym idzie jest narażona na przypadkową manipulację celową bądź nieumyślne zakłócenia. Można zaobserwować rosnące zapotrzebowanie na analizę i przetwarzanie ogromnej ilości danych liczbowych we wszystkich dziedzinach życia (np. w finansach, medycynie, statystyce, audycie wewnętrznym itd.). Tak duża ilość zgromadzonych informacji bez analizy ich poprawności pod względem możliwych błędów (przypadkowych bądź celowych) jest jednak bezużyteczna. Z pomocą może tu przyjść prawo Benforda, które znajduje coraz szersze zastosowania. W Polsce stosowanie tego prawa jest znikome, w odróżnieniu od krajów zachodnich, gdzie od kilkunastu lat wiedza na temat prawidłowości rozkładu cyfr jest już wykorzystywana w różnych obszarach dziedzinowych. Celem niniejszej pracy jest przedstawienie koncepcji badań symulacyjnych nad zbiorami danych, które pod wpływem operacji arytmetycznych zmieniają rozkład pierwszych cyfr znaczących w liczbach. Wyniki analiz mogą być przydatne w trakcie interpretacji wniosków wynikających z oceny poprawności zbiorów danych opartej na procedurach wynikających z prawa Benforda. * Absolwentka Wydziału Zarządzania Uniwersytetu Ekonomicznego w Krakowie kierunek Informatyka i Ekonometria, specjalizacja Modelowanie i prognozowanie procesów gospodarczych. Obecnie pracuje na stanowisku ksiegowej ds. funduszy inwestycyjnych w firmie State Street Services. Jej zainteresowania naukowe koncentrują się wokół praktycznego wykorzystania rozkładu Benforda. ** prof. dr hab., pracownik Katedry Finansów Uniwersytetu Ekonomicznego w Krakowie. *** ukończył Wydział Zarządzania Uniwersytetu Ekonomicznego w Krakowie. Obecnie pracuje jako konsultant baz danych w firmie informatycznej we Wrocławiu. Jego zainteresowania naukowe koncentrują się wokół wykorzystania rozkładu Benforda w praktyce, a także psychologii stosunków międzyludzkich, ich relacji i zachowań niewerbalnych. **** Absolwent Wydziału Zarządzania Uniwersytetu Ekonomicznego w Krakowie kierunek Informatyka i Ekonometria, specjalizacja Zarządzanie informacjami. Administrator systemów transakcyjnych w firmie ABB. Jego zainteresowania skupiają się wokół praktycznych zastosowań rozkładu Benforda. 1

2 Analiza wpływu przekształceń matematycznych na zbiory o zadanym rozkładzie cyfr 2. Istota prawa Benforda W 1938 roku Frank Benford opublikował wyniki swoich badań dotyczących częstotliwości występowania cyfr na pozycjach znaczących w liczbach opisujących realne zjawiska (zaobserwowanych w przyrodzie nie generowanych sztucznie). Ustalone prawidłowości w tym zakresie nazwane zostało prawem pierwszej cyfry (ang. First Digit Law). Według F. Benforda rozkład częstości wystąpienia kolejnych cyfry na pierwszym miejscu znaczącym liczb ma postać funkcji malejącej. Dla cyfry 1 wynosi 30,1%, dla 2 17,5%, podczas gdy dla cyfry 9 jedynie 4,6% (por. rys. 1) Rysunek 1. Rozkład Benforda dla pierwszej cyfry znaczącej Oczywiście aby powyższy rozkład wystąpił, badany zbiór musi być uwarunkowany pewnymi własnościami. Nie będziemy ich tutaj przedstawiać, jako, że celem autorów nie jest przedstawienie rozkładu Benforda samym w sobie, a zaprezentowanie zmian jakie mogą na niego wpłynąć pod wpływem najpopularniejszych działań matematycznych. 3. Koncepcja badań Podjęte badania miały za zadanie przedstawienie skutków wybranych operacji matematycznych na postać rozkładu pierwszych cyfr znaczących w liczbach. Analizie poddano trzy zbiory danych. Każdy ze zbiorów składał się z 1000 liczb zmiennoprzecinkowych, zaokrąglonych do dwóch miejsc po przecinku. Zbiór typu I: rozkład pierwszej cyfry odpowiada rozkładowi Benforda ,1 17,6 12,5 9,7 7,9 6,7 5,8 5,1 4,6 Zbiór typu II: Rozważano zbiór, w którym częstość pierwszej cyfry maksymalnie odbiegała od rozkładu Benforda. Za taki uznano zbiór, w którym częstość wystąpienia cyfry na pierwszym miejscu jest odwrócona względem rozkładu zaobserwowanego przez F. Benforda ,6 5,1 5,8 6,7 7,9 9,7 12,5 17, Zbiór typu III: rozkład pierwszej cyfry znaczącej ma postać rozkładu równomiernego, to znaczy, że każda z cyfr występuje z takim samym prawdopodobieństwem (z dokładnością do zaokrągleń automatycznie generowanych liczb) ,1 11,1 11,1 11,1 11,1 11,1 11,1 11,1 11,1 2

3 Celem badań było ustalenie czy wybrane działania matematyczne: wpływają na wyjściową postać rozkładu pierwszych cyfr znaczących; w przypadku zbiorów niepodlegających prawu Benforda (zbiory typu II i III) powodują ich transformacje w kierunku zbiorów zbliżonych do zbiorów z rozkładem Benforda (zbiór typu I) W analizie wykorzystano następujące działania arytmetyczne: dodawanie kolejnych podzbiorów w danym zbiorze do każdej liczby ze zbioru dodajemy wartości z kolejnego zbioru o takim samym rozkładzie, mnożenie zbioru przez stałą wartość każda liczba ze zbioru zostaje pomnożona przez stałą wartość, podnoszenie do potęgi każda liczba ze zbioru zostaje podniesiona do potęgi, logarytm zbioru każda liczba ze zbioru zostaje zastąpiona logarytmem o podstawie 2 oraz 10. Ilość możliwych transformacji i operacji matematycznych jest praktycznie nieograniczona. W pracy przedstawiono wybrane ich przykłady, mające na celu przedstawienie procedury i narzędzi tego rodzaju badań symulacyjnych. 4. Narzędzia analizy W analizach wykorzystano dwa narzędzia. Pierwsze z nich to generator zbiorów liczb: podlegających rozkładowi Benforda (zbiory typu I), podlegających odwróconemu rozkładowi Benforda (zbiory typu II), równomiernym rozkładzie pierwszych cyfr znaczących (zbiory typu III), Na rys. 2 przedstawiono parametry generatora, liczba elementów generowanego zbioru od 100 do , rząd wielkości generowanych liczb (od 1 do 9 cyfr), liczba cyfr po przecinku, typ generowanego zbioru. Rysunek 2. Parametry określające postać generowanych zbiorów danych Drugim narzędziem wykorzystywanym jest makro w Excelu, które dostarcza parametry opisujące analizowany zbiór danych (wartości skrajne, średnia arytmetyczna, współczynniki zmienności, skośności i kurtozy) oraz statystyki i mierniki zgodności danego rozkładu cyfr znaczących z rozkładem Benforda. W badaniach dokonano analizy zgodności z rozkładem Benforda częstości występowania następujących kombinacji cyfr: pierwsza cyfra znacząca test F1, dwie pierwsze cyfry znaczące test F2, dokładnie druga cyfra test D2, dokładnie trzecia cyfra test D3. 3

4 Analiza wpływu przekształceń matematycznych na zbiory o zadanym rozkładzie cyfr Parametry makra określające jego możliwości analityczne przedstawiono na rys. 3. Rysunek 3. Parametry makra określającego zakres analizy zbiorów danych w kontekście ich zgodności z prawem Benforda 5. Wyniki analizy zbioru zgodnego z rozkładem Benforda Sumowanie Podczas dodawania zbiorów danych zaobserwowano, że suma kolejnych zbiorów, nie prowadzi do zbioru zgodnego z rozkładem Benforda. Za każdym razem gdy dodawano kolejny zbiór do poprzedniej ich sumy, wykres częstości zmieniał się w sposób nieprzewidywalny. Weźmy pod uwagę sumę 40, 60, 80 oraz 100 zbiorów. Ich wykresy (dla testu F1) wyraźnie odbiegają od rozkładu Benforda (por. rys. 4). W każdym z nich na pierwszym miejscu nie występuje więcej cyfr niż trzy. Można tu zauważyć, że cyfry te znajdują się w przedziale 1 4. Tak więc wraz ze wzrostem liczby dodawanych zbiorów, pierwsza cyfra znacząca będzie stopniowo wzrastać, jednak ilość pierwszych cyfr występujących w generowanych zbiorach będzie zróżnicowana do maksymalnie trzech. Test F1 (suma 40) Test F1 (suma 60) Test F1 (suma 80) Test F1 (suma 100) Rysunek 4. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu I ze sumowanymi elementami 4

5 Testy D2 oraz F2 również nie wypadły korzystnie podczas tego badania. Ich wartości wskazywały, że rozkłady tych cyfr znacząco odbiegały od rozkładu Benforda w każdym z analizowanych zbiorów. Jedynie test D3 wypadł obiecująco. Badając rozkład trzeciej cyfry praktycznie za każdym razem uzyskiwano prawie idealnie odzwierciedleni rozkładu zgodnego z prawem Benforda (por. rys. 5). Test D3 (suma 60) y = 9,489e 0,009x R² = 0,1256 Test D3 (suma 100) y = 9,489e 0,009x R² = 0,1256 Rysunek 5. Rozkłady częstości trzeciej cyfry znaczącej D3 dla zbiorów typu I ze sumowanymi elementami 5.2. Mnożenie Mnożąc elementy zbioru zgodnego z rozkładem Benforda pod kątem testu F1 przez stałą, mamy pewność, że każdy kolejny zbiór, którego elementy są wynikiem iloczynu, będzie podlegał rozkładowi Benforda. Analizowany zbiór został przemnożony przez stałe wartości od 2 do 10. Za każdym razem zbiór wynikowy podlegał rozkładowi Benforda, z niewielkimi odchyleniami, rzędu 5% (por. rys. 6). Zatem cecha niezmienności skali dla zbiorów spełniających założenia prawa Benforda została potwierdzona. Ta cecha jest istotna w odniesieniu do przeliczania wielkości wyrażonych w różnych jednostkach pomiarowych, walut, etc. Test F1 (iloczyn 3) Test F1 (iloczyn 5) y = 43,281e 0,344x R² = 0,8317 y = 22,197e 0,178x R² = 0,5698 Rysunek 6. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu I z elementami przemnożonymi przez wielkość stałą 5.3. Potęgowanie Potęgowanie elementów zbioru Benforda jest również działaniem, wskutek którego powstaje nowy zbiór Benforda. Badany przez nas zbiór został podniesiony do potęgi 2 oraz 3. Za każdym razem można było zaobserwować, że wynikowy zbiór był zgodny z rozkładem Benforda w sensie testu F1 (por. rys. 7). 5

6 Analiza wpływu przekształceń matematycznych na zbiory o zadanym rozkładzie cyfr Test F1 (do potęgi 2) Test F1 (do potęgi 3) y = 30,131e 0,243x R² = 0,8943 y = 30,192e 0,242x R² = 0,9503 Rysunek 7. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu I z elementami podniesionym do n tej potęgi 5.4. Logarytmowanie Elementy badanego zbioru poddano logarytmowaniu, przyjmując za podstawę logarytmów liczby 2 oraz 10. W obu przypadkach uzyskano zbiory odbiegające od założeń rozkładu Benforda (por. rys. 8). W badanym zbiorze wystąpiło 6 różnych pierwszych cyfr dla podstawy logarytmu 2 oraz tylko jedna cyfra dla logarytmu o podstawie 10. Tak więc logarytmowanie elementów zbioru Benforda nie prowadzi do zbioru Benforda. Test F1 (log2) Test F1 (log10) Rysunek 8. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu I ze zlogarytmowanymi elementami 6. Wyniki analizy odwróconego zbioru Benforda (zbiór typu II) 6.1. Sumowanie Dodawanie do siebie elementów zbiorów typu II, nie daje w rezultacie zbioru Benforda. Uzyskuje się tu podobne wyniki jak w przypadku zbiorów typu I, zarówno w sensie testu F1 jak testu D3 (por. rys. 9). 6

7 Test F1 (suma 40) Test F1 (suma 60) Test F1 (suma 80) Test F1 (suma 100) Rysunek 9. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu II ze sumowanymi elementami 6.2. Mnożenie Mnożenie elementów zbiorów typu II przez stałą wartość również nie prowadzi do powstania zbioru Benforda. Niemniej jednak można było tu zauważyć, że im większa była wartość przez którą mnożono elementy wyjściowego zbioru tym bardziej wynikowy zbiór upodabniał się do zbioru o wyjściowym rozkładzie (tzn. zbioru typu II) por. rys.10. Test F1 (iloczyn 6) Test F1 (iloczyn 7) y = 36,97e 0,447x R² = 0,4868 y = 33,896e 0,409x R² = 0,3925 Test F1 (iloczyn 8) Test F1 (iloczyn 9) y = 21,775e 0,284x R² = 0,2086 y = 12,019e 0,134x R² = 0,0489 Rysunek 10. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu II z elementami przemnożonymi przez stałą 7

8 Analiza wpływu przekształceń matematycznych na zbiory o zadanym rozkładzie cyfr 6.3. Potęgowanie i logarytmowanie Zarówno operacje logarytmowania jak i potęgowania elementów zbioru typu II nie prowadzą do powstawania nowych zbiorów o rozkładzie zbliżonym do rozkładu Benforda. 7. Wyniki analizy zbiorów z równomiernym rozkładem pierwszych cyfr znaczących. Sumowanie, mnożenie i logarytmowanie elementów zbiorów typu III nie prowadziły do powstania nowych zbiorów Benforda. Dodawanie i logarytmowanie elementów zbioru typu III przynosiło zróżnicowane rezultaty i nie wskazywało na żadne prawidłowości. Mnożenie elementów zbiorów typu III również zwracało zbiory tego samego typu. Jedynie w przypadku potęgowania elementów zbioru o równomiernym rozkładzie pierwszych cyfr zauważono, że im wyższą przyjmowano wartość potęgi tym bardziej wynikowy rozkład upodabniał się do rozkładu Benforda (por. rys. 11). Niestety analiza tego zbioru (z elementami będącymi potęgami elementów zbioru wyjściowego) przy pomocy testów D2, D3 oraz F2 nie potwierdziła jego zgodności z prawem Benforda. Test F1 (do potęgi 2) Test F1 (do potęgi 3) y = 17,914e 0,104x R² = 0,8944 y = 20,227e 0,135x R² = 0,8629 Test F1 (do potęgi 4) Test F1 (do potęgi 5) y = 21,916e 0,158x R² = 0,7925 y = 23,445e 0,174x R² = 0,8775 Rysunek 11. Rozkłady częstości pierwszych cyfr F1 dla zbiorów typu III z elementami podniesionymi do n tej potęgi 8. Podsumowanie Z przeprowadzonych analiz wynika, że: zbiór o rozkładzie Benforda (typu I) zachowuje tę postać rozkładu w przypadku potęgowania oraz mnożenia jego elementów przez stałą, sumowanie oraz logarytmowanie elementów zbioru o rozkładzie Benforda (typu I) nie prowadzi do zbioru o tym rozkładzie i daje zróżnicowane wyniki, ze zbioru o odwróconym rozkładzie Benforda (typu II) nie można w drodze sumowania, mnożenia, potęgowania i logarytmowania jego elementów uzyskać zbioru o rozkładzie Benforda, mnożenie elementów zbioru o odwróconym rozkładzie Benforda (typu II) może prowadzić do rozkładu tego samego typu, jeżeli za mnożnik przyjmie się wysoką stałą, 8

9 w przypadku zbioru o równomiernym rozkładzie pierwszych cyfr znaczących (typu III) potęgowanie jego elementów (zwłaszcza dla wysokich wartości potęg) prowadzi do zbioru z rozkładem Benforda, mnożenie elementów zbioru typu III prowadzi do zbioru tego samego typu (III), sumowanie i logarytmowanie elementów zbioru typu III prowadzi do zróżnicowanych rezultatów bez dających się zauważyć prawidłowości. Nie można jednoznacznie stwierdzić jak zbiory o znanym rozkładzie częstości poszczególnych cyfr znaczących będą się zachowywać dla innych działań arytmetycznych. Zaprezentowane w pracy badania pokazują jedynie możliwą metodę takich analiz. Bibliografia 1. Benford F.: The Law of Anomalous Numbers, Proceedings of the American Philosophical Society, Vol. 78, No. 4/ Zając W.: Geneza zagadnienia, The Impact Analysis of Mathematical Transformations on the Set of Numbers of a Given Distribution The article presents the impact of mathematical transformations on the set of numbers of a given distribution. Its aim is to check how the mathematical operations affect the distribution of significant digits in the number, which in turn translates into the distribution of the tested set. For the analysis, the authors take the mathematical operations such as addition, multiplication, exponentiation, logarithms into account. Keywords: Benford's law, Benford's distribution, the distribution of significant figures, the analysis of data sets, numerical methods, simulation methods 9