O przetwarzaniu danych R. Robert Gajewski omklnx.il.pw.edu.pl/~rgajewski www.il.pw.edu.pl/~rg s-rg@siwy.il.pw.edu.pl
Technologia i technika Technologia to naukowo uzasadniony sposób posługiwania się środkami technicznymi. Na miano technologii zasługuje tylko taki sposób, który jest oparty na naukowych podstawach z uwzględnieniem praktycznych aspektów. Technologia oznacza sposób korzystania ze środków technicznych, technika oznacza same środki. 2 13
Elementy i zadania technologii Podstawowe elementy technologii:! środki techniczne! wiedza, na temat posługiwania się środkami technicznymi Zadanie technologii to! służenie człowiekowi w organizowaniu i realizowaniu określonych prac! za pomocą danego sprzętu! w warunkach najpełniejszego wykorzystania jego możliwości. 3 13
Technologia informatyczna Technologia Informatyczna (TI) - Information Technology (IT) to naukowo uzasadniony sposób posługiwania się środkami informatycznymi do! zbierania,! przechowywania,! przetwarzania,! przesyłania,! udostępniania informacji. Do środków informatycznych zalicza się:! urządzenia komputerowe z wejściem i wyjściem! sprzęt telekomunikacyjny. 4 13
Warstwy TI W TI wyróżniamy następujące warstwy:! sprzęt informatyczny! struktury danych! procedury przetwarzania danych Warstwa sprzętowa opisuje urządzenia informatyczne w aspekcie ich użyteczności w procesach informacyjnych nie obejmując problemów budowy i konserwacji. Warstwa danych obejmuje problemy operowania danymi. Warstwa proceduralna określa warunki posługiwania się techniką informacyjną. 5 13
Zakres TI Środki techniczne Sprzęt komputerowy Masowe pamięci zewnętrzna Środki transmisji + komputery Środki multimedialne Technologie informatyczne Technologie przetwarzania danych Bazy danych Sieci komputerowe Technologie multimedialne 6 13
Funkcje i zadania TI Podstawowe funkcje i zadania TI:! ułatwienie organizowania i realizacji procesów informacyjnych! przyspieszenie zbierania, przetwarzania, udostępniania i przesyłania danych (informacji, wiedzy...)! zwiększenie wydajności tych procesów! Odciążenie człowieka w zakresie wykonywania rutynowych prac! wspomaganie procesów zarządzania przedsiębiorstwami TI rozwijają się wraz z doskonaleniem się wszystkich trzech warstw. 7 13
Zmiany w TI Zgodnie z powszechną oceną:! najszybciej zmienia się sprzęt! najwolniej zakres i sposób jego wykorzystania. Najpoważniejsza barierą rozwoju TI staje się postawa człowieka (użytkownika i informatyka) w zakresie poszukiwania nowych sposobów i kierunków zastosowań sprzętu informatycznego. Cóż... Osoby na stanowiskach kierowniczych często nie rozumieją i nie doceniają TI. 8 13
Przetwarzanie danych Przetwarzanie danych (PD) to przekształcanie treści i formy danych metodą systematycznie przeprowadzanych operacji w celu uzyskania z góry zaplanowanych wyników. Korzystając z pojęcia komunikatu możemy interpretować ten proces jako! przekształcenie danych początkowych (wejściowych) dostarczanych przez zbiór komunikatów! w dane wyjściowe (wynikowe). Dane wejściowe nie ulegają ani zniszczeniu ani zużyciu, co sprawia, że proces przetwarzania danych prowadzi do zwiększenia ich ilości. 9 13
Ustalanie terminologii Różne znaczenia terminu przetwarzanie danych:! w szerokim sensie PD to wszelkie prace wykonywane z wykorzystaniem komputera! w węższym sensie PD to przetwarzanie danych masowych! PD to także zastosowanie komputerów w obliczeniach ekonomicznych, gospodarczych, statystycznych i społecznych. W języku potocznym dane i informacje traktowane są jako synonimy. Przetwarzanie danych i przetwarzanie informacji traktowane są także równoznacznie. 10 13
Struktura procesu PD Faza wstępna przygotowanie procesu przetwarzania danych Faza zbierania danych Faza przygotowania do przetwarzania komputerowego Faza przetwarzania zasadniczego Faza końcowa 11 13
Faza wstępna Ustalenie potrzeb informacyjnych użytkownika - potrzebne wyniki wyjściowe Ustalenie niezbędnych danych wejściowych potrzebnych w celu uzyskania wyników Wykonanie prac przygotowawczych - oprogramowanie, dokumentacja Aspekty przygotowania danych:! Infologiczny - rodzaj, zakres...! Metodologiczny - metody, źródła, narzędzia...! Techniczny - środki zbierania danych...! Organizacyjny - dobór personelu, harmonogram prac...! Przestrzenny - organizacja PD w aspekcie przestrzennym 12 13
Faza zbierania danych 13 13 Zbieranie danych wejściowych! koncentracja na badanych obiektach! stosowanie się do instrukcji! czasochłonność - operacje wykonuje człowiek Analiza jakości - ręczna kontrola kompletności i poprawności danych! wykrycie błędów w dokumentach źródłowych! ustalenie rodzaju, rozkładu oraz źródła błędów Wstępne przygotowanie danych do dalszego przetwarzania, np. symbolizacja! zmniejszenie liczby znaków - ilości informacji! skrócenie czasu przenoszenia na nośnik Kompleksowe zbieranie dokumentów źródłowych! zapewnienie przejrzystości materiału
Faza przygotowania... 14 13 Zapisanie danych wejściowych na nośniku elektronicznym, który można dowolnie przemieszczać niezależnie od urządzeń niezbędnych do odczytania zawartych w nim danych! maszynowe sprawdzenie poprawności danych oraz ich ewentualna korekta! ustalenie pomocniczych danych pochodnych! przeprowadzenie automatycznej symbolizacji danych typu np. tekstowego! uporządkowanie - czytaj posortowanie - zbioru danych wejściowych, tak, aby dalsze procesy mogły przebiegać sprawniej! kompresja danych, tak by zajmowały one mniej miejsca
Metody automatyzacji 15 13 BCR (Bar Code Recognition) automatyczne rozpoznawanie kodów kreskowych OMR (Optical Mark Recognition) automatyczne rozpoznawanie znaków umownych (kreski, krzyżyki, kółka itp.) w zależności od miejsca na formularzu OCR (Optical Character Recognition) automatyczne rozpoznawanie pisma maszynowego i znaków pisanych ręcznie poprzez porównywanie ze wzorcami ICR (Intelligent Character Recognition) automatyczne rozpoznawanie pisma z wykorzystaniem metod sztucznej inteligencji, na przykład sieci neuronowych.
Dwie ostatnie fazy... Faza przetwarzania zasadniczego! wykonanie takich operacji na danych wejściowych, które doprowadzą do uzyskania danych wynikowych! zredagowanie wyników! udostępnienie ich użytkownikowi Faza końcowa! wykonanie operacji związanych z zakończeniem procesu przetwarzania danych, takich jak np. przekazanie końcowych wyników do archiwum! wykonanie uzupełniających prac obliczeniowych zgodnie z dodatkowymi wymaganiami użytkownika bądź zleceniodawcy. 16 13
Technologie przetwarzania Przetwarzanie wsadowe Przetwarzanie transakcyjne (interakcyjne) Przetwarzanie scentralizowane Przetwarzanie rozproszone Przetwarzanie współbieżne 17 13
Przetwarzanie wsadowe Wymaga przygotowania wsadu, czyli skompletowania pełnego zbioru danych wejściowych Proces przetwarzania nie wymaga i najczęściej nie dopuszcza jakiegokolwiek sterowania (ingerencji) z zewnątrz Opracowanie każdego rekordu odbywa się zgodnie z tym samym algorytmem 18 13
Przetwarzanie wsadowe +/- Zalety! względnie krótki czas realizacji przetwarzania! liniowa zależność czasu przetwarzania od ilości informacji - możliwość przewidzenia czasu przetwarzania Wady! konieczność skompletowania pełnego wsadu! niemożność ingerencji w proces przetwarzania np. w sytuacji wykrytych błędów! wydłużenie czasu oczekiwania na wyniki 19 13
Przetwarzanie transakcyjne Przetwarzanie transakcyjne (interakcyjne) - opiera się na pojęciu transakcji transakcja to zestaw danych, najczęściej rekord, wymagający niezwłocznego przetworzenia Cechy transakcji! transakcja wykonuje się w całości albo wcale! skutki wykonania transakcji nie naruszają systemu! transakcje są niezależne wobec siebie! zrealizowanie transakcji pozostawia trwały ślad w bazie danych 20 13
Cechy... Podstawowe cechy przetwarzania transakcyjnego:! duża liczba współbieżnych użytkowników! duża wielkość baz danych mierzona w GigaBajtach! predefiniowane standardowe funkcje do obsługi transakcji! duża liczba wykonywanych transakcji Wady to:! niezbędna duża moc obliczeniowa systemu,! wrażliwość na awarie,! rozproszenie geograficzne 21 13
Przetwarzanie scentralizowane Przetwarzanie scentralizowane -skupienie sił i środków w jednym miejscu - centrum przetwarzania danych - PROBLEM ZUS u! prostsza organizacja pracy! ułatwiony sposób zarządzania zasobami! konieczność zgromadzenia danych i dużych mocy obliczeniowych w jednym miejscu 22 13
Przetwarzanie rozproszone Przetwarzanie rozproszone -rozśrodkowanie sił i środków oraz dekoncentracja procesów przetwarzania danych! wykorzystanie zasobów dostępnych w różnych węzłach sieci - architektura klient-serwer! możliwość pracy w pobliżu źródła danych! kłopoty ze spójnością danych i wyników! konieczność koordynacji pracy i dodatkowe trudności organizacyjne 23 13
Przetwarzanie współbieżne 24 13 Procesy współbieżne:! Proces P1 jest współbieżny z procesem P2, jeżeli jeden z nich rozpoczyna się przed zakończeniem drugiego System współbieżny to system, w którym realizowane są procesy współbieżne. Warunki pracy współbieżnej:! Istnieje więcej niż jeden moduł wykonawczy! W przypadku jednego modułu wykonawczego możliwy jest podział czasu Wyróżnia się dwa podstawowe rodzaje systemów współbieżnych:! Wzajemnie niezależne! Współzawodniczące (wykorzystujące wspólne zasoby)