Przetwarzanie danych. Biblioteka. Presentation title. Biblioteka:

Transkrypt

1 Przetwarzanie danych Biblioteka Biblioteka: wskazanie (referencja) na obszar dyskowy, ma którym znajdują się dane wykorzystywane przy pracy może wskazywać na obszar lokalny (aplikacja SAS i dane na jednym komputerze) może wskazywać na obszar zdalny (aplikacja SAS i dane znajdują się na różnych komputerach) opisuje dane "praktycznie" dowolnego formatu 1

2 Instrukcja LIBNAME Tworzenie biblioteki LIBNAME nazwa <motor> ścieżka <opcje>; parametr motor sposób dostępu do danych, np. v8 dostęp do danych z wersji 8, v9 dostęp do danych z wersji 9, oracle bezpośredni dostęp do zbiorów bazy ORACLE. parametr opcje zależne od systemu operacyjnego i od wybranego motoru Usuwanie biblioteki LIBNAME nazwa CLEAR; 4GL: DATA STEP Plik tekstowy Plik tekstowy I N E I F L T N I I U P L F P U E T DATA STEP O E U T G T E R P S E U M T Zbiór danych SAS Zbiór danych SAS 2

3 4GL: DATA STEP DATA zb_wynik_1 (opcje_zb_1)... zb_wynik_n (opcje_zb_n);... Instrukcje;... DATA wynik; SET dane.zbior; suma=x+y+z; DATA STEP: PDV Program Data Vector data wynik; set zrodlo; suma = x+y+z; run; Nazwa X Y Z SUMA Typ N N N N Długość Wartość.... 3

4 DATA STEP: instrukcja przypisania Przypisanie wartości do zmiennej zmienna = wyrażenie; suma = x + y + z; Odczyt danych ze zbiorów SAS SET zbiór_wejściowy_1 (opcje_zbioru_1)... zbiór_wejściowy_n (opcje_zbioru_n); Odczyt danych ze zbiorów SAS MERGE zbiór_wejściowy_1 (opcje_zbioru_1)... zbiór_wejściowy_n (opcje_zbioru_n); Odczyt danych ze zbiorów tekstowych INFILE zbior_tekstowy; INPUT lista_zmiennych; Zapis danych do zbiorów tekstowych FILE zbior_tekstowy; PUT lista_zmiennych; Opcje systemowe DATA test SET kurs.klasa; OPTIONS DATASTMTCHK = COREKEYWORDS ALLKEYWORDS NONE; 4

5 PROC STEP: składnia PROC nazwa_procedury DATA=zbiór_danych opcje_procedury;... Instrukcje ;... Przykładowe instrukcje: WHERE warunek BY zmienne ograniczenie zbioru przetwarzanych obserwacji wymuszenie przetwarzania w grupach FORMAT zmienna format sformatowanie zmiennej podanym formatem TITLEn tytuł FOOTNOTEn tytuł zadeklarowanie n-tego tytułu dla raportów zadeklarowanie n-tej stopki dla raportów PROC STEP Przykłady: proc print data=sashelp.class ; where age>11 ; by sex ; title 'Lista uczniów' ; run; proc chart data=sashelp.class; vbar age /discrete; run; 5

6 Instrukcja SET SET <zbiór_wejściowy<(opcje_zbioru)>> <NOBS=zmienna> <END=zmienna>; data wynik; set zbior; run; LOG: 1 data wynik; 2 set zbior; 3 run; NOTE: There were observations read from the data set WORK.ZBIOR. NOTE: The data set WORK.WYNIK has observations and 7 variables. NOTE: DATA statement used (Total process time): real time 0.31 seconds cpu time 0.18 seconds Czytanie zbioru: filtrowanie wierszy zbiór (WHERE=(warunek)) WHERE warunek; data wynik; set zbior (where=(kwota > 0)); run; data wynik; set zbior; where kwota > 0; run; 6

7 Czytanie zbioru: filtrowanie kolumn zbiór(keep=zmienne DROP=zmienne) KEEP zmienne; DROP zmienne; data wynik; set zbior (keep=imie data); run; data wynik; set zbior (drop=data); run; data wynik; set zbior; keep imie data; run; Czytanie zbioru: zmiana nazw zmiennych zbiór(rename=(stara_nazwa=nowa_nazwa...)) RENAME stara_nazwa=nowa_nazwa...; data wynik; set zbior (rename=(data=dd)); run; data wynik; set zbior; rename data=dd; run; data wynik (rename=(x1-x100=y1-y100)); set zbior; run; 7

8 Wyrażenia SAS: stałe numeryczne Zapis standardowy Notacja naukowa 1.2e23 0.5E-10 Zapis heksadecymalny 322x 0b37X 0AC4x Wyrażenia SAS: stałe znakowe Zapis standardowy Tomasz Gilberta Grape a Ala ma kota Zapis heksadecymalny x 07 x 8

9 Wyrażenia SAS: stałe daty i czasu Stałe zawierające datę 1jan1990 d 03FEB89 d Stałe zawierające czas 9:25 t 10:33:12 t Stałe zawierające datę i czas 1jan1990:9:25 dt ddmmm<yy>yy gg:mm<:ss<.s>> ddmmm<yy>yy:gg:mm<:ss<.s>> 03FEB89:10:33:12 dt Stałe daty i czasu mają wartość numeryczną, a nie znakową!!! Wyrażenia SAS: operatory Operatory arytmetyczne: ** potęgowanie * mnożenie / dzielenie + dodawanie - odejmowanie Operatory porównania: = EQ równe ^= NE nierówne ~= NE nierówne > GT większe < LT mniejsze >= GE większe lub równe <= LE mniejsze lub równe IN jest elementem listy 9

10 Wyrażenia SAS: operatory Operatory logiczne: & AND logiczne mnożenie OR logiczna suma ^ NOT logiczna negacja ~ NOT logiczna negacja Operatory specjalne:!! konkatenacja tekstów <> MAX wartość maksymalna >< MIN wartość minimalna Funkcje SAS: wywoływanie nazwa_funkcji(argument_1, argument_2,...) nazwa_funkcji(of argument_1-argument_n ) nazwa_funkcji(arg_p--arg_k ) nazwa_funkcji() DATA funkcje; args = SUM(12,kwota1); arg_of = MEAN(OF kwota1-kwota5); arg_=mean(ax--pr); w_arg = DATE(); Nazwa ab tn ax kp... pr br Wartość

11 Konwersja typów: konwersja niejawna data wynik; length numeric 8; text='12'; numeric=text; text=numeric*3; run; LOG: NOTE: Character values have been converted to numeric values at the places given by: (Line):(Column). 4:12 NOTE: Numeric values have been converted to character values at the places given by: (Line):(Column). 5:16 Konwersja typów: konwersja jawna zmienna_znakowa = PUT (zmienna, format); zmienna_numeryczna = INPUT (zmienna, informat); data wynik; numeric1 = 12; text1 = '1,234.56'; text2 = put (numeric1, z3. -l); numeric2 = input (text1, comma8.2); run; 11

12 Konwersja typów: ograniczenia data test; numer = 4; run; proc print data=test; where numer = '4'; run; LOG: ERROR: Where clause operator requires compatible variables. Przechowywanie informacji w pętli głównej: instrukcja RETAIN RETAIN zmienna1 <wartość1> zmienna2 <wartość2>... ; DATA sumy; SET zbior; RETAIN suma 0; suma = suma + kwota; Inne rozwiązanie: DATA sumy; SET zbior; suma + kwota; retain var1-var20 (10*5,2*(6,4*7)); 12

13 Przechowywanie informacji w pętli głównej: funkcja LAG LAG<n>(wyrazenie) DATA test; SET zbior1; y=lag(mies); z=lag2(mies); PROC print; title 'Funkcja LAG()'; Przechowywanie informacji w pętli głównej: funkcja DIF DIFn(wyrazenie) DIFn(wyrazenie) wyrazenie - LAGn(wyrazenie) DATA test; SET zbior1; y=dif2(mies); z=mies-lag2(mies); PROC print; title 'Funkcja DIF()'; 13

14 Przetwarzanie iteracyjne: pętla DO DO zmienna = start TO stop <BY krok>;... END; DATA losowe; DO x = -1 TO 1 BY.05; y = RANUNI(0); OUTPUT; END; Przetwarzanie iteracyjne: pętla DO DO zmienna = wartosc1, wartosc2, wartosc3...;... END; DATA stawki; DO mies='styczeń', 'Luty'; INPUT kwota; OUTPUT; END; CARDS; ; 14

15 Przetwarzanie iteracyjne: pętla DO WHILE DO WHILE (warunek);... END; DATA _null_; n=0; DO WHILE(n <= 5); PUT n=; n+1; END; Przetwarzanie iteracyjne: pętla DO UNTIL DO UNTIL (warunek);... END; DATA _null_; n=0; DO UNTIL(n <= 5); PUT n=; n+1; END; 15

16 Przetwarzanie iteracyjne: zagnieżdżanie pętli DATA inwest; ROK=1990; DO WHILE ( ROK <= YEAR(TODAY()) ); kapital ; DO mies=1 TO 12; kapital + (kapital*(0.1/12)); END; OUTPUT; ROK + 1; END; DROP mies; Przetwarzanie w grupach: instrukcja BY BY lista zmiennych <NOTSORTED>; lista_zmiennych zawiera zbiór zmiennych klasyfikujących, których wartości wyznaczają podział na grupy, w których odbywa się przetwarzanie NOTSORTED opcja ta pozwala na przetwarzanie zbiorów nie posortowanych wg zmiennych z listy podanej po instrukcji BY Standardowo wymaga się, aby zbiór danych przetwarzany w podziale na grupy był posortowany lub poindeksowany według zmiennych grupujących. 16

17 Przetwarzanie w grupach DATA KURS MIES 16/04/ /91 23/04/ /91 30/04/ /91 14/05/ /91 21/05/ /91 28/05/ /91 04/06/ /91 11/06/ /91 18/06/ /91 25/06/ /91 data stopa; retain poczatek; set spolka; by mies; if first.mies then poczatek = kurs; if last.mies then do; stopa = (kurs - poczatek) / poczatek; output; end; keep mies stopa; run; Sortowanie danych PROC SORT DATA=zbiór_do_sortowania <OUT=zbiór_posortowany> <opcje>; BY <DESCENDING> var1 <DESCENDING> var2; Opcje: NODUP NODUPKEY FORCE w zbiorze nie zostaną zapisane powtarzające się obserwacje w zbiorze nie zostaną zapisane obserwacje z powtarzającymi się wartościami klucza wymusza sortowanie zbioru poindeksowanego. W przypadku, gdy nie został podany zbiór wyjściowy indeksy zostaną zniszczone. 17

18 Sortowanie danych: przykład PROC SORT DATA=kurs.klasa; BY wzrost; PROC CONTENTS DATA=kurs.klasa; Alphabetic List of Variables and Attributes # Variable Type Len 1 Imie Char 8 2 Plec Char 1 4 Waga Num 8 3 Wiek Num 8 5 Wzrost Num 8 Sort Information Sortedby Wzrost Validated YES Character Set ANSI Łączenie zbiorów danych MIES WSK WSK sklejenie MIES WSK WSK konkatenacja MIES WSK WSK

19 Konkatenacja zbiorów: instrukcja SET SET zbior1 zbior2... ; DATA razem; SET zbior1 zbior2; MIES WSK WSK1 WSK Konkatenacja zbiorów: przeplot zbiorów SET zbior1 zbior2... ; BY zmienna1 zmienna2... ; DATA razem; SET zbior1 zbior2; BY mies; MIES WSK WSK1 WSK

20 Sklejanie zbiorów: instrukcja MERGE MERGE zbiór1 zbiór 2... ; DATA razem; MERGE zbior1 zbior2; MIES WSK WSK1 WSK Sklejanie zbiorów: wspólne zmienne DATA razem; MERGE zbior1 zbior2(rename=(wsk=wsk3)); MIES WSK WSK1 WSK3 WSK

21 Sklejanie zbiorów: sklejanie z dopasowaniem MERGE zbior1 zbior2... ; BY zmienna1 zmienna2... ; DATA razem; MERGE zbior1 zbior2; BY mies; MIES WSK WSK1 WSK Transpozycja: zbiór danych jako macierz MIES WSK1 WSK COL1 COL2 COL3 COL4 COL5 COL

22 Transpozycja: procedura TRANSPOSE PROC TRANSPOSE DATA=zbiór_wejściowy OUT=zbiór_wynikowy <PREFIX=prefix> ; <BY zm_gupujące ;> <VAR zm_transponowane ;> <ID zm_z_nazwami ;> zbiór_wejściowy zbiór_wynikowy prefix zm_grupujące zbiór, na którym wykonywana jest transpozycja zbiór zawierający rezultat wykonanej transpozycji prefix dodawany przed nazwami nowo tworzonych zmiennych lista zmiennych wyznaczających grupy w jakich wykonywana jest transpozycja zm_transponowane lista zmiennych, dla których wykonywana jest transpozycja zm_z_nazwami zmienna w transponowanym zbiorze, która zawiera nazwy nadawane nowo tworzonym zmiennym Transpozycja: prosta transpozycja ROK KWARTAL SUMA1 SUMA PROC TRANSPOSE DATA=kurs.sumy OUT=tsumy; _NAME_ COL1 COL2 COL3 COL4 COL5 COL6 COL7 COL8 ROK KWARTAL SUMA SUMA

23 Transpozycja: transpozycja w grupach PROC TRANSPOSE DATA=kurs.sumy OUT=tsumy; BY rok; ROK _NAME_ COL1 COL2 COL3 COL KWARTAL SUMA SUMA KWARTAL SUMA SUMA Aby wykonać transpozycję w grupach, zbiór wejściowy musi być odpowiednio posortowany lub poindeksowany. Transpozycja: wykorzystanie zmiennej z nazwami PROC TRANSPOSE DATA=kurs.sumy OUT=tsumy; BY rok; ID kwartal; VAR suma1; ROK _NAME 1 _2 _3 _ SUMA SUMA

24 Transpozycja: prefix nazw tworzonych zmiennych PROC TRANSPOSE DATA=kurs.sumy OUT=tsumy (DROP=_name_) PREFIX=kwartal; BY rok; ID kwartal; VAR suma1; ROK KWARTAL1 KWARTAL2 KWARTAL3 KWARTAL PROC TRANSPOSE DATA=kurs.sumy OUT=tsumy (DROP=_name_) PREFIX=kwartal; BY rok; ID kwartal; IDLABEL kwartal; VAR suma1; Transpozycja: zmienne tekstowe i numeryczne PROC TRANSPOSE DATA=sashelp.class OUT=tclass ; VAR name age; _NAME_ COL1 COL2 COL3 Name Alfred Alice Barbara Age Przy jednoczesnej transpozycji zmiennych tekstowych i numerycznych dokonywana jest automatyczna konwersja liczb na ciągi tekstu. 24

25 Formaty Zapis binarny liczby 12 w zbiorze danych: Różne formy prezentacji liczby 12: 12 twelve , e1 XII grudzień 0C $12 12%... Formaty: przypisanie formatu FORMAT zmienna1 format1. zmienna2 format2....; DATA zbior; numer= ; miesiac=7; FORMAT numer commax12.2 miesiac z2.; PROC PRINT DATA=zbior NOOBS; Wynik w OUTPUT: numer miesiac ,

26 Formaty: tymczasowe przypisanie formatu PROC...; FORMAT zmienna1 format1. zmienna2 format2....; PROC PRINT DATA=zbior NOOBS; FORMAT miesiac roman.; Wynik w OUTPUT: numer miesiac ,67 VII Formaty: inne użycie PUT zmienna format....; /* instrukcja */ PUT(argument,format.) /* funkcja */ Przykłady: DATA _NULL_; FILE 'test.txt'; a=12; PUT a BINARY.; DATA test; a=12; b=put(a, BINARY.); 26

27 Formaty systemowe SAS: formaty tekstowe $w. $BINARYw. $CHARw. $HEXw. $OCTALw. $VARYINGw. Towar Towar 546F Towar Formaty systemowe SAS: formaty numeryczne BESTw. w.d BINARYw. COMMAw.d COMMAXw.d DOLLARw.d Ew. FRACTw. HEXw. NEGPARENw.d OCTALw. PERCENTw.d ROMANw. WORDFw. WORDSw. Zw.d , ,50 $2, E / D0 2, % MM two thousand and 50/100 two thousand and fifty hundredths

28 Formaty systemowe SAS: formaty daty i czasu DATEw. DATETIMEw.d DAYw. DDMMYYw. DOWNAMEw. HHMMw.d HOURw.d MMDDYYw. MMSSw.d MONNAMEw. MONTHw. MONYYw. QTRw. TIMEw.d WEEKDAYw. YEARw. 13APR JAN60:05:00: /04/09 Monday 5: /13/ :00 April 4 APR09 2 5:00: Formaty: separator daty Zmiana domyślnego separatora daty Przykłady: Wynik w LOGu: DATA _NULL_; a='12dec2003'd; b='02jan1999'd; PUT a DDMMYY10.; PUT b DDMMYY10.; DATA _NULL_; a='12dec2003'd; b='02jan1999'd; PUT a DDMMYYP10.; PUT b DDMMYYP10.; 12/12/ /01/

29 Formaty: formaty użytkownika Zbiór: Raport: KLIENT TOWAR WARTOSC ILOSC KLIENT TOWAR WARTOSC ILOSC PPH KOALA PLUS MYDŁO KAMA REMBIESZ S.A. SZAMPON ULTRA SP.z O.O. KRET DO RUR POLSTOP S.C. SZAMPON PPH KOALA PLUS PUMEKS Formaty: procedura FORMAT PROC FORMAT <LIB=biblioteka> <CNTLIN=zbiór_definicyjny> <FMTLIB>; <VALUE nazwa zakres1 = wartość_sformatowana1... zakresn = wartość_sformatowanan ; > biblioteka zbiór definicyjny nazwa zakres biblioteka w której ma być zapisana definicja formatu (domyślnie w WORK) opcjonalny zbiór z definicją formatu nazwa tworzonego formatu zakres wartości przed sformatowaniem wartość_sformatowana wartość po sformatowaniu 29

30 Formaty: definiowanie zakresów start - end = wartość_sformatowana start <- end = wartość_sformatowana start -< end = wartość_sformatowana start = wartość_sformatowana HIGH LOW OTHER = wartość_sformatowana PROC FORMAT; VALUE oddzial 0 = 'Centrala' 1 = 'Oddział 1' 2 = 'Oddział 2' OTHER = 'Błędny kod!' ; Agregowanie danych: procedury agregujące Statystyki opisowe: częstość wystąpień suma średnia wartość minimalna wartość maksymalna odchylenie standardowe wariancja udziały procentowe... PROC FREQ... PROC SUMMARY... PROC MEANS... PROC UNIVARIATE... 30

31 Agregowanie danych: procedura FREQ PROC FREQ DATA=zbiór_wejściowy <ORDER=porządek> <PAGE>; <BY zmienne_grupujące ;> TABLES tablice_częstości </ opcje> ; <WEIGHT zmienna_ważąca ;> PROC FREQ DATA=klasa; TABLES plec wiek; PLEC WIEK WZROST Chłopiec Dziewczyna Chłopiec Dziewczyna Chłopiec Agregowanie danych: tablice częstości typu One- Way Raport w oknie OUTPUT: Cumulative Cumulative PLEC Frequency Percent Frequency Percent Chłopiec Dziewczyna Cumulative Cumulative WIEK Frequency Percent Frequency Percent

32 Agregowanie danych: zapis agregatów do zbioru PROC FREQ DATA=klasa NOPRINT; TABLES plec / OUT=freq1; TABLES wiek / OUT=freq2; Agregowanie danych: tablice częstości typu Two- Way PROC FREQ DATA=klasa; TABLES plec*wiek; PLEC WIEK WZROST Chłopiec Dziewczyna Chłopiec Dziewczyna Chłopiec PLEC Table of PLEC by WIEK WIEK Frequency Percent Row Pct Col Pct Total Chłopiec Dziewczyna Total

33 Agregowanie danych: procedura MEANS PROC MEANS DATA=zbiór_wejściowy <opcje> <statystyki> ; VAR zmienne_analizowane ; <CLASS zmienne_klasyfikujące ;> <TYPES hierarchia zmiennych klasyfikujących;> <WAYS lista liczb definiujących hierarchie;> <BY zmienne_klasyfikujące ;> <FREQ zmienna_z_częstością ;> <WEIGHT zmienna_ważąca ;> <OUTPUT OUT=zbiór_wynikowy <opcje_statystyk> ;> Agregowanie danych: procedura MEANS Podział na grupy klasyfikacyjne wg podanych zmiennych za pomocą CLASS lub BY. Instrukcja CLASS: nie wymaga posortowania zbioru najlepiej działa dla zmiennych o niewielkiej liczbie możliwych wartości wyznaczających grupy może działać szybciej niż BY dla małych zbiorów danych Instrukcja BY: wymaga odpowiedniego posortowania zbioru może być wykorzystywana dla dowolnie dużej liczby grup klasyfikacyjnych może działać szybciej niż CLASS dla dużych zbiorów danych 33

34 Agregowanie danych: procedura MEANS Opcje instrukcji CLASS: ORDER = INTERNAL FORMATTED DATA FREQ - specyfikuje porządek sortowania dla poszczególnych poziomów zmiennych klasyfikujących występujących w zbiorze wyjściowym. DESCENDING - współpracuje z opcją ORDER. Wymusza porządek malejący, zamiast domyślnego rosnącego. MISSING - braki danych tworzą równoprawne grupy dla podanych zmiennych klasyfikujących. GROUPINTERNAL - zapobiega przypisywaniu formatów do zmiennych klasyfikujących, w momencie przygotowywania przez PROC MEANS kombinacji zmiennych klasyfikujących. Opcja ta zaoszczędza zasoby systemowe, gdy zmienne klasyfikujące składają się z dyskretnych wartości numerycznych. Agregowanie danych: procedura MEANS - raport PROC MEANS DATA=klasa MEAN; CLASS plec wiek; VAR wzrost; Wynik w OUTPUT: Analysis Variable : WZROST N PLEC WIEK Obs Mean Chłopiec Dziewczyna

35 Agregowanie danych: procedura MEANS zapis wyników do zbioru PROC MEANS DATA=klasa NOPRINT; CLASS plec wiek; VAR wzrost; OUTPUT OUT=wzrosty MEAN=; PROC PRINT NOOBS; FORMAT _TYPE_ BINARY2.; Zbiór wynikowy: PLEC WIEK _TYPE FREQ_ WZROST Chłopiec Dziewczyna Chłopiec Chłopiec Dziewczyna Dziewczyna Agregowanie danych: procedura MEANS N-WAY PROC MEANS DATA=klasa NOPRINT NWAY; CLASS plec wiek; VAR wzrost; OUTPUT OUT=wzrosty MEAN=; PROC PRINT NOOBS; FORMAT _TYPE_ BINARY2.; Wynik: PLEC WIEK _TYPE FREQ_ WZROST Chłopiec Chłopiec Dziewczyna Dziewczyna

36 Agregowanie danych: procedura MEANS WAYS i TYPES Przykłady: PROC MEANS DATA=kurs.class; CLASS plec kolor miejscowosc ; VAR wzrost; WAYS 1 2; PROC MEANS DATA=kurs.class; CLASS plec kolor miejscowosc ; VAR wzrost; TYPES plec plec*kolor plec*miejscowosc ; 36