Tytuł: PRZETWARZANIE DANYCH W SAS Autor: Wioletta Grzenda, Aneta Ptak-Chmielewska, Karol Przanowski, Urszula Zwierz. Wstęp

Transkrypt

1 Tytuł: PRZETWARZANIE DANYCH W SAS Autor: Wioletta Grzenda, Aneta Ptak-Chmielewska, Karol Przanowski, Urszula Zwierz Wstęp Oddajemy do Państwa rak podręcznik do nauki pierwszych kroków przetwarzania danych w języku 4GL. Mamy nadzieje, że będzie on pomocny i zachęci Państwa do czynnej pracy w środowisku SAS. Podręcznik oparty na prostych przykładach pozwoli osobom nieznającym środowiska pracy z pakietem SAS na zapoznanie się z podstawami obsługi programu i obróbki danych. W rozdziale pierwszym czytelnik pozna szczegóły na temat SAS Institute i jego sztandarowego produktu Systemu SAS. Zaprezentowano w nim charakterystykę Systemu SAS, jego elementy składowe i ich możliwości oraz omówiono moduły, ich role w systemie. W rozdziale drugim znalazły się trzy bloki tematyczne: Biblioteka, Dane w Systemie SAS i windowsowy interfejs pracy w Systemie. Czytelnik pozna struktury danych, z głównym elementem, jakim jest Biblioteka i możliwości pracy jakie niesie aplikacja. Rozdział trzeci to wprowadzenie do języka 4GL. W rozdziale tym omówiono podstawowe funkcjonalności ENHANCED EDITOR a następnie dwa podstawowe rodzaje STEP-ów: DATA STEP i PROC STEP. Przy omawianiu zagadnień przetwarzania w postaci STEP-ów wskazano na podstawowa składnie i dostępne opcje, a następnie pokazano na przykładach praktyczne rozwiązania. Ostatnim poruszonym zagadnieniem w tym rozdziale jest pokazanie możliwości wykorzystania z instrukcji SET oraz sposób, w jaki można filtrować wiersze i kolumny lub zmienić nazwę zmiennej. Rozdział czwarty poświecony jest obliczeniom na danych. Na wstępie wprowadzono podstawowe stałe i operatory oraz funkcje, a następnie pokazano ich praktyczne wykorzystanie na przykładach. Konwersje danych z formatu znakowego na numeryczny i z numerycznego na znakowy pokazano za pomocą konwersji jawnej i niejawnej. W końcowej części rozdziału przedstawiono sposób przetwarzania w pętli z wykorzystaniem trzech rodzajów pętli. W rozdziale piątym zdefiniowano tablice oraz tablice tymczasowe, wskazując na ich praktyczne zastosowanie. Kolejnym omówionym tematem jest przetwarzanie w grupach i sortowanie danych według wartości podanej zmiennej. Na zakończenie rozdziału omówiono podstawowe opcje w procedurach służących do komunikacji z innymi aplikacjami. Przygotowanie danych do przetwarzania często wymaga połączenia danych z kilku zbiorów. W rozdziale szóstym omówione zostały podstawowe instrukcje związane z łączeniem zbiorów danych SET i MERGE oraz procedura APPEND. Rozdział siódmy jest ściśle związany z rozdziałem szóstym, ponieważ łącząc zbiory często należy je wcześniej przetransponować w celu uzyskania pożądanych rezultatów. Zatem rozdział ten jest poświęcony procedurze TRANSPOSE. Wykorzystanie różnych instrukcji procedury TRANSPOSE umożliwia wykonanie nawet dość skomplikowanych transpozycji zbiorów.

2 Kolejny rozdział porusza bardzo ważne zagadnienia związane z prezentacja danych. Zostały w nim przedstawione formaty systemowe oraz omówiona została procedura FORMAT, przy pomocy, której można tworzyć formaty użytkownika. Rozdział dziewiąty dotyczy przetwarzania plików tekstowych. Omówione zostały w nim podstawowe zagadnienia związane z wczytywaniem plików tekstowych oraz z zapisywaniem danych Systemu SAS do plików tekstowych. Problemy związane z sortowaniem danych zostały omówione w rozdziale dziesiątym. Podstawowa procedura służąca do sortowania danych jest PROC SORT. Rozdział następny zawiera ogólne informacje dotyczące indeksów. Prezentuje on metody tworzenia i usuwania indeksów wraz z szeregiem wskazówek, kiedy indeksów należy używać. Zaawansowane opcje i instrukcje odczytu danych przedstawione zostały w rozdziale dwunastym. Rozdział ten zawiera wybrane opcje związane z instrukcja SET oraz instrukcje GOTO i LINK. W rozdziale trzynastym omówione zostały podstawowe procedury agregujące, należą do nich: FREQ, MEANS, SUMMARY. Rozdział czternasty, to rozdział poświęcony tworzeniu raportów z wykorzystaniem programów 4GL. Do tworzenia raportów wykorzystano głównie procedury służące do budowy tablic wielodzielczych oraz procedury służące do budowy wykresów. W zakończeniu rozdziału podano kompleksowy przykład raportu wraz z interpretacja wyników. Rozdział piętnasty wprowadza czytelnika w zaawansowane metody programistyczne, wykorzystujące makrozmienne i makroprogramy - nieocenione narzędzia przyspieszające i automatyzujące przetwarzanie danych w SAS. Rozdział szesnasty podsumowuje poznana wiedze z programowania w SAS 4GL, uporządkowując etapy uruchamiania DATA STEP-u, aby lepiej i z większą świadomością poprawnie pisać programy. Wreszcie ostatni rozdział siedemnasty porusza temat optymalizacji przetwarzania, aby skracać czas obróbki danych i lepiej zarządzać pamięcią. Spis treści Wprowadzenie 1. Wstęp do Systemu SAS 1.1. Dlaczego warto poznać System SAS? 1.2. Co to jest System SAS? Cechy Systemu SAS

3 Moduły w Systemie SAS 2. Dane w Systemie SAS 2.1. Biblioteka 2.2. Praca ze zbiorami danych 2.3. Środowisko pracy w Systemie SAS 9 3. Język 4GL 3.1. Enhanced Editor - edytor programisty 3.2. Definiowanie skrótów 3.3. Definiowanie makr 3.4. Skróty klawiszowe 3.5. Wykonanie programu 3.6. Przywołanie uprzednio wykonanego programu Składnia DATA STEP-u Instrukcja przypisania PDV - Program DATA VECTOR Opcje systemowe 3.8. PROC STEP Składnia PROC STEP-u Przykładowe instrukcje 3.9. Instrukcja SET Opcje zbioru WHERE Filtrowanie wierszy - instrukcje WHERE i IF Filtrowanie kolumn - instrukcje KEEP i DROP Zmiana nazw zmiennych Wejście i wyjście żnullż

4 4. Obliczenia na danych 4.1. Wyrażenia Systemu SAS Stałe Systemu SAS Operatory Systemu SAS 4.2. Funkcje Systemu SAS 4.3. Konwersje typów Konwersja niejawna Konwersja jawna Ograniczenia w warunkach WHERE 4.4. Przechowywanie informacji w pętli głównej Instrukcja RETAIN Funkcje LAG i DIF 4.5. Przetwarzanie iteracyjne Pętle ze zmienna indeksująca Pętle z warunkiem DO WHILE Pętle z warunkiem DO UNTIL Zagnieżdżanie pętli 5. Przetwarzanie w 4GL 5.1. Tablice Definicja tablicy Tablice tymczasowe 5.2. Przetwarzanie w grupach - instrukcja BY 5.3. Komunikacja z aplikacjami biurowymi

5 Procedura EXPORT Procedura IMPORT 6. Łączenie zbiorów danych 6.1. Konkatenacja zbiorów Instrukcja SET Procedura APPEND Konkatenacja z sortowaniem 6.2. Scalanie zbiorów danych Instrukcja MERGE Scalanie zbiorów danych według klucza 6.3. Inne sposoby łączenia zbiorów danych 6.4. Łączenie zbiorów za pomocą języka SQL 7. Transpozycja zbiorów danych 7.1. Procedura TRANSPOSE 7.2. Transpozycja prosta 7.3. Transpozycja według zmiennych 7.4. Nazwy nowo utworzonych zmiennych 7.5. Transpozycja zmiennych tekstowych i numerycznych 7.6. Transpozycja częściowa 8. Formaty 8.1. Prezentacja danych 8.2. Formaty standardowe

6 8.3. Wykorzystanie formatów 8.4. Tworzenie formatów 9. Przetwarzanie plików tekstowych 9.1. Wczytywanie plików tekstowych Instrukcja INPUT Instrukcje DATALINES i CARDS Instrukcja INFILE 9.2. Zapis danych do plików tekstowych 10. Sortowanie danych Procedura SORT Składnia procedury SORT Przykłady użycia procedury SORT Polskie znaki diakrytyczne Opcja zbioru SORTEDBY Opcja NOTSORTED instrukcji BY 11. Indeksy Informacje ogólne Tworzenie i usuwanie indeksów Opcja zbioru INDEX PROC DATASETS Procedura SQL Wykorzystanie indeksów

7 12. Specjalne opcje i instrukcje odczytu danych Wybrane opcje Opcje END i NOBS Opcja POINT Opcja KEY Instrukcje sterujące Instrukcje GOTO i LINK Instrukcje LEAVE i CONTINUE 13. Agregowanie danych Procedura FREQ Procedury MEANS i SUMMARY 14. Raporty w SAS Tworzenie raportów w formie tabelarycznej i graficznej Polecenie ODS Procedura PRINT Procedura TABULATE Definiowanie etykiet dla kolumn tabeli Formatowanie wartości komórek tabeli - opcja FORMAT Kontrola wyglądu raportu Opcje procedury Opcje w wyrażeniu TABLE Opcje w wyrażeniu CLASS

8 14.8. Procedury CHART, GCHART, PLOT, GPLOT Przykładowy Raport w SAS 15. Makroprogramowanie Makrozmienne Różne metody tworzenia makrozmiennych Makroprogramy Wielokrotne rozwijanie makrozmiennych, poprawne liczenie znaków &, tablica makrozmiennych Typowe błędy użycia makroprogramów i makrozmiennych Automatyzacja przetwarzania Makroprogramy rekurencyjne Poprawne pisanie makroprogramów (zasięg makrozmiennych) Różne sposoby przekazywania parametrów Instrukcja %INCLUDE i autoprogramowanie 16. Kolejność kompilacji DATA STEP-u Etap 0. (Rozwijanie makr) Etap 1. (Sprawdzenie składni 4GL) Etap 2. (PDV) Etap 3. (Uruchomienie) 17. Optymalizacja przetwarzania Kompresja tabel Wykorzystanie widoków Tymczasowe pliki

9 17.4. Instrukcja CLASS kontra BY Samodzielne zarządzanie RAM Indeksy i instrukcja WHERE Zagnieżdżanie IF kontra SELECT Indeksy i łączenie Lepsze wykorzystanie RAM lub partycjonowania danych 18. Odpowiedzi do ćwiczeń