Hurtownie i eksploracja danych

Wielkość: px
Rozpocząć pokaz od strony:

Download "Hurtownie i eksploracja danych"

Transkrypt

1 Hurtownie i eksploracja danych Laboratorium Część 1: OLAP Cel Poznanie metod budowy środowiska OLAP umożliwiającego wielowymiarową analizę faktów w funkcji wymiarów. Opanowanie umiejętności wykorzystania narzędzi MS SQL Server 2012: Integration Services (SSIS) jest to narzędzie za pomocą którego zostanie wykonany proces ETL (Extract-Transform-Load), czyli skrypty pobierające dane z systemów źródłowych oraz integrujące i czyszczące dane. Analysis Services (SSAS) za pomocą tego narzędzia zostanie zaprojektowany i zbudowany wielowymiarowy model danych (kostki wielowymiarowe). Zadanie polega na wykonaniu wielowymiarowej analizy ocen wystawianych studentom na Wydziale Elektroniki, w funkcji wszystkich dostępnych w danych atrybutów (zmiennych) mogących mieć związek (wpływ?) na wystawiane oceny takich jak np. typ kursu, semestr studiów, kierunek, specjalność, atrybuty opisujące studenta itd. Dane do analizy notes.csv students.csv teachers.csv teacher_title.csv course_group.csv Zadania 1. Etap I: ETL (Extract-Tranform-Load) polega na załadowaniu danych do analizy z baz (plików) źródłowych do bazy MS SQL, wykonując integrację i wyczyszczenie danych. Skrypty ETL będą zbudowane za pomocą narzędzia Integration Services pakietu MS SQL Server (dostępne z poziomu SQL Server Data Tools (SSDT) projekt wg szablonu Integration Services Project). Podstawowe zadanie skryptów ETL to integracja i usunięcie niespójności w danych źródłowych (nieprawidłowe wartości danych, niespójne/niejasne sposoby kodowania wartości, niespójne relacje klucz obcy-klucz główny pomiędzy tabelami faktów i wymiaru). Szczegółowe zadania do wykonania za pomocą skryptów ETL: Wczytanie danych źródłowych (patrz dane do analizy), utworzenie docelowych tabel (struktura tabel docelowych patrz pkt. 5). Usunięcie niespójności dotyczących wartości zmiennych i konwencji kodowania (np. oceny = 0 lub 1, puste wpisy (np. w kolumnie exam), niespójne oznaczenia płci). 1

2 Usunięcie niespójności dotyczących relacji pomiędzy tabelami (niespójności pomiędzy kluczem obcym w tabeli faktów i kluczem głównym w tabeli wymiaru np. pomiędzy teacher_id w tabeli faktów notes i teacher_id w tabeli teachers). Podobna niespójność pomiędzy tabelami notes course_group. Patrz również wskazówka 9. Utworzenie nowych atrybutów wymiarów (dimension attributes). Przykładowe ciekawe atrybuty: Typ semestru (zimowy / letni wg parzystości numeru semestru), Rok studiów Typ kursu wykład, lab itd. wg symbolu kursu. Utworzenie tabeli workload (opisującej obciążenie prowadzącego (albo studenta) w danym semestrze mierzone np. liczbą kursów albo ocen w semestrze). Przeformatowanie tabeli faktów (notes) w taki sposób, żeby zawierała wyłącznie zmienną fakt i klucze obce do tabel wymiarów. Kolumny z oryginalnej tabeli notes, które nie są zmienną fakt lub kluczami do tabel wymiarów, należy przenieść do (nowoutworzonych) tabel wymiaru. Patrz wskazówka 10. Realizacji procesu ETL w narzędziu SSIS: W narzędziu SSDT otworzyć projekt wg szablonu Integration Services Project. Zbudować SSIS Package, w którym będą umieszczone skrypty ETL (najwygodniej zacząć od SSIS Import Export Wizard, dostępnego w Solutions Explorer SSIS Packages). Import Export Wizard: jako Data Source wybrać właściwe dla danych źródłowych (np. MS Access lub płaskie pliki); jako Destination wybrać nową bazę na lokalnym serwerze SQL. Wykonać skrypty zawarte w utworzonym pakiecie SSIS (Execute Package wybrane z menu dla utworzonego package a). Po wykonaniu task ów w pakiecie dane źródłowe powinny być dostępne w docelowej bazie (sprawdź). Dalsze kroki polegają na dopisaniu do utworzonego przez Wizarda pakietu skryptów, które zrealizują właściwą integrację i czyszczenie danych (technicznie poprzez usuwanie błędnych wierszy, zamianę wartości, łączenie tabel itp. ). Tworzenie skryptów ETL: za pomocą Task ów Execute SQL Task i/lub Data Flow Task. Wskazówka: w przypadku posłużenia się Data Flow Task ami użyteczne narzędzia do realizacji procesu ETL (dostępne przez Toolbox edytora Data Flow ) to: Derived Column w celu warunkowej modyfikacji kolumn, Conditional Split w celu wybrania interesujących wierszy, Merge Join w celu łączenia tabel po wspólnej wartości klucza, 2. Etap II: Budowa wielowymiarowego modelu danych. Polega na określeniu relacji pomiędzy tabelami (tabela faktów tabele wymiarów); określeniu zmiennych które będą przedmiotem analizy oraz zmiennych wymiarów. Następnie należy zbudować kostkę wielowymiarową. W naszym zadaniu zmienną analizowaną jest ocena, pozostałe zmienne powinny być wymiarami (uwzględnić wymiary niedostępne wprost w danych, możliwe do wyznaczenia z danych). Zadanie wykonujemy przy pomocy narzędzia Analysis Services pakietu MS SQL Server (dostępne z poziomu SSDT projekt wg szablonu Analysis Services Project). Kolejne kroki w tym etapie: W narzędziu SSDT otworzyć projekt wg szablonu Analysis Services Project. 2

3 Zdefiniować Data Source wskazujące na dane docelowe utworzone przez proces ETL (Solutions Explorer New Data Source). Zdefiniować Data Source View (dla zdefiniowanego w kroku poprzednim Data Source), określające relacje pomiędzy tabelami faktów i wymiarów. Zdefiniować relację pomiędzy tabelami faktów i wymiarów (relacje definiują klucz obcy w tabeli faktów klucz własny w tabeli wymiarów). Wykonujemy to za pomocą edytora Data Source View (xxx.dsv [Design]). Zdefiniować nową kostkę wielowymiarową (Cube) korzystając z Data Source View utworzonego w poprzednim kroku. Wykonać edycję kostki tak żeby spełniała wymagania dot. analizowanych zmiennych (Measures), wymiarów, po którym można prowadzić analizy (Dimensions), hierarchii wymiarów. Patrz również wskazówki w punkcie 4. Utworzyć kostkę i umieścić ją w serwerze Analysis Services (Build Deploy). Połączyć się z serwerem Analysis Services (za pomocą SQL Server Management Studio) i otworzyć kostkę za pomocą Browsera wykonać kilka wielowymiarowych analiz. Projektując kostkę należy uwzględnić wymiary: Hierarchia wg kursów (typ kursu (typ), forma zajęć (W,P,L,C), forma zaliczenia, indywidualny kurs), Hierarchia wg prowadzących (tytuł prowadzącego, indywidualny prowadzący), Hierarchia wg afiliacji prowadzącego (jednostka, tytuł (skrót), indywidualny prowadzący), Płeć prowadzącego, Płeć studenta, Hierarchia wg czasu (rok studiów, semester Z,L), (*) Miara(-y) obciążenia prowadzącego w semestrze. 3. Wykonać kilka analiz na zbudowanej kostce za pomocą Browsera i zapytań MDX. w celu wykrycia ciekawych zależności w zbiorze oceny (np. kto ocenia surowiej kobiety czy mężczyźni, jak to zależy od tytułu prowadzącego? itd.). (*) Jak można zrealizować przykładową analizę bezpośrednio na danych w systemie transakcyjnym (bez wykorzystania MDX i wielowymiarowych danych, a jedynie z pomocą zapytania SQL)? 4. Wskazówki Nr Zadanie Jak to zrobić 1 Dodać wymiar (cube dimension) na podstawie kolumny zawartej w tabeli faktów Metoda I: za pomocą Data source view designera zbudować Named Query zawierające kolumnę z tabeli faktów, która ma pełnić rolę wymiaru, a następnie zlinkować powstałą w ten sposób tabelę z tabelą faktów. Cube Designer wykorzysta tą tabelę jako podstawę dla nowego wymiaru (cube dimension). Metoda II: alternatywną metodą jest zdefiniowanie wymiaru za pomocą Dimension Designera (Cube Designer Cube Structure Add Cube Dimension). Jako tabelę wymiaru wskazujemy tabelę faktów, w niej zaś odpowiednie kolumny jako klucz i atrybut interesującego nas wymiaru (wymiar taki 3

4 może mieć w szczególnym przypadku tylko jedną kolumnę klucz). 2 Zbudować hierarchię wymiarów (drill down hierarchy) 3 Dodać miary (measures), które mają być umieszczone w kostce 4 Dodać element wyliczany do kostki (np. w celu uzyskania statystyki AVG w raportach) 5 Zmienić sposób w jaki wartości wymiaru są wizualizowane w raportach (np. w celu zastąpienia wartości pustej przez np.? itd.) 6 Dodać wymiar wyliczony obciążenie prowadzących 7 Usunąć wiersze spełniające pewny warunek (subset data) 8 Wczytanie do bazy wielu plików za pomocą ForEachLoopContainer (użyteczne przy Hierarchie atrybutów wymiarów można zdefiniować za pomocą Dimension Designera okno Hierarchy (Uruchomienie Dimension Designera: Cube Designer wybierz interesujący wymiar z menu kontekstowego wybierz Edit dimension) Cube Designer okno Measure. Statistics przechowywane w kostce są określone przez atrybut AggregateFunction związany z miarą (measure) Za pomocą Cube Designer zakładka Calculations (Add calculated member), dodać formułę definiującą wartość wyliczaną na podstawie miar zawartych w kostce. W ten sposób uzyskamy w raportach możliwość analizowania średniej (oceny) i innym nieaddytywnych (nieagregowalnych) miar, których nie możemy przechowywać w kostce. Za pomocą Named Calculations dodanych do tabeli (Data Source View Named Calculations). Przykładowe wyrażenie (podajemy w polu Expression edytora Named Calculations) CASE WHEN lecture_group IS NULL THEN '?' ELSE CAST(lecture_group AS nvarchar) END Za pomocą SSIS: wykorzystać SQL task w celu wyliczenia liczby ocen (lub liczby różnych kursów) na nauczyciela na semestr. Następnie wykorzystać węzeł Merge Join w celu połączenia tej informacji z tabelą faktów (po kluczu którym jest id nauczyciela i semester)t Uwaga: dołączony wymiar wyliczany może mieć dużą liczbę wartości. Należy wówczas rozważyć pogrupowanie wartości w przedziały wykonujemy to za pomocą atrybutów tego wymiaru DiscretizationMethod i DiscretizationBucketCount. Za pomocą SSIS: wykorzystać SQL task w celu usunięcia wybranych wierszy. Alternatywnie można wykorzystać narzędzie Conditional Split. 1. Utworzyć Data Flow Task, który wczyta pierwszy plik z ocenami (użyć Flat File Source połączony z OLE DB Destination. Flat File Connection Manager powinien wskazywać wybrany (pierwszy) plik z ocenami). Sprawdzić że działa! 4

5 wczytywaniu plików z ocenami) 9 Naprawienie niespójności klucz obcy-klucz główny pomiędzy tabelami faktów i wymiaru 2. Użyć For Each Loop Container (skonfigurować Collection oraz Variable Mapping wówczas wskazana zmienna przechowa wskazanie na plik do wczytania) 3. Przeciągnąć Data Flow Task jako ciało pętli For Each Loop Container 4. W oknie Properties Flat File Connection Managers wybrać Expression, następnie Property Connection String ustawić na zmienną wpisaną w pkt. 2 Variable Mapping Możliwe są niespójności w danych źródłowych polegające na występowaniu pewnych wartości klucza obcego w tabeli faktów, której brakuje w tabeli wymiaru. Taka relacja klucz obcy klucz główny jest niespójna i wymaga naprawienia. Naprawa nie może polegać na usuwaniu wierszy z tabeli faktów. Sugerowana metoda diagnozy problemu SELECT f.klucz FROM tabela_faktów as f LEFT JOIN tabela_wymiaru AS w ON f.klucz = w.klucz WHERE (w.klucz IS NULL) GROUP BY f.klucz Metoda naprawy spójności relacji: INSERT INTO tabela_wymiaru SELECT f.klucz, domyśle wartości dla pól wymiaru... FROM tabela_faktów as f LEFT JOIN tabela_wymiaru AS w ON f.klucz = w.klucz WHERE (w.klucz IS NULL) GROUP BY f.klucz 10 Utworzenie nowego wymiaru na podstawie kolumn z tabeli faktów nie będących FK do tabeli wymiaru. Metoda 1: Dla każdej kolumny nie będącej FK w tabeli faktów tworzymy nową tabelę wymiaru (kolumna ta stanie się FK do nowoutworzonej tabeli wymiaru). Przykład dla kolumny semestr w tabeli notes: SELECT DISTINCT semester, ew. inne kolumny związane z semestrem INTO semester FROM notes Metoda 2: Tworzymy jedną tabelę wymiaru zawierającą wszystkie kolumny z tabeli faktów nie będące FK. Klucz tej tabeli umieszczamy jako FK w tabeli faktów. Idea tworzymy tabelę tymczasową: SELECT IDENTITY (bigint, 1, 1) AS id, pozostałe kolumny tabeli faktów... INTO notes_tmp 5

6 FROM notes którą następnie rozbijamy na nową tabelę wymiaru: SELECT id, semester, itd. INTO notes_desc FROM notes_tmp i nową tabelę faktów SELECT note, id AS note_desc_id, pozostałe FKs do innych tabel wymiaru INTO notes_fact_table FROM notes_tmp 11 Nadanie uprawnień do bazy danych utworzonej przez ETL dla Analysis Services (wykonujemy ten krok jeśli operacja kompilacji kostki (deployment) nie udaje się z komunikatem o braku uprawnień) Nadajemy użytkownikowi LOCALHOST\MSSQLServerMSASUser uprawnienie db_datareader w stosunku do bazy utworzonej w ETL-u. W tym celu wykonujemy procedurę: 1. Management Studio connect to SQL Server 2. Select Security Logins New Login 3. Login Name Search 4. Object Types select Groups 5. Advanced Find Now 6. Select SQLServerMSASUser login 7. In Login Properties for this login, select User Mapping 8. Select the ETL database (check the map box) and select the db_datareader role 5. Zmienne typ i znaczenie Tabela notes semester Integer, year Integer, course Id kursu, tekst, do 10 znaków teacher_id Integer, note ocean, wartości 2, 3.0, 3.5, 4.0, 4.5, 5.0, 5.5 exam wartość E ozn. ocenę z egzaminu, pole puste - zaliczenie student_id Integer, Tabela students spec sub_spec sub_spec2 gender kierunek, tekst, do 3 znaków specjalizacja, tekst, do 3 znaków profil dyplomowania, tekst, do 3 znaków płeć, K / M 6

7 student_id Integer, Tabela teachers teacher_id Integer, gender płeć, 1 mężczyzna, 2 kobieta faculty wydział, Integer, institute instytut, tekst, do 5 znaków title_id id tytułu nauczyciela, Integer, Tabela course_group course course_group Id kursu, tekst, do 10 znaków 1 kursy wydziałowe, 2 WF, 3 języki obce, 4 humany Tabela teacher_title title_id id tytułu nauczyciela, Integer, title_long pełna tytulatura prowadzącego, tekst, do 30 znaków title tytuł prowadzącego, wer. skrócona, tekst, do 10 znaków 6. Przykładowa postać skryptu ETL w narzędziu SSIS: 7

8 7. Przykładowa postać modelu wielowymiarowego w narzędziu SSAS: 8

9 Część 2: Data Mining Cel Poznanie procesu Data Mining i metodologii SEMMA (Sample - Explore - Modify - Model - Assess) oraz opanowanie umiejętności wykorzystania narzędzia SAS Enterprise Miner i podstaw programowania w SAS 4 GL (języka skryptowego do preprocesingu i analizy danych). Zadanie będzie polegało na wykonaniu modelowania predykcyjnego, którego celem jest sklasyfikowanie wiadomości przesyłanych pocztą elektroniczną jako spam lub nie-spam. Dane do analizy spam.dat Zadania Zbudować model klasyfikator wiadomości pocztowych opisanych atrybutami jak w danych wejściowych. Zmienna celu (target) przyjmuje wartość yes dla wiadomości spam lub no dla wiadomości nie będącej spamem. Atrybuty wiadomości pocztowych użyte do klasyfikacji wiadomości są oparte na projekcie SpamAssassin (http://spamassassin.apache.org). Proces DM należy zbudować wg metodologii SEMMA: Input Data, Data Partition (Sample), Insight, Distribution Explorer, Multiplot (Explore), Data Set Attributes (Modify) tu określamy rolę w modelu poszczególnych zmiennych oraz ich typ (measurement level), Tree Regression Neural Net (Model), Assess (Assess), Score. Spodziewane wyniki: - Wynik klasyfikacji wiadomości ze zbioru testowego, - Liczba błedów: o no yes (dobry list sklasyfikowany jako spam) oraz o yes no (spam sklasyfikowany jako nie-spam). - Czułość i specyficzność klasyfikatora. Kryteria: Szczególnie powinniśmy unikać klasyfikowania listów dobrych jako spam. Stąd kryteria akceptowalności klasyfikatora przyjmujemy: - Minimalizacja stopy błędów yes no, - Przy jednoczesnym zapewnieniu stopy błędów no yes < 1%. 9

10 Zadanie polega na próbie dostrojenia klasyfikatora, tak żeby przy zachowaniu ustalonego marginesu błędów typu no yes minimalizować błąd przeciwny. Ścieżki wg których dostrajamy klasyfikator: Poprzez dobór zmiennych cech (będzie to próba odpowiedzi na pytanie: czy może warto wybrać podzbiór cech najbardziej związanych ze zmienną celu, zamiast uczyć klasyfikator na zbiorze wszystkich cech?) patrz też wskazówka 7. Poprzez zmianę czułości klasyfikatora kosztem jego specyficzności (patrz krzywa ROC uzyskanego klasyfikatora) patrz też wskazówka 6. Wprowadzając do modelu różne koszty dla obu rodzajów błędów (patrz wskazówka 5). Eksperymentując z ustawieniami algorytmów poszczególnych klasyfikatorów (takich jak logistic regresssion, decision tree, neural network). Metody metauczenia składanie modeli, np. za pomocą węzła Ensemble, również metoda Bagging albo Boosting patrz wskazówka 8. Wskazówki (dla Enterprise Minera 12.x) Nr Zadanie Jak to zrobić 1 Jak zbudować model predykcyjny w programie EM 12.x 1. Założyć projekt (File-New-Project), w którym będzie budowany/testowany model predykcyjny. Założyć bibliotekę (File-New-Library) wskazującą na folder z danymi uczącymi. (Uwaga: Jeśli dane uczące nie zostały dostarczone w formacie SAS data set (tj. jako plik z rozszerzeniem.sas7bdat), wówczas dostarczone dane należy wczytać do formatu SAS data set za pomocą programu SAS (SAS Foundation ) np. poprzez File / Import Data). 2. Utworzyć Data Source (File-New-Data Source) wskazujące na dane uczące w założonej wcześniej bibliotece. 3. Kolumny w Data Source opisać za pomocą metadanych podać odpowiednie atrybuty Role (Input, Target, Rejected) i Level (Interval, Ordinal, Nominal, Binary itp.). 3. Utworzyć diagram w projekcie. W diagramie umieścić węzeł Input Data (Sample-Input Data), wskazujący na dane uczące. 4. Wykonać wstępną eksplorację danych przeanalizować rozkłady zmiennych, w celu wykrycia wartości odstających (outliers), zmiennych z dużą liczbą brakujących obserwacji itp. Przykładowe narzędzia: Explore-MultiPlot i StatExplore. 5. Wykonaj transformacje danych wynikające z obserwacji w punkcie poprzednim, takie jak: $ wypełnienie wartości brakujących (missing value imputation) narzędzie Modify-Impute $ usunięcie wartości niepoprawnych / odstających (Modify- Replacement, Modify-Transform Variables, Sample-Filter) $ ew. transformacje zmiennych (np. w celu unormalnienia) 10

11 Modify-Transform Variables 6. Podzielić dane na część uczącą, walidacyjną i testową (Sample- Data Partition) 7. Wykonać uczenie modelu predykcyjnego (np. Model-Decision Tree) 2 Jak uzyskać nauczony klasyfikator w postaci programu? Połącz węzeł Score do węzła realizującego model predykcyjy (np. Tree) Po wykonaniu procedury Score (Run), w oknie Results dostępne są procedury klasyfikatora w języku SAS 4GL (View-Scoring- SAS Code). Tam również klasyfikatory w C i Javie. Klasyfikatory można zapisać w pliku np..sas: (File-Save As) 3 Jak wykonać klasyfikację nowych danych? Poza środowiskiem SAS Enterprise Minera Kod klasyfikatora zapisany w poprzednim punkcie jest ciałem data step-u, który może zostać wykonany na danych zgodnych formatem z danymi uczącymi (podanymi w Data Source projektu EM). Stąd kod ten należy umieścić wewnątrz data stepu i wykonać w systemie SAS: DATA wynik_klasyfikacji; SET plik_do_klasyfikacji; Tu kod klasyfikatora (SAS code) RUN; Spowoduje to dopisanie do data setu wejściowego (plik_do_klasyfikacji) kolumn z wynikiem klasyfikacji całość zostanie zapisana do data setu wynik_klasyfikacji. Nazwy tych zmiennych patrz okno Results węzła Score View-Scoring- Output Variables. W środowisku SAS Enterprise Minera Podłączyć do węzła Score węzeł Input Data, wskazujący na data set z danymi do klasyfikacji. Ustawić atrybut Role dla tych danych na Score (Properity-Role). Wówczas wykonanie węzła score spowoduje klasyfikację danych. Można również wykonać scoring danych w partycji Test danych uczących poprzez wybranie Property węzła Score Test=YES (nie trzeba wtedy podłączać węzła z danymi do klasyfikacji do węzła Score). 11

12 4 Jak wyznaczyć czułość i specyficzność klasyfikatora? (stopy błędów 1 0 i 0 1) W węźle SAS Code (Utility-SAS Code) lub bezpośrednio w środowisku SAS wykonać kod podobny do poniższego: proc freq data=dataset_wynik_klasyfikacji; tables target*i_target; run; gdzie i_target oznacza zmienną w zbiorze dataset_wynik_klasyfikacji, w której klasyfikator umieścił wynik klasyfikacji próbki (obserwacji), zaś target oznacza zmienną określającą rzeczywistą klasę próbki. W węźle SAS Code (Code Editor otwiera okna Training Code Code Node) dostępne są zmienne EM_CLASSTARGET oraz EM_CLASSIFICATION. Przy ich pomocy powyższe można zapisać jako: proc freq data=emws4.score_test; tables EM_CLASSTARGET*EM_CLASSIFICATION; run; - co jest wygodne, gdyż działa zawsze, niezależnie od faktycznej nazwy zmiennej target 5 Jak wprowadzić do modelu (niesymetryczne) kary za błędne decyzje? Realizuje się to za pomocą Target Profile, który trzeba związać ze zmienna target (property Decisions w Data Source, który reprezentuje dane uczące). Ustawiamy Prior Probabilities (jeśli prawdopodobieństwa poszczególnych klas są w rzeczywistości inne niż te obserwowane w danych uczących np. z powodu oversampling-u rzadkiej klasy), oraz koszty decyzji i błędów w zakładkach Decisions i Decision Weights. Uwaga: Wynik klasyfikacji uwzględniający koszty umieszczany jest w zmiennej d_target, stąd macierz błędów wyznaczamy wówczas: proc freq data=dataset_wynik_klasyfikacji; tables target*d_target; run; 6 Jak zmienić czułość klasyfikatora kosztem specyficzności (czyli np. poprawić stopę błędów 1 0 pogarszając stopę błędów 0 1 lub W zbiorze dataset_wynik_klasyfikacji (patrz wskazówki 2 i 3) zlokalizuj zmienną, która ma sens cutoff probability (oznaczmy ją jako p_targetyes) Następnie wykonać program podobny do poniższego: DATA dataset_wynik_klasyfikacji_nowy; 12

13 odwrotnie) SET dataset_wynik_klasyfikacji; IF p_targetyes > thr THEN prediction = yes ; ELSE prediction = no ; RUN; Gdzie wartość thr (threshold) ma wpływ na czułość i specyficzność (spróbuj podać różne wartości thr, obserwuj czułość patrz wskazówka 4) 7 Wybór cech, zmiejszenie wymiarowości danych uczących 1. Z wykorzystaniem węzła Variable Selection [Grupa Explore] -- włączany przed węzłem modelującym. 2. Z wykorzystaniem węzła Principal Components [Grupa Modify]. W tym przypadku dostrajamy liczbę komponentów głównych (tj. stopień redukcji wymiarowości vs stopień utraty informacji). 8 Metauczenie Węzeł modelujący (najczęściej drzewo decyzyjne) umieszczamy pomiędzy węzłami Start Groups i End Groups [Utility], gdzie w Start Groups wybieramy Mode Bagging albo Boosting. Należy dostroić liczbę modeli tworzonych w trybie Baggingu lub Boostingu patrz parametr Index Count węzła Start Groups. Inna metoda polega na wykorzystaniu węzła Ensemble [Model], który pozwala na łączenie różnych modeli tu różne metody uśredniania wyników indywidualnych modeli warto sprawdzić. Narzędzia SAS Enterprise Miner (12.x) SAS Base język SAS 4 GL Wybrane procedury analityczne SAS i SAS/STAT 13

Część 1: OLAP. Raport z zajęć laboratoryjnych w ramach przedmiotu Hurtownie i eksploracja danych

Część 1: OLAP. Raport z zajęć laboratoryjnych w ramach przedmiotu Hurtownie i eksploracja danych Łukasz Przywarty 171018 Wrocław, 05.12.2012 r. Grupa: CZW/N 10:00-13:00 Raport z zajęć laboratoryjnych w ramach przedmiotu Hurtownie i eksploracja danych Część 1: OLAP Prowadzący: dr inż. Henryk Maciejewski

Bardziej szczegółowo

Kostki OLAP i język MDX

Kostki OLAP i język MDX Kostki OLAP i język MDX 24 kwietnia 2015 r. Opis pliku z zadaniami Wszystkie zadania na zajęciach będą przekazywane w postaci plików PDF sformatowanych jak ten. Będą się na nie składały różne rodzaje zadań,

Bardziej szczegółowo

Proces ETL MS SQL Server Integration Services (SSIS)

Proces ETL MS SQL Server Integration Services (SSIS) Proces ETL MS SQL Server Integration Services (SSIS) 3 kwietnia 2014 Opis pliku z zadaniami Wszystkie zadania na zajęciach będą przekazywane w postaci plików PDF sformatowanych jak ten. Będą się na nie

Bardziej szczegółowo

Systemy baz danych Prowadzący: Adam Czyszczoń. Systemy baz danych. 1. Import bazy z MS Access do MS SQL Server 2012:

Systemy baz danych Prowadzący: Adam Czyszczoń. Systemy baz danych. 1. Import bazy z MS Access do MS SQL Server 2012: Systemy baz danych 16.04.2013 1. Plan: 10. Implementacja Bazy Danych - diagram fizyczny 11. Implementacja Bazy Danych - implementacja 2. Zadania: 1. Przygotować model fizyczny dla wybranego projektu bazy

Bardziej szczegółowo

OnLine Analytical Processing (OLAP) Kostki OLAP i zapytania MDX

OnLine Analytical Processing (OLAP) Kostki OLAP i zapytania MDX OnLine Analytical Processing (OLAP) Kostki OLAP i zapytania MDX 24 kwietnia 2014 Opis pliku z zadaniami Wszystkie zadania na zajęciach będą przekazywane w postaci plików PDF sformatowanych jak ten. Będą

Bardziej szczegółowo

Wprowadzenie do hurtowni danych

Wprowadzenie do hurtowni danych Wprowadzenie do hurtowni danych przygotował: Paweł Kasprowski Kostka Kostka (cube) to podstawowy element hurtowni Kostka jest wielowymiarowa (od 1 do N wymiarów) Kostka składa się z: faktów wektora wartości

Bardziej szczegółowo

Usługi analityczne budowa kostki analitycznej Część pierwsza.

Usługi analityczne budowa kostki analitycznej Część pierwsza. Usługi analityczne budowa kostki analitycznej Część pierwsza. Wprowadzenie W wielu dziedzinach działalności człowieka analiza zebranych danych jest jednym z najważniejszych mechanizmów podejmowania decyzji.

Bardziej szczegółowo

Część I Istota analizy biznesowej a Analysis Services

Część I Istota analizy biznesowej a Analysis Services Spis treści Część I Istota analizy biznesowej a Analysis Services 1 Analiza biznesowa: podstawy analizy danych... 3 Wprowadzenie do analizy biznesowej... 3 Wielowymiarowa analiza danych... 5 Atrybuty w

Bardziej szczegółowo

Inżynieria Programowania Laboratorium 3 Projektowanie i implementacja bazy danych. Paweł Paduch paduch@tu.kielce.pl

Inżynieria Programowania Laboratorium 3 Projektowanie i implementacja bazy danych. Paweł Paduch paduch@tu.kielce.pl Inżynieria Programowania Laboratorium 3 Projektowanie i implementacja bazy danych Paweł Paduch paduch@tu.kielce.pl 06-04-2013 Rozdział 1 Wstęp Na dzisiejszych zajęciach zajmiemy się projektem bazy danych.

Bardziej szczegółowo

Microsoft.NET: LINQ to SQL, ASP.NET AJAX

Microsoft.NET: LINQ to SQL, ASP.NET AJAX Microsoft.NET: LINQ to SQL, ASP.NET AJAX Do realizacji projektu potrzebne jest zintegrowane środowisko programistyczne Microsoft Visual Studio 2008 oraz serwer bazy danych SQL Server Express 2005 (lub

Bardziej szczegółowo

DMX DMX DMX DMX: CREATE MINING STRUCTURE. Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski

DMX DMX DMX DMX: CREATE MINING STRUCTURE. Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski DMX DMX DMX Data Mining Extensions jest językiem do tworzenia i działania na modelach eksploracji danych w Microsoft SQL Server Analysis Services SSAS. Za pomocą DMX można tworzyć strukturę nowych modeli

Bardziej szczegółowo

Administracja Internetowymi systemami baz danych (niestacjonarne) Laboratorium 5. Reporting Services (SSRS), Integration Services (SSIS)

Administracja Internetowymi systemami baz danych (niestacjonarne) Laboratorium 5. Reporting Services (SSRS), Integration Services (SSIS) Administracja Internetowymi systemami baz danych (niestacjonarne) Laboratorium 5 Reporting Services (SSRS), Integration Services (SSIS) Instrukcja do laboratorium V: I. Tworzenie raportów II. Migracja

Bardziej szczegółowo

Procedury techniczne modułu Forte Kontroling. Pakiety DTS

Procedury techniczne modułu Forte Kontroling. Pakiety DTS Procedury techniczne modułu Forte Kontroling Pakiety DTS Pakiety DTS Strona 2 z 7 Pakiety DTS przeznaczone są do wykorzystywania podczas importu danych z modułu Forte Finanse i Księgowość do modułu Forte

Bardziej szczegółowo

OLAP i hurtownie danych c.d.

OLAP i hurtownie danych c.d. OLAP i hurtownie danych c.d. Przypomnienie OLAP -narzędzia analizy danych Hurtownie danych -duże bazy danych zorientowane tematycznie, nieulotne, zmienne w czasie, wspierjące procesy podejmowania decyzji

Bardziej szczegółowo

Projektowanie baz danych za pomocą narzędzi CASE

Projektowanie baz danych za pomocą narzędzi CASE Projektowanie baz danych za pomocą narzędzi CASE Metody tworzenia systemów informatycznych w tym, także rozbudowanych baz danych są komputerowo wspomagane przez narzędzia CASE (ang. Computer Aided Software

Bardziej szczegółowo

Administracja Internetowymi systemami baz danych (niestacjonarne) Laboratorium 7. Analysis Services (Business Intelligence)

Administracja Internetowymi systemami baz danych (niestacjonarne) Laboratorium 7. Analysis Services (Business Intelligence) Administracja Internetowymi systemami baz danych (niestacjonarne) Laboratorium 7 Analysis Services (Business Intelligence) Instrukcja do laboratorium 7: I. Tworzenie kostek OLAP oraz budowa struktury hurtowni

Bardziej szczegółowo

Program szkoleniowy Efektywni50+ Moduł IV Podstawy relacyjnych baz danych i język SQL

Program szkoleniowy Efektywni50+ Moduł IV Podstawy relacyjnych baz danych i język SQL Program szkoleniowy Efektywni50+ Moduł IV Podstawy relacyjnych baz danych i język SQL 1 Podstawy relacyjnego modelu danych. 3h UWAGA: Temat zajęć jest typowo teoretyczny i stanowi wprowadzenie do zagadnień

Bardziej szczegółowo

77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego.

77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego. 77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego. Przy modelowaniu bazy danych możemy wyróżnić następujące typy połączeń relacyjnych: jeden do wielu, jeden do jednego, wiele

Bardziej szczegółowo

Laboratorium 10. Odkrywanie cech i algorytm Non-Negative Matrix Factorization.

Laboratorium 10. Odkrywanie cech i algorytm Non-Negative Matrix Factorization. Laboratorium 10 Odkrywanie cech i algorytm Non-Negative Matrix Factorization. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie

Bardziej szczegółowo

DECLARE VARIABLE zmienna1 typ danych; BEGIN

DECLARE VARIABLE zmienna1 typ danych; BEGIN Procedury zapamiętane w Interbase - samodzielne programy napisane w specjalnym języku (właściwym dla serwera baz danych Interbase), który umożliwia tworzenie zapytań, pętli, instrukcji warunkowych itp.;

Bardziej szczegółowo

LABORATORIUM 8,9: BAZA DANYCH MS-ACCESS

LABORATORIUM 8,9: BAZA DANYCH MS-ACCESS UNIWERSYTET ZIELONOGÓRSKI INSTYTUT INFORMATYKI I ELEKTROTECHNIKI ZAKŁAD INŻYNIERII KOMPUTEROWEJ Przygotowali: mgr inż. Arkadiusz Bukowiec mgr inż. Remigiusz Wiśniewski LABORATORIUM 8,9: BAZA DANYCH MS-ACCESS

Bardziej szczegółowo

Maciej Kiewra mkiewra@qbico.pl. Quality Business Intelligence Consulting http://www.qbico.pl

Maciej Kiewra mkiewra@qbico.pl. Quality Business Intelligence Consulting http://www.qbico.pl Maciej Kiewra mkiewra@qbico.pl Quality Business Intelligence Consulting http://www.qbico.pl Wstęp Integration Services narzędzie do integracji danych Pomyślane do implementacji procesów ETL Extract ekstrakcja

Bardziej szczegółowo

Założenia do ćwiczeń: SQL Server UWM Express Edition: 213.184.8.192\SQLEXPRESS. Zapoznaj się ze sposobami użycia narzędzia T SQL z wiersza poleceń.

Założenia do ćwiczeń: SQL Server UWM Express Edition: 213.184.8.192\SQLEXPRESS. Zapoznaj się ze sposobami użycia narzędzia T SQL z wiersza poleceń. Cel: polecenia T-SQL Założenia do ćwiczeń: SQL Server UWM Express Edition: 213.184.8.192\SQLEXPRESS Authentication: SQL Server Authentication Username: student01,, student21 Password: student01,., student21

Bardziej szczegółowo

Instalacja SQL Server Express. Logowanie na stronie Microsoftu

Instalacja SQL Server Express. Logowanie na stronie Microsoftu Instalacja SQL Server Express Logowanie na stronie Microsoftu Wybór wersji do pobrania Pobieranie startuje, przechodzimy do strony z poradami. Wypakowujemy pobrany plik. Otwiera się okno instalacji. Wybieramy

Bardziej szczegółowo

Wstęp. Opis ten dotyczy wydziałów orzeczniczych.

Wstęp. Opis ten dotyczy wydziałów orzeczniczych. Wstęp. Opis ten dotyczy wydziałów orzeczniczych. W związku z przekształceniem 79 Sądów w Wydziały Zamiejscowe i związane z tym liczne zapytania odnośnie strony technicznej i sposobu przygotowania baz danych

Bardziej szczegółowo

Budowa aplikacji ASP.NET współpracującej z bazą dany do obsługi przesyłania wiadomości

Budowa aplikacji ASP.NET współpracującej z bazą dany do obsługi przesyłania wiadomości Budowa aplikacji ASP.NET współpracującej z bazą dany do obsługi przesyłania wiadomości Rozpoczniemy od zaprojektowania bazy danych w programie SYBASE/PowerDesigner umieszczamy dwie Encje (tabele) prawym

Bardziej szczegółowo

Spis treści. Część I Wprowadzenie do pakietu oprogramowania Analysis Services

Spis treści. Część I Wprowadzenie do pakietu oprogramowania Analysis Services Spis treści Wstęp... ix Odkąd najlepiej rozpocząć lekturę?... ix Informacja dotycząca towarzyszącej ksiąŝce płyty CD-ROM... xi Wymagania systemowe... xi Instalowanie i uŝywanie plików przykładowych...

Bardziej szczegółowo

Cel przedmiotu. Wymagania wstępne w zakresie wiedzy, umiejętności i innych kompetencji 1 Język angielski 2 Inżynieria oprogramowania

Cel przedmiotu. Wymagania wstępne w zakresie wiedzy, umiejętności i innych kompetencji 1 Język angielski 2 Inżynieria oprogramowania Przedmiot: Bazy danych Rok: III Semestr: V Rodzaj zajęć i liczba godzin: Studia stacjonarne Studia niestacjonarne Wykład 30 21 Ćwiczenia Laboratorium 30 21 Projekt Liczba punktów ECTS: 4 C1 C2 C3 Cel przedmiotu

Bardziej szczegółowo

Politechnika Gdańska Katedra Optoelektroniki i Systemów Elektronicznych

Politechnika Gdańska Katedra Optoelektroniki i Systemów Elektronicznych Laboratorium OiOSE. Programowanie w środowisku MS Visual C++ 1 Politechnika Gdańska Katedra Optoelektroniki i Systemów Elektronicznych Organizacja i Oprogramowanie Systemów Elektronicznych Michał Kowalewski

Bardziej szczegółowo

Spis tre±ci. Przedmowa... Cz ± I

Spis tre±ci. Przedmowa... Cz ± I Przedmowa.................................................... i Cz ± I 1 Czym s hurtownie danych?............................... 3 1.1 Wst p.................................................. 3 1.2 Denicja

Bardziej szczegółowo

Instrukcja użytkownika programu QImport (wydanie II 25.07.2012 r.)

Instrukcja użytkownika programu QImport (wydanie II 25.07.2012 r.) Instrukcja użytkownika programu QImport (wydanie II 25.07.2012 r.) Wymagania techniczne komputer z procesorem 1,5 GHz lub lepszym 512 MB pamięci RAM lub więcej system operacyjny Microsoft Windows XP z

Bardziej szczegółowo

1 LINQ. Zaawansowane programowanie internetowe Instrukcja nr 1

1 LINQ. Zaawansowane programowanie internetowe Instrukcja nr 1 1 LINQ 1 1. Cel zajęć Celem zajęć jest zapoznanie się z technologią LINQ oraz tworzeniem trójwarstwowej aplikacji internetowej. 2. Zadanie Proszę przygotować aplikację WWW, która: będzie pozwalała na generowanie

Bardziej szczegółowo

Data Mining podstawy analizy danych Część druga

Data Mining podstawy analizy danych Część druga Data Mining podstawy analizy danych Część druga W części pierwszej dokonaliśmy procesu analizy danych treningowych w oparciu o algorytm drzewa decyzyjnego. Proces analizy danych treningowych może być realizowany

Bardziej szczegółowo

Data Mining podstawy analizy danych Cześć pierwsza. Wprowadzenie

Data Mining podstawy analizy danych Cześć pierwsza. Wprowadzenie Data Mining podstawy analizy danych Cześć pierwsza Wprowadzenie Usługa Data Mining w środowisku serwera SQL 2005 jest jednym z komponentów technologii business intelligence. Umożliwia ona budowę złożonych

Bardziej szczegółowo

MS Windows Vista. Spis treści. Autor: Jacek Parzonka, InsERT

MS Windows Vista. Spis treści. Autor: Jacek Parzonka, InsERT MS Windows Vista Autor: Jacek Parzonka, InsERT Spis treści SPIS TREŚCI... 1 WSTĘP... 2 PROBLEMY... 2 UŻYWANIE AUTENTYKACJI WINDOWS DLA MS SQL SERVERA 2005 EXPRESS... 2 Run as administrator... 3 Modyfikacja

Bardziej szczegółowo

Bazy danych. Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI

Bazy danych. Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI Bazy danych Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI Wszechnica Poranna Trzy tematy: 1. Bazy danych - jak je ugryźć? 2. Język SQL podstawy zapytań. 3. Mechanizmy wewnętrzne baz danych czyli co

Bardziej szczegółowo

Kowalski Marcin 156439 Wrocław, dn. 3.06.2009 Jaśkiewicz Kamil 148592. Bazy Danych 1 Podstawy Projekt Temat: Baza danych do zarządzania projektami

Kowalski Marcin 156439 Wrocław, dn. 3.06.2009 Jaśkiewicz Kamil 148592. Bazy Danych 1 Podstawy Projekt Temat: Baza danych do zarządzania projektami Kowalski Marcin 156439 Wrocław, dn. 3.06.2009 Jaśkiewicz Kamil 148592 Bazy Danych 1 Podstawy Projekt Temat: Baza danych do zarządzania projektami Spis treści Założenia Projektowe...1 Schemat Bazy Danych...1

Bardziej szczegółowo

SAS Institute Technical Support

SAS Institute Technical Support SAS Institute Technical Support Optymalizacja kostek krok po kroku Pracując z kostkami OLAP często nie zdajemy sobie sprawy, że można przygotować je w taki sposób, aby praca z nimi była efektywniejsza

Bardziej szczegółowo

Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska

Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Systemy OLAP I Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2008/09 Studia

Bardziej szczegółowo

Ćwiczenie 6 - Hurtownie danych i metody eksploracje danych. Regresja logistyczna i jej zastosowanie

Ćwiczenie 6 - Hurtownie danych i metody eksploracje danych. Regresja logistyczna i jej zastosowanie Ćwiczenie 6 - Hurtownie danych i metody eksploracje danych Regresja logistyczna i jej zastosowanie Model regresji logistycznej jest budowany za pomocą klasy Logistic programu WEKA. Jako danych wejściowych

Bardziej szczegółowo

1: 2: 3: 4: 5: 6: 7: 8: 9: 10:

1: 2: 3: 4: 5: 6: 7: 8: 9: 10: Grupa A (LATARNIE) Imię i nazwisko: Numer albumu: 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: Nazwisko prowadzącego: 11: 12: Suma: Ocena: Zad. 1 (10 pkt) Dana jest relacja T. Podaj wynik poniższego zapytania (podaj

Bardziej szczegółowo

Problemy techniczne SQL Server

Problemy techniczne SQL Server Problemy techniczne SQL Server Jak utworzyć i odtworzyć kopię zapasową za pomocą narzędzi serwera SQL? Tworzenie i odtwarzanie kopii zapasowych baz danych programów Kadry Optivum, Płace Optivum, MOL Optivum,

Bardziej szczegółowo

Migracja Business Intelligence do wersji 2013.3

Migracja Business Intelligence do wersji 2013.3 Migracja Business Intelligence do wersji 2013.3 Copyright 2013 COMARCH Wszelkie prawa zastrzeżone Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej publikacji w jakiejkolwiek postaci jest

Bardziej szczegółowo

Przypisywanie bibliotek w architekturze SAS

Przypisywanie bibliotek w architekturze SAS SAS Institute TECHNICAL SUPPORT Przypisywanie bibliotek w architekturze SAS Platforma SAS pozwala na zdefiniowanie wspólnych zasobów w metadanych oraz ustalanie praw dostępu dla użytkowników i grup. Ze

Bardziej szczegółowo

Wstęp wprowadzający do laboratorium 2. mgr inż. Rafał Grycuk

Wstęp wprowadzający do laboratorium 2. mgr inż. Rafał Grycuk Wstęp wprowadzający do laboratorium 2 mgr inż. Rafał Grycuk Plan prezentacji 1. Czym jest T-SQL i czym się różni od standardu SQL 2. Typy zapytań 3. Zapytanie typu SELECT 4. Słowo o indeksach T-SQL (1)

Bardziej szczegółowo

WYKONANIE APLIKACJI OKIENKOWEJ OBLICZAJĄCEJ SUMĘ DWÓCH LICZB W ŚRODOWISKU PROGRAMISTYCZNYM. NetBeans. Wykonał: Jacek Ventzke informatyka sem.

WYKONANIE APLIKACJI OKIENKOWEJ OBLICZAJĄCEJ SUMĘ DWÓCH LICZB W ŚRODOWISKU PROGRAMISTYCZNYM. NetBeans. Wykonał: Jacek Ventzke informatyka sem. WYKONANIE APLIKACJI OKIENKOWEJ OBLICZAJĄCEJ SUMĘ DWÓCH LICZB W ŚRODOWISKU PROGRAMISTYCZNYM NetBeans Wykonał: Jacek Ventzke informatyka sem. VI 1. Uruchamiamy program NetBeans (tu wersja 6.8 ) 2. Tworzymy

Bardziej szczegółowo

Ćwiczenie 12. Metody eksploracji danych

Ćwiczenie 12. Metody eksploracji danych Ćwiczenie 12. Metody eksploracji danych Modelowanie regresji (Regression modeling) 1. Zadanie regresji Modelowanie regresji jest metodą szacowania wartości ciągłej zmiennej celu. Do najczęściej stosowanych

Bardziej szczegółowo

Schematy logiczne dla hurtowni danych

Schematy logiczne dla hurtowni danych Schematy logiczne dla hurtowni danych 26 Plan rozdziału 27 Model biznesowy, logiczny i fizyczny hurtowni danych Podstawowe pojęcia w modelu logicznym, logiczny model wielowymiarowy Implementacje ROLAP/MOLAP

Bardziej szczegółowo

Materiały do laboratorium MS ACCESS BASIC

Materiały do laboratorium MS ACCESS BASIC Materiały do laboratorium MS ACCESS BASIC Opracowała: Katarzyna Harężlak Access Basic jest językiem programowania wykorzystywanym w celu powiązania obiektów aplikacji w jeden spójny system. PROCEDURY I

Bardziej szczegółowo

Pracownia internetowa w szkole ZASTOSOWANIA

Pracownia internetowa w szkole ZASTOSOWANIA NR ART/SBS/07/01 Pracownia internetowa w szkole ZASTOSOWANIA Artykuły - serwery SBS i ich wykorzystanie Instalacja i Konfiguracja oprogramowania MOL Optiva na szkolnym serwerze (SBS2000) Artykuł opisuje

Bardziej szczegółowo

Paweł Cieśla. Dokumentacja projektu

Paweł Cieśla. Dokumentacja projektu Paweł Cieśla Dokumentacja projektu Projekt Project1 został utworzony i skompilowany na próbnej wersji Delphi XE 4. Po uruchomieniu programu należy kliknąć przycisk Wczytaj plik tekstowy, następnie wskazać

Bardziej szczegółowo

asix Autoryzacja dostępu do zasobów WWW systemu asix (na przykładzie systemu operacyjnego Windows 2008)

asix Autoryzacja dostępu do zasobów WWW systemu asix (na przykładzie systemu operacyjnego Windows 2008) NIEZAWODNE ROZWIĄZANIA SYSTEMÓW AUTOMATYKI asix (na przykładzie systemu operacyjnego Windows 2008) Pomoc techniczna Dok. Nr PLP0018 Wersja: 2011-08-26 ASKOM i asix to zastrzeżony znak firmy ASKOM Sp. z

Bardziej szczegółowo

Bazy danych. Wykład IV SQL - wprowadzenie. Copyrights by Arkadiusz Rzucidło 1

Bazy danych. Wykład IV SQL - wprowadzenie. Copyrights by Arkadiusz Rzucidło 1 Bazy danych Wykład IV SQL - wprowadzenie Copyrights by Arkadiusz Rzucidło 1 Czym jest SQL Język zapytań deklaratywny dostęp do danych Składnia łatwa i naturalna Standardowe narzędzie dostępu do wielu różnych

Bardziej szczegółowo

Wprowadzenie do SAS. Wprowadzenie. Historia SAS. Struktura SAS 8. Interfejs: SAS Explorer. Interfejs. Część I: Łagodny wstęp do SAS Rafał Latkowski

Wprowadzenie do SAS. Wprowadzenie. Historia SAS. Struktura SAS 8. Interfejs: SAS Explorer. Interfejs. Część I: Łagodny wstęp do SAS Rafał Latkowski Wprowadzenie do SAS Część I: Łagodny wstęp do SAS Rafał Latkowski Wprowadzenie 2 Historia SAS Struktura SAS 8 1976 BASE SAS 1980 SAS/GRAPH & SAS/ETS 1985 SAS/IML, BASE SAS for PC Raportowanie i grafika

Bardziej szczegółowo

Załącznik nr 8. do Studium Wykonalności projektu Sieć Szerokopasmowa Polski Wschodniej województwo podkarpackie

Załącznik nr 8. do Studium Wykonalności projektu Sieć Szerokopasmowa Polski Wschodniej województwo podkarpackie MINISTERSTWO ROZWOJU REGIONALNEGO Załącznik nr 8 do Studium Wykonalności projektu Sieć Szerokopasmowa Polski Wschodniej Instrukcja obliczania wskaźnika pokrycia. Strona 2 z 24 Studium Wykonalności projektu

Bardziej szczegółowo

Laboratorium nr 4. Temat: SQL część II. Polecenia DML

Laboratorium nr 4. Temat: SQL część II. Polecenia DML Laboratorium nr 4 Temat: SQL część II Polecenia DML DML DML (Data Manipulation Language) słuŝy do wykonywania operacji na danych do ich umieszczania w bazie, kasowania, przeglądania, zmiany. NajwaŜniejsze

Bardziej szczegółowo

Ćwiczenie 1. Modelowanie prostego procesu

Ćwiczenie 1. Modelowanie prostego procesu Ćwiczenie 1. Modelowanie prostego procesu Część 1. Definiowanie nowego projektu 1. Uruchom narzędzie TIBCO Business Studio. 2. Z menu wybierz File -> New -> Project... 3. W oknie dialogowym New Project

Bardziej szczegółowo

Wprowadzenie do programowania w języku Visual Basic. Podstawowe instrukcje języka

Wprowadzenie do programowania w języku Visual Basic. Podstawowe instrukcje języka Wprowadzenie do programowania w języku Visual Basic. Podstawowe instrukcje języka 1. Kompilacja aplikacji konsolowych w środowisku programistycznym Microsoft Visual Basic. Odszukaj w menu startowym systemu

Bardziej szczegółowo

Ćwiczenia 2 IBM DB2 Data Studio

Ćwiczenia 2 IBM DB2 Data Studio Ćwiczenia 2 IBM DB2 Data Studio Temat: Aplikacje w Data Studio 1. Projekty Tworzenie procedur, UDF, trygerów zaczynamy od utworzenia projektu File -> New -> Project wybieramy Data Development Project.

Bardziej szczegółowo

ZAPOZNANIE SIĘ ZE SPOSOBEM PRZECHOWYWANIA

ZAPOZNANIE SIĘ ZE SPOSOBEM PRZECHOWYWANIA LABORATORIUM SYSTEMÓW MOBILNYCH ZAPOZNANIE SIĘ ZE SPOSOBEM PRZECHOWYWANIA DANYCH NA URZĄDZENIACH MOBILNYCH I. Temat ćwiczenia II. Wymagania Podstawowe wiadomości z zakresu obsługi baz danych i języka SQL

Bardziej szczegółowo

Problemy techniczne SQL Server. Zarządzanie bazami danych na serwerze SQL

Problemy techniczne SQL Server. Zarządzanie bazami danych na serwerze SQL Problemy techniczne SQL Server Zarządzanie bazami danych na serwerze SQL Do zarządzania bazami danych na serwerze SQL służy narzędzie Microsoft SQL Server Management Studio. W poradzie tej pokażemy, jak:

Bardziej szczegółowo

Usługi analityczne podstawy budowy kostki analitycznej Część druga - zarządzanie

Usługi analityczne podstawy budowy kostki analitycznej Część druga - zarządzanie Usługi analityczne podstawy budowy kostki analitycznej Część druga - zarządzanie Nasz definicja kostki analitycznie nie zawiera jeszcze danych. Aby zbudować kostkę funkcjonalnie działającą musimy, dokonać

Bardziej szczegółowo

System imed24 Instrukcja Moduł Analizy i raporty

System imed24 Instrukcja Moduł Analizy i raporty System imed24 Instrukcja Moduł Analizy i raporty Instrukcja obowiązująca do wersji 1.8.0 Spis treści 1. Moduł Analizy i Raporty... 3 1.1. Okno główne modułu Analizy i raporty... 3 1.1.1. Lista szablonów

Bardziej szczegółowo

Administracja i programowanie pod Microsoft SQL Server 2000

Administracja i programowanie pod Microsoft SQL Server 2000 Administracja i programowanie pod Paweł Rajba pawel@ii.uni.wroc.pl http://www.kursy24.eu/ Zawartość modułu 1 Przegląd zawartości SQL Servera Podstawowe usługi SQL Servera Programy narzędziowe Bazy danych

Bardziej szczegółowo

Ćwiczenia laboratoryjne nr 11 Bazy danych i SQL.

Ćwiczenia laboratoryjne nr 11 Bazy danych i SQL. Prezentacja Danych i Multimedia II r Socjologia Ćwiczenia laboratoryjne nr 11 Bazy danych i SQL. Celem ćwiczeń jest poznanie zasad tworzenia baz danych i zastosowania komend SQL. Ćwiczenie I. Logowanie

Bardziej szczegółowo

wymiaru DimCustomer czyli wymiaru klienta zamawiającego produkty przez Internet,

wymiaru DimCustomer czyli wymiaru klienta zamawiającego produkty przez Internet, Narzędzie SQL Server Analysis Services, umożliwia analizę danych zgromadzonych w hurtowni danych. Po zalogowaniu się do SQL Server Management Studio po lewej stronie ekranu w przeglądarce obiektów widzimy

Bardziej szczegółowo

Bazy danych Karta pracy 1

Bazy danych Karta pracy 1 Bazy danych Karta pracy 1 Bazy danych Karta pracy 1 1. Utwórz katalog Bazy danych służący do przechowywania wszelkich danych dotyczących kursu. 2. W katalogu Bazy danych stwórz podkatalog BD1 służący jako

Bardziej szczegółowo

Wdrożenie modułu płatności eservice. dla systemu Magento 1.4 1.9

Wdrożenie modułu płatności eservice. dla systemu Magento 1.4 1.9 Wdrożenie modułu płatności eservice dla systemu Magento 1.4 1.9 - dokumentacja techniczna Wer. 01 Warszawa, styczeń 2014 1 Spis treści: 1 Wstęp... 3 1.1 Przeznaczenie dokumentu... 3 1.2 Przygotowanie do

Bardziej szczegółowo

Program Import dokumentów XLS dla Subiekta GT.

Program Import dokumentów XLS dla Subiekta GT. Program Import dokumentów XLS dla Subiekta GT. Do czego służy program? Program umożliwia import dokumentów z plików.xls (MS Excel, OpenOffice) do Subiekta. Użytkownik tworząc schematy importu ustala, które

Bardziej szczegółowo

Bazy danych i usługi sieciowe

Bazy danych i usługi sieciowe Bazy danych i usługi sieciowe Ćwiczenia I Paweł Daniluk Wydział Fizyki Jesień 2014 P. Daniluk (Wydział Fizyki) BDiUS ćw. I Jesień 2014 1 / 16 Strona wykładu http://bioexploratorium.pl/wiki/ Bazy_danych_i_usługi_sieciowe_-_2014z

Bardziej szczegółowo

Programowanie w SQL procedury i funkcje. UWAGA: Proszę nie zapominać o prefiksowaniu nazw obiektów ciągiem [OLIMP\{nr indeksu}] Funkcje użytkownika

Programowanie w SQL procedury i funkcje. UWAGA: Proszę nie zapominać o prefiksowaniu nazw obiektów ciągiem [OLIMP\{nr indeksu}] Funkcje użytkownika Programowanie w SQL procedury i funkcje UWAGA: Proszę nie zapominać o prefiksowaniu nazw obiektów ciągiem [OLIMP\{nr indeksu}] Funkcje użytkownika 1. Funkcje o wartościach skalarnych ang. scalar valued

Bardziej szczegółowo

Wykład 5 funkcje i procedury pamiętane widoki (perspektywy) wyzwalacze

Wykład 5 funkcje i procedury pamiętane widoki (perspektywy) wyzwalacze Wykład 5 funkcje i procedury pamiętane widoki (perspektywy) wyzwalacze 1 Funkcje i procedury pamiętane Następujące polecenie tworzy zestawienie zawierające informację o tym ilu jest na naszej hipotetycznej

Bardziej szczegółowo

Generowanie dokumentów XML z tabel relacyjnych - funkcje SQLX

Generowanie dokumentów XML z tabel relacyjnych - funkcje SQLX Aktualizowanie dokumentów XML ( Oracle ) do aktualizowania zawartości dokumentów XML służy między innymi funkcja updatexml. wynikiem jej działania jest oryginalny dokument ze zmodyfikowanym fragmentem,

Bardziej szczegółowo

Symfonia Produkcja Instrukcja instalacji. Wersja 2013

Symfonia Produkcja Instrukcja instalacji. Wersja 2013 Symfonia Produkcja Instrukcja instalacji Wersja 2013 Windows jest znakiem towarowym firmy Microsoft Corporation. Adobe, Acrobat, Acrobat Reader, Acrobat Distiller są zastrzeżonymi znakami towarowymi firmy

Bardziej szczegółowo

Systemy baz danych 2 laboratorium Projekt zaliczeniowy

Systemy baz danych 2 laboratorium Projekt zaliczeniowy Dany jest następujący logiczny schemat bazy danych Systemy baz danych 2 laboratorium Projekt zaliczeniowy FAKTURY POZYCJE PK f_id_faktury PK p_id_pozycji f_data_wystawienia f_data_płatnosci f_czy_zaplacona

Bardziej szczegółowo

Projekt procesora NIOSII w strukturze programowalnego układu logicznego CYCLONEII EP2C35F672C6 podłączenie i obsługa wyświetlacza LCD.

Projekt procesora NIOSII w strukturze programowalnego układu logicznego CYCLONEII EP2C35F672C6 podłączenie i obsługa wyświetlacza LCD. LAB. 2 Projekt procesora NIOSII w strukturze programowalnego układu logicznego CYCLONEII EP2C35F672C6 podłączenie i obsługa wyświetlacza LCD. Laboratorium Mikroprocesorowych Układów Sterowania instrukcja

Bardziej szczegółowo

Hurtownie danych w praktyce

Hurtownie danych w praktyce Hurtownie danych w praktyce Fakty i mity Dr inż. Maciej Kiewra Parę słów o mnie... 8 lat pracy zawodowej z hurtowniami danych Projekty realizowane w kraju i zagranicą Certyfikaty Microsoft z Business Intelligence

Bardziej szczegółowo

Wprowadzenie do projektowania i wykorzystania baz danych Relacje

Wprowadzenie do projektowania i wykorzystania baz danych Relacje Wprowadzenie do projektowania i wykorzystania baz danych Relacje Katarzyna Klessa Dygresja nt. operatorów SELECT 2^2 SELECT 2^30 SELECT 50^50 2 Dygresja nt. operatorów SELECT 2^30 --Bitwise exclusive OR

Bardziej szczegółowo

Migracja Business Intelligence do wersji 11.0

Migracja Business Intelligence do wersji 11.0 Migracja Business Intelligence do wersji 11.0 Copyright 2012 COMARCH Wszelkie prawa zastrzeżone Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej publikacji w jakiejkolwiek postaci jest

Bardziej szczegółowo

ALGORYTM RANDOM FOREST

ALGORYTM RANDOM FOREST SKRYPT PRZYGOTOWANY NA ZAJĘCIA INDUKOWANYCH REGUŁ DECYZYJNYCH PROWADZONYCH PRZEZ PANA PAWŁA WOJTKIEWICZA ALGORYTM RANDOM FOREST Katarzyna Graboś 56397 Aleksandra Mańko 56699 2015-01-26, Warszawa ALGORYTM

Bardziej szczegółowo

How to share data from SQL database table to the OPC Server? Jak udostępnić dane z tabeli bazy SQL do serwera OPC? samouczek ANT.

How to share data from SQL database table to the OPC Server? Jak udostępnić dane z tabeli bazy SQL do serwera OPC? samouczek ANT. Jak udostępnić dane z tabeli bazy SQL do serwera OPC? samouczek ANT How to share data from SQL database table to the OPC Server? ANT tutorial Krok 1: Uruchom ANT Studio i dodaj do drzewka konfiguracyjnego

Bardziej szczegółowo

Ćwiczenie 2 Badanie praw dostępu do zasobów w systemie Windows 2000.

Ćwiczenie 2 Badanie praw dostępu do zasobów w systemie Windows 2000. Ćwiczenie 2 Badanie praw dostępu do zasobów w systemie Windows 2000. Ćwiczenie 2.1 Przydzielanie praw dostępu 1. Zalogować się jako administrator. 2. W katalogu głównym dysku ćwiczebnego utworzyć folder

Bardziej szczegółowo

Zaawansowane aplikacje internetowe - laboratorium

Zaawansowane aplikacje internetowe - laboratorium Zaawansowane aplikacje internetowe - laboratorium Web Services (część 3). Do wykonania ćwiczeń potrzebne jest zintegrowane środowisko programistyczne Microsoft Visual Studio 2005. Ponadto wymagany jest

Bardziej szczegółowo

Bazy danych. Plan wykładu. Diagramy ER. Podstawy modeli relacyjnych. Podstawy modeli relacyjnych. Podstawy modeli relacyjnych

Bazy danych. Plan wykładu. Diagramy ER. Podstawy modeli relacyjnych. Podstawy modeli relacyjnych. Podstawy modeli relacyjnych Plan wykładu Bazy danych Wykład 9: Przechodzenie od diagramów E/R do modelu relacyjnego. Definiowanie perspektyw. Diagramy E/R - powtórzenie Relacyjne bazy danych Od diagramów E/R do relacji SQL - perspektywy

Bardziej szczegółowo

Microsoft Visual SourceSafe uproszczona instrukcja użytkowania

Microsoft Visual SourceSafe uproszczona instrukcja użytkowania Politechnika Białostocka Wydział Informatyki mgr inż. Tomasz Łukaszuk Microsoft Visual SourceSafe uproszczona instrukcja użytkowania Wprowadzenie Microsoft Visual SourceSafe jest narzędziem pozwalającym

Bardziej szczegółowo

Ćwiczenie 2 Badanie praw dostępu do zasobów w systemie Windows 2000.

Ćwiczenie 2 Badanie praw dostępu do zasobów w systemie Windows 2000. Ćwiczenie 2 Badanie praw dostępu do zasobów w systemie Windows 2000. Ćwiczenie 2.1 Przydzielanie praw dostępu 1. Zalogować się jako administrator. 2. W katalogu głównym dysku ćwiczebnego utworzyć folder

Bardziej szczegółowo

Wstęp - Prosta aplikacja internetowa w technologii Java EE 5. Programowanie komponentowe 1

Wstęp - Prosta aplikacja internetowa w technologii Java EE 5. Programowanie komponentowe 1 Wstęp - Prosta aplikacja internetowa w technologii Java EE 5 Programowanie komponentowe 1 Przykład 1- Wykonanie prostej aplikacji internetowej w technologii JavaEE w środowisku Netbeans 5.5 z wykorzystaniem

Bardziej szczegółowo

Zasady współpracy programu Doradca Handlowy z Symfonią

Zasady współpracy programu Doradca Handlowy z Symfonią Zasady współpracy Doradcy Handlowego z Symfonią 1 S U P L E M E N T Zasady współpracy programu Doradca Handlowy z Symfonią Konfiguracja połączenia Symfonia Doradca Handlowy Symfonia forte Finanse i Księgowość

Bardziej szczegółowo

Currenda EPO Instrukcja Konfiguracji. Wersja dokumentu: 1.3

Currenda EPO Instrukcja Konfiguracji. Wersja dokumentu: 1.3 Currenda EPO Instrukcja Konfiguracji Wersja dokumentu: 1.3 Currenda EPO Instrukcja Konfiguracji - wersja dokumentu 1.3-19.08.2014 Spis treści 1 Wstęp... 4 1.1 Cel dokumentu... 4 1.2 Powiązane dokumenty...

Bardziej szczegółowo

Aplikacje WWW - laboratorium

Aplikacje WWW - laboratorium Aplikacje WWW - laboratorium PHP + bazy danych Celem ćwiczenia jest przygotowanie prostej aplikacji internetowej wykorzystującej technologię PHP. Aplikacja pokazuje takie aspekty, współpraca PHP z bazami

Bardziej szczegółowo

Program Import Kontrahentów XLS dla Subiekta GT.

Program Import Kontrahentów XLS dla Subiekta GT. Program Import Kontrahentów XLS dla Subiekta GT. Do czego służy program? Program umożliwia import kontrahentów z plików.xls (MS Excel, OpenOffice) do Subiekta. Użytkownik tworząc schematy importu ustala,

Bardziej szczegółowo

Wdrożenie modułu płatności eservice. dla systemu oscommerce 2.3.x

Wdrożenie modułu płatności eservice. dla systemu oscommerce 2.3.x Wdrożenie modułu płatności eservice dla systemu oscommerce 2.3.x - dokumentacja techniczna Wer. 01 Warszawa, styczeń 2014 1 Spis treści: 1 Wstęp... 3 1.1 Przeznaczenie dokumentu... 3 1.2 Przygotowanie

Bardziej szczegółowo

Aspekty aktywne baz danych

Aspekty aktywne baz danych Aspekty aktywne baz danych Aktywne aspekty baz danych Baza danych powinna zapewniać pewne własności i niezmienniki; Własności te powinny mogą być zapisane do bazy danych, a baza danych powinna zapewniać

Bardziej szczegółowo

SQL :: Data Definition Language

SQL :: Data Definition Language SQL :: Data Definition Language 1. Zaproponuj wydajną strukturę danych tabela) do przechowywania macierzy o dowolnych wymiarach w bazie danych. Propozycja struktury powinna zostać zapisana z wykorzystaniem

Bardziej szczegółowo

ORACLE. System Zarządzania Bazą Danych Oracle. Oracle Advanced SQL

ORACLE. System Zarządzania Bazą Danych Oracle. Oracle Advanced SQL ORACLE System Zarządzania Bazą Danych Oracle Oracle Advanced SQL wersja 1.0 Politechnika Śląska 2008 Raportowanie z wykorzystaniem fraz rollup, cube Frazy cube, rollup, grouping sets umożliwiają rozszerzoną

Bardziej szczegółowo

Modelowanie hierarchicznych struktur w relacyjnych bazach danych

Modelowanie hierarchicznych struktur w relacyjnych bazach danych Modelowanie hierarchicznych struktur w relacyjnych bazach danych Wiktor Warmus (wiktorwarmus@gmail.com) Kamil Witecki (kamil@witecki.net.pl) 5 maja 2010 Motywacje Teoria relacyjnych baz danych Do czego

Bardziej szczegółowo

Języki programowania wysokiego poziomu. PHP cz.4. Bazy danych

Języki programowania wysokiego poziomu. PHP cz.4. Bazy danych Języki programowania wysokiego poziomu PHP cz.4. Bazy danych PHP i bazy danych PHP może zostać rozszerzony o mechanizmy dostępu do różnych baz danych: MySQL moduł mysql albo jego nowsza wersja mysqli (moduł

Bardziej szczegółowo

Laboratorium 050. Crystal Reports. Ćwiczenie 1. Otwarte pozycje

Laboratorium 050. Crystal Reports. Ćwiczenie 1. Otwarte pozycje Laboratorium 050 Crystal Reports Ćwiczenie 1 Otwarte pozycje 1. Uruchomić Microsoft.NET 2. Wybrać New Project, preferowany język (np. VB), Reporting, Crystal Reports Application i w polu Name (nazwa projektu)

Bardziej szczegółowo