Metadane. Data Maining. - wykład VII. Paweł Skrobanek, C-3 pok. 323 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006

Wielkość: px

Rozpocząć pokaz od strony:

Download "Metadane. Data Maining. - wykład VII. Paweł Skrobanek, C-3 pok. 323 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006"

Agata Antczak
8 lat temu
Przeglądów:

1 Metadane. Data Maining. - wykład VII Paweł Skrobanek, C-3 pok. 323 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006

2 Plan 1. Metadane 2. Jakość danych 3. Eksploracja danych (Data mining) 4. Sprawy róŝne

3 1. Metadane Dane o danych mogą przechowywać informacje: jakie dane i w jakim miejscu się znajdują, słownik/słowniki danych, definicje przepływu danych (kierunek i częstotliwość przepływu danych), definicje dotyczące transformacji danych, informacje o modyfikacja oraz kolejne wersje metadanych (tzw. kroniki), inne (np. statystyki uŝycia danych, uprawnienia uŝytkowników)

przepływu danych), definicje dotyczące transformacji danych, informacje o modyfikacja oraz

4 1 Metadane Przykłady standardów: MSR (Microsoft Repository) przechowywanie danych (mechanizm relacyjny) oraz modelu danych (oparty na COM common object model; standaryzacja poprzez zastosowanie jednego języka (UML firmy Rational) MDIS (Metadata Interchange Specyfication) standard opracowany przez m.in. IBM, Sybase, Informix (przykład kolejny slajd ). Ciekawe informacje o metadanych (rozwiązaniach), np.:

(UML firmy Rational) MDIS (Metadata Interchange Specyfication) standard opracowany przez m.in.

5 1. Metadane

6 1. Metadane Źródło: M.Jarke, M.Lenzerini, Y.Vasiliou, P.Vasiliadis Hurtownie danych, WSiP, Warszawa 2003

7 1. Metadane Źródło: M.Jarke, M.Lenzerini, Y.Vasiliou, P.Vasiliadis Hurtownie danych, WSiP, Warszawa 2003

8 1. Metadane Źródło: M.Jarke, M.Lenzerini, Y.Vasiliou, P.Vasiliadis Hurtownie danych, WSiP, Warszawa 2003

9 2. Jakość danych Podstawowe wymiary: dokładność (accurancy) zgodność wartości przechowywanych z źródłowymi (rzeczywistymi), aktualność (timelines) dane odpowiadają rzeczywistości (nie zdezaktualizowały się), kompletność (completness) Ŝadna informacja nie została zagubiona,

(timelines) dane odpowiadają rzeczywistości (nie zdezaktualizowały

10 2. Jakość danych Podstawowe wymiary cd.: spójność (consistency) jednolita reprezentacja danych, dyspozycyjność (availability) dane są dostępne wtedy, gdy ich potrzebujemy, inne, patrz: materiały ksero.

11 2. Jakość danych Czynniki jakości w problemach optymalizacji projektowania hurtowni danych patrz: materiały ksero.

12 2. Jakość danych Normy: ISO 9000 zarządzanie jakością i zapewnienie jakości (zawiera: pojęcia, definicje, wytyczne wyboru standardów/norm itp.) ISO 9001 model zapewnienia jakości w projektowaniu, pracach rozwojowych, produkcji, instalowaniu, serwisie (m.in. zawiera wymagania związane z planowaniem jakości, wzór kontraktu, parametry) inne: ISO ISO 9004, IEEE

) ISO 9001 model zapewnienia jakości w projektowaniu, pracach rozwojowych, produkcji,

13 3. Ekstrakcja danych Ekstrakcja danych (ang.( data mining) - to odkrywanie, wydobywanie wiedzy ze zgromadzonych danych Business Intelligence (BI) - słuŝy do ekstrapolacji przyszłości i estymacji stanu obecnego (źródło: pl.wikipedia.org/wiki/business_intelligence Business_intelligence); narzędzia BI słuŝą do wspomagania podejmowania decyzji w oparciu o analizę zgromadzonych danych

- słuŝy do ekstrapolacji przyszłości i estymacji stanu obecnego (źródło: http://pl.wikipedia.org pl.

14 3. Ekstrakcja danych Podstawowe zakresy techniki eksploracji danych: metody statystyczne, sieci neuronowe, algorytmy genetyczny (metody ewolucyjne) logika rozmyta, metody uczenia maszynowego

15 3. Ekstrakcja danych - techniki REGUŁY ASOCJACYJNE: X => Y (wsparcie, ufność) gdzie: X i Y rozłączne zbiory elementów, Przykład: wsparcie występowanie X i Y razem [%], ufność prawdopodobieństwo P(Y X) {chleb, kiełbasa} => {musztarda} (5%,75%) 5% klientów miało chleb, kiełbasę i musztardę, 75% tych co mieli chleb i kiełbasę mieli teŝ musztardę

ufność prawdopodobieństwo P(Y X) {chleb, kiełbasa} => {musztarda} (5%,75%) 5%

16 3. Ekstrakcja danych - techniki WZORCE SEKWENCJI -uporządkowane ciągi zbiorów elementów w którym kaŝdy zbiór ma określony znacznik czasowy (np. kolejno wypoŝyczane filmy przez klienta, zakupy ksiąŝek) - w bazie danych najczęściej wyszukujemy wzorce występujące z częstością większą niŝ zadana Przykład: { Ogniem i mieczem } =>{ Potop }=>{ Pan Wołodyjowski } (1,5%) { Powrót króla ksiąŝka } => { Powrót króla film DVD } (?)

kolejno wypoŝyczane filmy przez klienta, zakupy ksiąŝek) - w bazie danych najczęściej wyszukujemy wzorce

17 3. Ekstrakcja danych - techniki INNE - analiza materiałów Internetowych modeling-agency.com/training/series.html pdf

com/training/series.html http://www.mini.pw.edu.

18 4. Sprawy róŝne WDROśENIE i KONSERWACJA 1. SZKOLENIA 2. PROMOCJA HD 3. URUCHAMIANIE

19 4. Sprawy róŝne SZKOLENIA nikt nie lubi zmian mimo istnienia HD pracownicy mogą z niej nie korzystać, trudności z obsługą nie wszyscy są informatykami, nawet proste operacje (wyświetlanie raportów) mogą sprawiać kłopoty, nie wszystko jest przydatne modyfikacje HD implikują konieczność informowania pracowników dodatkowe szkolenia

operacje (wyświetlanie raportów) mogą sprawiać kłopoty, nie wszystko jest

20 4. Sprawy róŝne PROMOCJA HD wsparcie kierownictwa (np. zgłaszanie przez nich zapotrzebowania na dane z HD do pracowników, system motywacyjny), zamieszczanie informacji o HD na tablicy ogłoszeń, w gazetce), zachęcanie do wymiany informacji pomiędzy uŝytkownikami, i inne

system motywacyjny), zamieszczanie informacji o HD na tablicy

21 4. Sprawy róŝne URUCHOMIENIE dobór właściwej strategii (najczęściej etapowe), testowanie i ocena jakości, walidacja, dokumentacja

22 END OF Dziękuję za uwagę

Podobne dokumenty

Hurtownie danych i business intelligence. Plan na dziś : Wprowadzenie do przedmiotu

Hurtownie danych i business intelligence. Plan na dziś : Wprowadzenie do przedmiotu i business intelligence Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl Wrocław 2005-2007 Plan na dziś : 1. Wprowadzenie do przedmiotu (co będzie omawiane oraz jak będę weryfikował zdobytą wiedzę