Integracja technik eksploracji danych ]V\VWHPHP]DU]G]DQLDED]GDQ\FK QDSU]\NáDG]LH2UDFOHi Data Mining
|
|
- Amelia Szewczyk
- 8 lat temu
- Przeglądów:
Transkrypt
1 Integracja technik eksploracji danych ]V\VWHPHP]DU]G]DQLDED]GDQ\FK QDSU]\NáDG]LH2UDFOHi Data Mining 0LNRáDM0RU]\ Marek Wojciechowski Instytut Informatyki PP Eksploracja danych 2GNU\ZDQLHZ]RUFyZZGX*\FK wolumenach danych Ewolucja systemów eksploracyjnych Systemy dedykowane 6\VWHP\ZVSyáSUDFXMFH]ED]GDQ\FKOracle Darwin, IBM Intelligent miner) 6\VWHP\FLOH]LQWHJURZDQH]ED]GDQ\FK (oracle9i data Mining)
2 Metody eksploracji danych () 5HJXá\DVRFMDF\MQH 80% klientów którzy w marcu kupili buty narciarskie i okulary VáRQHF]QHNXSLáRWH*ZHáQLDQHVZHWU\WDNLFK]DNXSyZ GRNRQDáRNOLHQWyZNXSXMF\FKZPDUFX Buty narciarskie okulary sweter weániany s=0.8 c=80 Klasyfikacja wiek < 30 tak nie tak KM < 20 nie wzrok = dobry dochody < 3 l.drzwi < 4 tak nie tak nie tak nie ]á\ UHGQL ]á\ UHGQL dobry Metody eksploracji danych (2) Grupowanie obiektów (clustering) Przebiegi czasowe (time series) 2
3 Klasyfikacja =ELyUSU]\NáDGyZNURWHN]NWyU\FKND*G\ QDOH*\GRMHGQHM]SUHGHILQLRZDQ\FKNODV Budowanie (trenowanie) modelu i testowanie modelu :\NRU]\VWDQLHPRGHOXGRRNUHODQLDNODV\ GRNWyUHMQDOH*QRZHSU]\NáDG\ Klasyfikacja (atrybuty kategoryczne) i SUHG\NFMDDWU\EXW\FLJáH Metody klasyfikacji Drzewa decyzyjne Klasyfikatory bayesowskie Sieci neuronowe Analiza statystyczna Algorytmy genetyczne =ELRU\SU]\EOL*RQH 3
4 Drzewa decyzyjne.d*g\z]házhzqwu]q\uhsuh]hqwxmhwhvw przeprowadzony na atrybucie.d*gdjdá(uhsuh]hqwxmhz\qlnwhvwx.d*g\olüuhsuh]hqwxmhnodv.u\whuldsrg]ldáx wiek < 3 Indeks GINI (CART) Wzrost informacji (C4.5) χ2 (CHAID) wysokie ryzyko T T N wysokie ryzyko auto sportowe N niskie ryzyko Klasyfikator Bayesa Twierdzenie Thomasa Bayesa (702-76) Pr(h d) = Pr(d h)*pr(h)*{σ i Pr(d h i )*Pr(h i )} - Optymalny klasyfikator Bayesa arg max Pr(c(x)=d t)= Σ h Pr (c(x)=d h)*pr(h t) Naiwny klasyfikator Bayesa arg max Pr(c(x)=d a (x)=a (x 0 ),..., a n (x)=a n (x 0 )), czyli arg max Pr(c(x)=d)*Pr(a (x)=a (x 0 ),..., a n (x)=a n (x 0 ) c(x)=d) Zaáo*enie o warunkowej niezale*noci atrybutów: Pr(a (x)=v,..., a n (x)=v n c(x)=d)= i Pr(a i (x)=v i c(x)=d) 4
5 3U]\NáDG RID DOCHOD > 2000 <= 2000 <= 2000 > 2000 > 2000 <= 2000 <= 2000 TYP SPORT SPORT COMBI COUPE COMBI SPORT COUPE RYZYKO NISKIE WYSOKIE NISKIE WYSOKIE NISKIE WYSOKIE??? Pr(niskie)=3/6 Pr(wysokie)=3/6 Pr(dochod > 2000 niskie) = 2/3 Pr(dochod <= 2000 niskie) = /3 Pr(dochod > 2000 wysokie) = /3 Pr(dochod <= 2000 wysokie) = 2/3 Pr(typ = sport niskie) = /3 Pr(typ = combi niskie) = 2/3 Pr(typ = coupe niskie) = 0/3 Pr(typ = sport wysokie) = 2/3 Pr(typ = combi wysokie) = 0/3 Pr(typ = coupe wysokie) = /3 Pr(niskie)*Pr(>2000,coupe niskie)=3/6*2/3*0./3=/90 Pr(wysokie)*Pr(>2000,coupe wysokie)=3/6*/3*/3=/8 5HJXá\DVRFMDF\MQH =ELyUWUDQVDNFMLNOLHQWyZJG]LHND*GD transakcja to zbiór elementów (produktów) 2GQDOH]LHQLH]ELRUyZHOHPHQWyZF]VWR Z\VWSXMF\FKUD]HPZWUDQVDNFMDFK klientów :\JHQHURZDQLHUHJXáLREOLF]HQLH ZVSyáF]\QQLNyZVWDW\VW\F]Q\FK RSLVXMF\FKZVSyáZ\VWSRZDQLHHOHPHQWyZ 5
6 =DVWRVRZDQLHUHJXáDVRFMDF\MQ\FK Analiza koszyka zakupów 5R]NáDGSyáHNLWRZDUyZQDSyáNDFK.RQVWUXRZDQLHZL]DQ\FKRIHUWVSU]HGD*\ 0DUNHWLQJEH]SRUHGQL Diagnozy lekarskie Telekomunikacja $QDOL]DGRVWSyZGRVHUZLVyZ::: Automatyczna personalizacja serwisów WWW 6IRUPXáRZDQLHSUREOHPX Zbiór elementów I = { i,..., i n } Transakcja T (zbiór elementów) T I Baza danych D (zbiór transakcji) Transakcja T wspiera zbiór elementów X jeli X T Reguáa asocjacyjna: X Y, gdzie X, Y I i X Y = piwo czipsy karkówka plast. Talerze 6
7 0LDU\VWRVRZDQHGRUHJXá Wsparcie UHJXá\X Y to liczba transakcji w D wspierajcych (X Y) Ufnoü reguáy X Y to liczba transakcji wspierajcych X które równie* wspieraj Y Lift reguáy X Y porównuje stosunek prawdopodobiestwa wystpienia Y razem z X do prawdopodobiestwa wystpienia Y z dowolnym innym zbiorem Algorytm Apriori L = {frequent -itemset}; for (k=2;l k- ;k++) do begin C k = apriori_gen(l k- ); forall transactions t T do begin forall candidates c t do c.count++; end; L k = {c C k c.count minsup} end; Answer = k L k ; 7
8 ,QQHURG]DMHUHJXáDVRFMDF\MQ\FK 8RJyOQLRQHUHJXá\DVRFMDF\MQHUHJXá\ wielopoziomowe),orflrzhuhjxá\dvrfmdf\mqh Wzorce sekwencji 5HJXá\inter-transakcyjne Architektura Oracle9i Data Mining ODM Application Programming Interface ODM API to zbiór klas i metod Z\NRU]\VW\ZDQ\FKSU]H]SURJUDPLVW ODM Data Mining Server ODM DMS to komponent po stronie serwera, zbiór skompilowanych klas i procedur PL/SQL oraz repozytorium 8
9 Oracle9i Data Mining GRVWSQHPHWRG\ Uczenie nadzorowane.odv\ilndfmd]dsrprfqdlzqhjrnodv\ilndwrud Bayesa, budowanie modelu, testowanie modelu, stosowanie modelu do nowych danych Uczenie bez nadzoru 2GNU\ZDQLHUHJXáDVRFMDF\MQ\FK]DSRPRF algorytmu Apriori Przechowywanie wyników eksploracji w repozytorium data mining object Oracle9i Data Mining - proces function settings object minsup = 0. minconf = 0.8 A B C DB data usage specification mining model RID 2... ATR ABC ABD... ATR2 XYZ XWX... ATR logical data specification klasyfikator 9
10 Format danych Fizyczna specyfikacja danych klasa: PhysicalDataSpecification format transakcyjny format kategoryczny SEQ_ID 2 ATRYBUT KOLOR MARKA ROCZNIK KOLOR :$572û %,$à< FIAT 998 GRANAT SEQ_ID KOLOR MARKA ROCZNIK %,$à< FIAT GRANAT RENAULT CZARNY LANCIA ZIELONY AUDI 996 Dyskretyzacja klasy: CategoricalDiscretization, NumericalDiscretization Dyskretyzacja jawna 5HJXá\PDSRZDQLDGROQHLJyUQHJUDQLFHNDW QDMF]VWV]\FK /LF]EDLQWHUHVXMF\FKNDWHJRULL 3RG]LDáQDkwantyle /LF]EDLQWHUHVXMF\FKkwantyli 0
11 Inne klasy Specyfikacja funkcji eksploracji Model eksploracji Wynik eksploracji Algorytm eksploracji 5HJXáDDVRFMDF\MQD Klasyfikator Repozytorium =ELyUUHODFMLSU]HFKRZXMF\FKIXQNFMH modele i wyniki eksploracji ODM_CONFIGURATION ODM_MINING_FUNCTION_SETTINGS ODM_MINING_MODEL ODM_MESSAGE_LOG...
Mikołaj Morzy, Marek Wojciechowski: "Integracja technik eksploracji danych z systemem zarządzania bazą danych na przykładzie Oracle9i Data Mining"
Mikołaj Morzy, Marek Wojciechowski: "Integracja technik eksploracji danych z systemem zarządzania bazą danych na przykładzie Oracle9i Data Mining" Streszczenie Eksploracja danych znajduje coraz szersze
Bardziej szczegółowodata mining machine learning data science
data mining machine learning data science deep learning, AI, statistics, IoT, operations research, applied mathematics KISIM, WIMiIP, AGH 1 Machine Learning / Data mining / Data science Uczenie maszynowe
Bardziej szczegółowoImplementacja metod eksploracji danych - Oracle Data Mining
Implementacja metod eksploracji danych - Oracle Data Mining 395 Plan rozdziału 396 Wprowadzenie do eksploracji danych Architektura Oracle Data Mining Możliwości Oracle Data Mining Etapy procesu eksploracji
Bardziej szczegółowoPODYPLOMOWE STUDIA ZAAWANSOWANE METODY ANALIZY DANYCH I DATA MINING W BIZNESIE
UNIWERSYTET WARMIŃSKO-MAZURSKI W OLSZTYNIE PODYPLOMOWE STUDIA ZAAWANSOWANE METODY ANALIZY DANYCH I DATA MINING W BIZNESIE http://matman.uwm.edu.pl/psi e-mail: psi@matman.uwm.edu.pl ul. Słoneczna 54 10-561
Bardziej szczegółowoData Mining Wykład 3. Algorytmy odkrywania binarnych reguł asocjacyjnych. Plan wykładu
Data Mining Wykład 3 Algorytmy odkrywania binarnych reguł asocjacyjnych Plan wykładu Algorytm Apriori Funkcja apriori_gen(ck) Generacja zbiorów kandydujących Generacja reguł Efektywności działania Własności
Bardziej szczegółowoHurtownie danych. Analiza zachowań użytkownika w Internecie. Ewa Kowalczuk, Piotr Śniegowski. Informatyka Wydział Informatyki Politechnika Poznańska
Hurtownie danych Analiza zachowań użytkownika w Internecie Ewa Kowalczuk, Piotr Śniegowski Informatyka Wydział Informatyki Politechnika Poznańska 2 czerwca 2011 Wprowadzenie Jak zwiększyć zysk sklepu internetowego?
Bardziej szczegółowoSAS wybrane elementy. DATA MINING Część III. Seweryn Kowalski 2006
SAS wybrane elementy DATA MINING Część III Seweryn Kowalski 2006 Algorytmy eksploracji danych Algorytm eksploracji danych jest dobrze zdefiniowaną procedurą, która na wejściu otrzymuje dane, a na wyjściu
Bardziej szczegółowoIndeksy w bazach danych. Motywacje. Techniki indeksowania w eksploracji danych. Plan prezentacji. Dotychczasowe prace badawcze skupiały się na
Techniki indeksowania w eksploracji danych Maciej Zakrzewicz Instytut Informatyki Politechnika Poznańska Plan prezentacji Zastosowania indeksów w systemach baz danych Wprowadzenie do metod eksploracji
Bardziej szczegółowo1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie
Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty
Bardziej szczegółowoEwelina Dziura Krzysztof Maryański
Ewelina Dziura Krzysztof Maryański 1. Wstęp - eksploracja danych 2. Proces Eksploracji danych 3. Reguły asocjacyjne budowa, zastosowanie, pozyskiwanie 4. Algorytm Apriori i jego modyfikacje 5. Przykład
Bardziej szczegółowoKrzysztof Kawa. empolis arvato. e mail: krzysztof.kawa@empolis.com
XI Konferencja PLOUG Kościelisko Październik 2005 Zastosowanie reguł asocjacyjnych, pakietu Oracle Data Mining for Java do analizy koszyka zakupów w aplikacjach e-commerce. Integracja ze środowiskiem Oracle
Bardziej szczegółowoWprowadzenie Sformułowanie problemu Typy reguł asocjacyjnych Proces odkrywania reguł asocjacyjnych. Data Mining Wykład 2
Data Mining Wykład 2 Odkrywanie asocjacji Plan wykładu Wprowadzenie Sformułowanie problemu Typy reguł asocjacyjnych Proces odkrywania reguł asocjacyjnych Geneza problemu Geneza problemu odkrywania reguł
Bardziej szczegółowoMetody probabilistyczne klasyfikatory bayesowskie
Konwersatorium Matematyczne Metody Ekonomii narzędzia matematyczne w eksploracji danych First Prev Next Last Go Back Full Screen Close Quit Metody probabilistyczne klasyfikatory bayesowskie Wykład 8 Marcin
Bardziej szczegółowoWielkie wolumeny danych są trudne w analizowaniu. system satelitarnej obserwacji EOS zbudowany przez NASA generuje
Eksploracja danych - Odkrywanie wiedzy w danych Marek Wojciechowski Instytut Informatyki Politechnika Poznańska Zależności w bazach danych Przykład 1 wiek lat prawo kolor poj. moc razem kierowcy jazdy
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING. EKSPLORACJA DANYCH Ćwiczenia. Adrian Horzyk. Akademia Górniczo-Hutnicza
METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING EKSPLORACJA DANYCH Ćwiczenia Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej
Bardziej szczegółowoAnaliza i eksploracja danych
Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Inteligentne Systemy Wspomagania Decyzji Studia magisterskie, semestr I Semestr letni
Bardziej szczegółowoMetody eksploracji danych. Reguły asocjacyjne
Metody eksploracji danych Reguły asocjacyjne Analiza podobieństw i koszyka sklepowego Analiza podobieństw jest badaniem atrybutów lub cech, które są powiązane ze sobą. Metody analizy podobieństw, znane
Bardziej szczegółowoINDUKOWANE REGUŁY DECYZYJNE ALORYTM APRIORI JAROSŁAW FIBICH
INDUKOWANE REGUŁY DECYZYJNE ALORYTM APRIORI JAROSŁAW FIBICH 1. Czym jest eksploracja danych Eksploracja danych definiowana jest jako zbiór technik odkrywania nietrywialnych zależności i schematów w dużych
Bardziej szczegółowoOdkrywanie reguł asocjacyjnych. Rapid Miner
Odkrywanie reguł asocjacyjnych Rapid Miner Zbiory częste TS ID_KLIENTA Koszyk 12:57 1123 {mleko, pieluszki, piwo} 13:12 1412 {mleko, piwo, bułki, masło, pieluszki} 13:55 1425 {piwo, wódka, wino, paracetamol}
Bardziej szczegółowoInżynieria biomedyczna
Inżynieria biomedyczna Projekt Przygotowanie i realizacja kierunku inżynieria biomedyczna studia międzywydziałowe współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego.
Bardziej szczegółowoCo to jest klasyfikacja? Klasyfikacja a grupowanie Naiwny klasyfikator Bayesa
Co to jest klasyfikacja? Klasyfikacja a grupowanie Naiwny klasyfikator Bayesa Odkrywanie asocjacji Wzorce sekwencji Analiza koszykowa Podobieństwo szeregów temporalnych Klasyfikacja Wykrywanie odchyleń
Bardziej szczegółowoEksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18
Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)
Bardziej szczegółowoEksploracja danych a serwisy internetowe Przemysław KAZIENKO
Eksploracja danych a serwisy internetowe Przemysław KAZIENKO Wydział Informatyki i Zarządzania Politechnika Wrocławska kazienko@pwr.wroc.pl Dlaczego eksploracja danych w serwisach internetowych? Kanały
Bardziej szczegółowoWprowadzenie do technologii informacyjnej.
Wprowadzenie do technologii informacyjnej. Data mining i jego biznesowe zastosowania dr Tomasz Jach Definicje Eksploracja danych polega na torturowaniu danych tak długo, aż zaczną zeznawać. Eksploracja
Bardziej szczegółowoOdkrywanie asocjacji
Odkrywanie asocjacji Cel odkrywania asocjacji Znalezienie interesujących zależności lub korelacji, tzw. asocjacji Analiza dużych zbiorów danych Wynik procesu: zbiór reguł asocjacyjnych Witold Andrzejewski,
Bardziej szczegółowoData Mining Wykład 1. Wprowadzenie do Eksploracji Danych. Prowadzący. Dr inż. Jacek Lewandowski
Data Mining Wykład 1 Wprowadzenie do Eksploracji Danych Prowadzący Dr inż. Jacek Lewandowski Katedra Genetyki Wydział Biologii i Hodowli Zwierząt Uniwersytet Przyrodniczy we Wrocławiu ul. Kożuchowska 7,
Bardziej szczegółowoAlgorytmy optymalizacji zapytań eksploracyjnych z wykorzystaniem materializowanej perspektywy eksploracyjnej
Algorytmy optymalizacji zapytań eksploracyjnych z wykorzystaniem materializowanej perspektywy eksploracyjnej Jerzy Brzeziński, Mikołaj Morzy, Tadeusz Morzy, Łukasz Rutkowski RB-006/02 1. Wstęp 1.1. Rozwój
Bardziej szczegółowoEksploracja danych. Wielkie bazy danych. Zależności w bazach danych Przykład 1. Zależności w bazach danych Przykład 2
Wielkie bazy danych Eksploracja danych Marek Wojciechowski Instytut Informatyki Politechnika Poznańska Wielkie bazy danych (Very Large Databases) i hurtownie danych (Data Warehouses) Rozmiary współczesnych
Bardziej szczegółowo4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74
3 Wykaz najważniejszych skrótów...8 Przedmowa... 10 1. Podstawowe pojęcia data mining...11 1.1. Wprowadzenie...12 1.2. Podstawowe zadania eksploracji danych...13 1.3. Główne etapy eksploracji danych...15
Bardziej szczegółowoMachine Learning. KISIM, WIMiIP, AGH
Machine Learning KISIM, WIMiIP, AGH 1 Machine Learning Uczenie maszynowe jest konsekwencją rozwoju idei sztucznej inteligencji i jej praktycznego wdrażania. Algorytmy pozwalają na zautomatyzowanie procesu
Bardziej szczegółowoEksploracja danych PROCES EKSPLORACJI DANYCH. Wojciech Waloszek. Teresa Zawadzka.
Eksploracja danych PROCES EKSPLORACJI DANYCH Wojciech Waloszek wowal@eti.pg.gda.pl Teresa Zawadzka tegra@eti.pg.gda.pl Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki
Bardziej szczegółowoAlgorytmy klasyfikacji
Algorytmy klasyfikacji Konrad Miziński Instytut Informatyki Politechnika Warszawska 6 maja 2015 1 Wnioskowanie 2 Klasyfikacja Zastosowania 3 Drzewa decyzyjne Budowa Ocena jakości Przycinanie 4 Lasy losowe
Bardziej szczegółowoOpis efektów kształcenia dla modułu zajęć
Nazwa modułu: Eksploracja danych Rok akademicki: 2030/2031 Kod: MIS-2-105-MT-s Punkty ECTS: 5 Wydział: Inżynierii Metali i Informatyki Przemysłowej Kierunek: Informatyka Stosowana Specjalność: Modelowanie
Bardziej szczegółowoSystemy uczące się wykład 2
Systemy uczące się wykład 2 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 19 X 2018 Podstawowe definicje Fakt; Przesłanka; Konkluzja; Reguła; Wnioskowanie. Typy wnioskowania
Bardziej szczegółowoLaboratorium 4. Naiwny klasyfikator Bayesa.
Laboratorium 4 Naiwny klasyfikator Bayesa. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie powitalnym kliknij przycisk
Bardziej szczegółowoOdkrywanie asocjacji
Odkrywanie asocjacji Wprowadzenie Sformułowanie problemu Typy reguł asocjacyjnych Odkrywanie asocjacji wykład 1 Wykład jest poświęcony wprowadzeniu i zaznajomieniu się z problemem odkrywania reguł asocjacyjnych.
Bardziej szczegółowoOdkrywanie asocjacji. Cel. Geneza problemu analiza koszyka zakupów
Odkrywanie asocjacji Cel Celem procesu odkrywania asocjacji jest znalezienie interesujących zależności lub korelacji (nazywanych ogólnie asocjacjami) pomiędzy danymi w dużych zbiorach danych. Wynikiem
Bardziej szczegółowo1. Cele eksploracyjnej analizy danych Rapid Miner zasady pracy i wizualizacja danych Oracle Data Miner -zasady pracy.
Spis treści: 1. Cele eksploracyjnej analizy danych...1 2. Rapid Miner zasady pracy i wizualizacja danych...3 3. Oracle Data Miner -zasady pracy.12 3.1 ODM PL/SQL.......12 3.2 ODM JAVA API......12 3.2.1
Bardziej szczegółowoMail: Pokój 214, II piętro
Wykład 2 Mail: agnieszka.nowak@us.edu.pl Pokój 214, II piętro http://zsi.tech.us.edu.pl/~nowak Predykcja zdolność do wykorzystania wiedzy zgromadzonej w systemie do przewidywania wartości dla nowych danych,
Bardziej szczegółowoSystemy uczące się wykład 1
Systemy uczące się wykład 1 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 5 X 2018 e-mail: przemyslaw.juszczuk@ue.katowice.pl Konsultacje: na stronie katedry + na stronie domowej
Bardziej szczegółowoPlan prezentacji 0 Wprowadzenie 0 Zastosowania 0 Przykładowe metody 0 Zagadnienia poboczne 0 Przyszłość 0 Podsumowanie 7 Jak powstaje wiedza? Dane Informacje Wiedza Zrozumienie 8 Przykład Teleskop Hubble
Bardziej szczegółowoMetadane. Data Maining. - wykład VII. Paweł Skrobanek, C-3 pok. 323 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006
Metadane. Data Maining. - wykład VII Paweł Skrobanek, C-3 pok. 323 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006 Plan 1. Metadane 2. Jakość danych 3. Eksploracja danych (Data mining) 4. Sprawy róŝne
Bardziej szczegółowoLaboratorium 5. Adaptatywna sieć Bayesa.
Laboratorium 5 Adaptatywna sieć Bayesa. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie powitalnym kliknij przycisk Dalej>.
Bardziej szczegółowoLaboratorium z przedmiotu MED. Lab1 - wprowadzenie
Laboratorium z przedmiotu MED Lab1 - wprowadzenie Grzegorz Protaziuk Konsultacje: środa godz. 11.00 12.00 pok. 301 Gmach EiTI email: gprotazi@elka.pw.edu.pl (w temacie mejla proszę dodać frazę MED) www.ii.pw.edu.pl/~gprotazi
Bardziej szczegółowoImplementacja wybranych algorytmów eksploracji danych na Oracle 10g
Implementacja wybranych algorytmów eksploracji danych na Oracle 10g Sławomir Skowyra, Michał Rudowski Instytut Informatyki Wydziału Elektroniki i Technik Informacyjnych, Politechnika Warszawska S.Skowyra@stud.elka.pw.edu.pl,
Bardziej szczegółowoORACLE 9i DATA MINING NARZĘDZIEM DO EKSTRAKCJI WIEDZY Z BAZ DANYCH
ORACLE 9i DATA MINING NARZĘDZIEM DO EKSTRAKCJI WIEDZY Z BAZ DANYCH Streszczenie Małgorzata Nycz, Barbara Smok Akademia Ekonomiczna we Wrocławiu {malgorzata.nycz,barbara.smok}@ae.wroc.pl Artykuł prezentuje
Bardziej szczegółowoData Mining Wykład 5. Indukcja drzew decyzyjnych - Indeks Gini & Zysk informacyjny. Indeks Gini. Indeks Gini - Przykład
Data Mining Wykład 5 Indukcja drzew decyzyjnych - Indeks Gini & Zysk informacyjny Indeks Gini Popularnym kryterium podziału, stosowanym w wielu produktach komercyjnych, jest indeks Gini Algorytm SPRINT
Bardziej szczegółowoAnaliza i wizualizacja danych Data analysis and visualization
KARTA MODUŁU / KARTA PRZEDMIOTU Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 2012/2013
Bardziej szczegółowoSYLABUS. Dotyczy cyklu kształcenia Realizacja w roku akademickim 2016/2017. Wydział Matematyczno - Przyrodniczy
Załącznik nr 4 do Uchwały Senatu nr 430/01/2015 SYLABUS Dotyczy cyklu kształcenia 2014-2018 Realizacja w roku akademickim 2016/2017 1.1. PODSTAWOWE INFORMACJE O PRZEDMIOCIE/MODULE Nazwa przedmiotu/ modułu
Bardziej szczegółowoSzkolenia SAS Cennik i kalendarz 2017
Szkolenia SAS Spis treści NARZĘDZIA SAS FOUNDATION 2 ZAAWANSOWANA ANALITYKA 2 PROGNOZOWANIE I EKONOMETRIA 3 ANALIZA TREŚCI 3 OPTYMALIZACJA I SYMULACJA 3 3 ROZWIĄZANIA DLA HADOOP 3 HIGH-PERFORMANCE ANALYTICS
Bardziej szczegółowoKlasyfikacja. Sformułowanie problemu Metody klasyfikacji Kryteria oceny metod klasyfikacji. Eksploracja danych. Klasyfikacja wykład 1
Klasyfikacja Sformułowanie problemu Metody klasyfikacji Kryteria oceny metod klasyfikacji Klasyfikacja wykład 1 Niniejszy wykład poświęcimy kolejnej metodzie eksploracji danych klasyfikacji. Na początek
Bardziej szczegółowoAlgorytmy odkrywania binarnych reguł asocjacyjnych
Algorytmy odkrywania binarnych reguł asocjacyjnych A-priori FP-Growth Odkrywanie asocjacji wykład 2 Celem naszego wykładu jest zapoznanie się z dwoma podstawowymi algorytmami odkrywania binarnych reguł
Bardziej szczegółowoMetody klasyfikacji danych - część 1 p.1/24
Metody klasyfikacji danych - część 1 Inteligentne Usługi Informacyjne Jerzy Dembski Metody klasyfikacji danych - część 1 p.1/24 Plan wykładu - Zadanie klasyfikacji danych - Przeglad problemów klasyfikacji
Bardziej szczegółowoSYLABUS DOTYCZY CYKLU KSZTAŁCENIA REALIZACJA W ROKU AKADEMICKIM 2016/2017
SYLABUS DOTYCZY CYKLU KSZTAŁCENIA 2014-2018 REALIZACJA W ROKU AKADEMICKIM 2016/2017 1.1. Podstawowe informacje o przedmiocie/module Nazwa przedmiotu/ modułu Metody eksploracji danych Kod przedmiotu/ modułu*
Bardziej szczegółowo1. Odkrywanie asocjacji
1. 2. Odkrywanie asocjacji...1 Algorytmy...1 1. A priori...1 2. Algorytm FP-Growth...2 3. Wykorzystanie narzędzi Oracle Data Miner i Rapid Miner do odkrywania reguł asocjacyjnych...2 3.1. Odkrywanie reguł
Bardziej szczegółowoAnaliza danych. http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU
Analiza danych Wstęp Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ TEMATYKA PRZEDMIOTU Różne aspekty analizy danych Reprezentacja graficzna danych Metody statystyczne: estymacja parametrów
Bardziej szczegółowoKlasyfikacja LDA + walidacja
Klasyfikacja LDA + walidacja Dr hab. Izabela Rejer Wydział Informatyki Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Plan wykładu 1. Klasyfikator 2. LDA 3. Klasyfikacja wieloklasowa 4. Walidacja
Bardziej szczegółowo2. Ocena dokładności modelu klasyfikacji:
Spis treści: 1. Klasyfikacja... 1 2. Ocena dokładności modelu klasyfikacji:...1 2.1. Miary dokładności modelu...2 2.2. Krzywe oceny...2 3. Wybrane algorytmy...3 3.1. Naiwny klasyfikator Bayesa...3 3.2.
Bardziej szczegółowoAnaliza danych i data mining.
Analiza danych i data mining. mgr Katarzyna Racka Wykładowca WNEI PWSZ w Płocku Przedsiębiorczy student 2016 15 XI 2016 r. Cel warsztatu Przekazanie wiedzy na temat: analizy i zarządzania danymi (data
Bardziej szczegółowoLaboratorium 11. Regresja SVM.
Laboratorium 11 Regresja SVM. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie powitalnym kliknij przycisk Dalej>. 3. Z
Bardziej szczegółowoOdkrywanie wzorców sekwencji
Odkrywanie wzorców sekwencji Sformułowanie problemu Algorytm GSP Eksploracja wzorców sekwencji wykład 1 Na wykładzie zapoznamy się z problemem odkrywania wzorców sekwencji. Rozpoczniemy od wprowadzenia
Bardziej szczegółowoAlgorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych. Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS
Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS Dyskretyzacja - definicja Dyskretyzacja - zamiana atrybutów
Bardziej szczegółowoĆwiczenie 5. Metody eksploracji danych
Ćwiczenie 5. Metody eksploracji danych Reguły asocjacyjne (association rules) Badaniem atrybutów lub cech, które są powiązane ze sobą, zajmuje się analiza podobieństw (ang. affinity analysis). Metody analizy
Bardziej szczegółowoINFORMATYKA Pytania ogólne na egzamin dyplomowy
INFORMATYKA Pytania ogólne na egzamin dyplomowy 1. Wyjaśnić pojęcia problem, algorytm. 2. Podać definicję złożoności czasowej. 3. Podać definicję złożoności pamięciowej. 4. Typy danych w języku C. 5. Instrukcja
Bardziej szczegółowoLaboratorium 3. Odkrywanie reguł asocjacyjnych.
Laboratorium 3 Odkrywanie reguł asocjacyjnych. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Tools SQL Worksheet. W górnym oknie wprowadź i wykonaj
Bardziej szczegółowoReguły asocjacyjne, wykł. 11
Reguły asocjacyjne, wykł. 11 Joanna Jędrzejowicz Instytut Informatyki Przykłady reguł Analiza koszyka sklepowego (ang. market basket analysis) - jakie towary kupowane są razem, Jakie towary sprzedają się
Bardziej szczegółowoPRACA INŻYNIERSKA IMPLEMENTACJA MOBILNEGO KLIENTA BANKU ZABEZPIECZONEGO TOKENEM
PRACA INŻYNIERSKA IMPLEMENTACJA MOBILNEGO KLIENTA BANKU ZABEZPIECZONEGO TOKENEM Autor: Piotr Marek Ciecierski Kierujący pracą: prof. dr hab. inż. Zbigniew Kotulski Plan prezentacja Spis treści: 1) Wprowadzenie
Bardziej szczegółowoAUTOMATYKA INFORMATYKA
AUTOMATYKA INFORMATYKA Technologie Informacyjne Sieć Semantyczna Przetwarzanie Języka Naturalnego Internet Edytor Serii: Zdzisław Kowalczuk Inteligentne wydobywanie informacji z internetowych serwisów
Bardziej szczegółowoKlasyfikacja metodą Bayesa
Klasyfikacja metodą Bayesa Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski warunkowe i bezwarunkowe 1. Klasyfikacja Bayesowska jest klasyfikacją statystyczną. Pozwala przewidzieć prawdopodobieństwo
Bardziej szczegółowoSystemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016
Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład I dr inż. Bogumil.Konopka@pwr.edu.pl 2015/2016 1 Wykład I - plan Sprawy organizacyjne Uczenie maszynowe podstawowe pojęcia Proces modelowania
Bardziej szczegółowoprojekt zaliczeniowy Eksploracja Danych
Ostaszewski Paweł [55566] Piła, 22.02.2006 projekt zaliczeniowy Eksploracja Danych 1. Obejrzyj histogramy dla wszystkich atrybutów, na podstawie wartości średniej i zakresu wartości oceń, dla których atrybutów
Bardziej szczegółowoAlgorytm DIC. Dynamic Itemset Counting. Magdalena Przygórzewska Karolina Stanisławska Aleksander Wieczorek
Algorytm DIC Dynamic Itemset Counting Magdalena Przygórzewska Karolina Stanisławska Aleksander Wieczorek Spis treści 1 2 3 4 Algorytm DIC jako rozszerzenie apriori DIC Algorytm znajdowania reguł asocjacyjnych
Bardziej szczegółowoZAAWANSOWANE METODY ANALIZ STATYSTYCZNYCH red. Ewa Frątczak
Tytuł: Autor: ZAAWANSOWANE METODY ANALIZ STATYSTYCZNYCH red. Ewa Frątczak Wstęp Zaawansowane metody analiz statystycznych przenoszą analizy statystyczne na kolejny wyższy poziom. Określenie tego wyższego
Bardziej szczegółowoLaboratorium 6. Indukcja drzew decyzyjnych.
Laboratorium 6 Indukcja drzew decyzyjnych. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie powitalnym kliknij przycisk
Bardziej szczegółowoWidzenie komputerowe (computer vision)
Widzenie komputerowe (computer vision) dr inż. Marcin Wilczewski 2018/2019 Organizacja zajęć Tematyka wykładu Cele Python jako narzędzie uczenia maszynowego i widzenia komputerowego. Binaryzacja i segmentacja
Bardziej szczegółowoSztuczna inteligencja : Naiwny klasyfikator Bayesa
Instytut Informatyki Uniwersytetu Śląskiego 18 kwietnia 2012 Rysunek: Klasyfikator Bayesa Jakie jest prawdopodobieństwo, że nowy obiekt będzie zielony/czerwony? Jaki będzie kolor nowego obiektu? Obliczenie
Bardziej szczegółowow ekonomii, finansach i towaroznawstwie
w ekonomii, finansach i towaroznawstwie spotykane określenia: zgłębianie danych, eksploracyjna analiza danych, przekopywanie danych, męczenie danych proces wykrywania zależności w zbiorach danych poprzez
Bardziej szczegółowoInformacje i materiały dotyczące wykładu będą publikowane na stronie internetowej wykładowcy, m.in. prezentacje z wykładów
Eksploracja danych Piotr Lipiński Informacje ogólne Informacje i materiały dotyczące wykładu będą publikowane na stronie internetowej wykładowcy, m.in. prezentacje z wykładów UWAGA: prezentacja to nie
Bardziej szczegółowoEKSPLORACJA DANYCH METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING. Adrian Horzyk. Akademia Górniczo-Hutnicza
METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING EKSPLORACJA DANYCH Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra
Bardziej szczegółowoData Mining w bazie Oracle 9i
VIII Konferencja PLOUG Koœcielisko PaŸdziernik 2002 Data Mining w bazie Oracle 9i Mariusz Byrski Biuro Matematyki Stosowanej S.C. mb@bms.krakow.pl Abstrakt Szukanie nieoczywistych zwi¹zków w danych jest
Bardziej szczegółowoAlgorytmy decyzyjne będące alternatywą dla sieci neuronowych
Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny
Bardziej szczegółowoLaboratorium 2. Określanie ważności atrybutów.
Laboratorium 2 Określanie ważności atrybutów. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie powitalnym kliknij przycisk
Bardziej szczegółowoPureSystems zautomatyzowane środowisko aplikacyjne. Emilia Smółko Software IT Architect
PureSystems zautomatyzowane środowisko aplikacyjne. Emilia Smółko Software IT Architect Wbudowana wiedza specjalistyczna Dopasowane do zadania Optymalizacja do aplikacji transakcyjnych Inteligentne Wzorce
Bardziej szczegółowoData Mining podstawy analizy danych Cześć pierwsza. Wprowadzenie
Data Mining podstawy analizy danych Cześć pierwsza Wprowadzenie Usługa Data Mining w środowisku serwera SQL 2005 jest jednym z komponentów technologii business intelligence. Umożliwia ona budowę złożonych
Bardziej szczegółowoOdkrywanie wzorców sekwencyjnych z zachowaniem prywatności
Politechnika Warszawska Wydział Elektroniki i Technik Informacyjnych Instytut Informatyki Rok akademicki 2013/2013 PRACA DYPLOMOWA MAGISTERSKA Andrzej Makarewicz Odkrywanie wzorców sekwencyjnych z zachowaniem
Bardziej szczegółowoSZKOLENIA SAS. ONKO.SYS Kompleksowa infrastruktura inforamtyczna dla badań nad nowotworami CENTRUM ONKOLOGII INSTYTUT im. Marii Skłodowskiej Curie
SZKOLENIA SAS ONKO.SYS Kompleksowa infrastruktura inforamtyczna dla badań nad nowotworami CENTRUM ONKOLOGII INSTYTUT im. Marii Skłodowskiej Curie DANIEL KUBIK ŁUKASZ LESZEWSKI ROLE ROLE UŻYTKOWNIKÓW MODUŁU
Bardziej szczegółowoDMX DMX DMX DMX: CREATE MINING STRUCTURE. Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski
DMX DMX DMX Data Mining Extensions jest językiem do tworzenia i działania na modelach eksploracji danych w Microsoft SQL Server Analysis Services SSAS. Za pomocą DMX można tworzyć strukturę nowych modeli
Bardziej szczegółowoElementy modelowania matematycznego
Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski
Bardziej szczegółowoWYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU
WYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU Nazwa w języku polskim: Eksploracja Danych Nazwa w języku angielskim: Data Mining Kierunek studiów (jeśli dotyczy): MATEMATYKA I STATYSTYKA Stopień studiów i forma:
Bardziej szczegółowoEksploracja danych (data mining)
Eksploracja (data mining) Tadeusz Pankowski www.put.poznan.pl/~pankowsk Czym jest eksploracja? Eksploracja oznacza wydobywanie wiedzy z dużych zbiorów. Eksploracja badanie, przeszukiwanie; np. dziewiczych
Bardziej szczegółowoObsługa transakcji rozproszonych Java. Marek Wojciechowski, Maciej Zakrzewicz Instytut Informatyki, Politechnika Poznańska
Obsługa transakcji rozproszonych w języku j Java Marek Wojciechowski, Maciej Zakrzewicz Instytut Informatyki, Politechnika Poznańska Plan prezentacji Transakcje i ich własności Proste transakcje w JDBC
Bardziej szczegółowoWydawnictwo Politechniki Poznanskiej
Confusion matrix (test set): (a) (b) 10875 : bad (25.0/9.2) Credit
Bardziej szczegółowoWyszukiwanie reguł asocjacji i ich zastosowanie w internecie
Bartosz BACHMAN 1, Paweł Karol FRANKOWSKI 1,2 1 Wydział Elektryczny, 2 Wydział Informatyki Zachodniopomorski Uniwersytet Technologiczny w Szczecinie E mail: bartosz.bachman@sk.sep.szczecin.pl 1. Wprowadzenie
Bardziej szczegółowoEksploracja Danych. podstawy
Eksploracja Danych podstawy Bazy danych (1) Witold Andrzejewski, Politechnika Poznańska, Wydział Informatyki 2/633 Bazy danych (2) Witold Andrzejewski, Politechnika Poznańska, Wydział Informatyki 3/633
Bardziej szczegółowoZastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2014/2015
Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner rok akademicki 2014/2015 Analiza asocjacji i sekwencji Analiza asocjacji Analiza asocjacji polega na identyfikacji
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY ASOCJACYJNA REPREZENTACJA POWIĄZANYCH TABEL I WNIOSKOWANIE IGOR CZAJKOWSKI
METODY INŻYNIERII WIEDZY ASOCJACYJNA REPREZENTACJA POWIĄZANYCH TABEL I WNIOSKOWANIE IGOR CZAJKOWSKI CELE PROJEKTU Transformacja dowolnej bazy danych w min. 3 postaci normalnej do postaci Asocjacyjnej Grafowej
Bardziej szczegółowoSystemy uczące się Lab 4
Systemy uczące się Lab 4 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 26 X 2018 Projekt zaliczeniowy Podstawą zaliczenia ćwiczeń jest indywidualne wykonanie projektu uwzględniającego
Bardziej szczegółowoIBM SPSS Modeler 18.0 podręcznik eksploracji w bazie danych IBM
IBM SPSS Modeler 18.0 podręcznik eksploracji w bazie danych IBM Uwaga Przed skorzystaniem z niniejszych informacji oraz produktu, którego one dotyczą, należy zapoznać się z informacjami zamieszczonymi
Bardziej szczegółowoSylabus modułu kształcenia na studiach wyższych. Nazwa Wydziału. Nazwa jednostki prowadzącej moduł Nazwa modułu kształcenia.
Załącznik nr 4 do zarządzenia nr 12 Rektora UJ z 15 lutego 2012 r. Sylabus modułu kształcenia na studiach wyższych Nazwa Wydziału Nazwa jednostki prowadzącej moduł Nazwa modułu kształcenia Wydział Matematyki
Bardziej szczegółowo