Big Data & Analytics
|
|
- Mieczysław Kwiecień
- 8 lat temu
- Przeglądów:
Transkrypt
1 Big Data & Analytics Optymalizacja biznesu Autor: Wiktor Jóźwicki, Scapaflow Senior Consultant Data wydania:
2 Wprowadzenie Niniejszy dokument przedstawia zagadnienie Big Data w ujęciu zapotrzebowania biznesowego, wskazuje również najczęstsze zastosowania w firmach z wielu branż. W dalszej części następuje szczegółowe porównanie z dotychczasowymi rozwiązaniami BI opartymi na hurtowniach danych. Wyszczególnione są także różnice determinujące odmienne, czasem uzupełniające się zastosowania obu rozwiązań. Na końcu opisana została architektura i części składowe najpopularniejszej platformy Apache Hadoop. Rozwój Big Data Wobec wykładniczo rosnącej wielkości składowanych danych, największe korporacje zaczęły rozpatrywać, czy korzystając z ogromu niewykorzystywanych do tej pory informacji nie dałoby się zoptymalizować biznesu poprzez odpowiednie wnioskowanie, automatyzację bądź ulepszenie dotychczasowych procesów. Dane rosną w tempie 40% rocznie, osiągną objętość 45 ZB do 2020 roku [8]
3 W 2004 roku inżynierowie Google przedstawili założenia nowatorskiego podejścia do przetwarzania ogromnych ilości danych o nazwie MapReduce. Stworzony model pozwala zrównoleglić obliczenia, odbywające się na wielu rozproszonych serwerach jednocześnie. Podzielony jest na 2 fazy: Map oraz Reduce. W pierwszej wykonywane są takie operacje jak sortowanie i filtrowanie danych, natomiast w drugiej dokonywane jest podsumowanie, agregacja danych. Aktualnie, popularnym narzędziem wykorzystującym założenia MapReduce, które służy do operowania na wielkich zestawach danych jest Hadoop otwarte oprogramowanie, które stworzył Doug Cutting (pracownik Yahoo!) niedługo po pojawieniu się MapReduce. Hadoop rozwijany jest przez Apache Software Foundation, został zaadaptowany przez firmy z wielu branż, a wkład w jego rozwój wnoszą największe korporacje. Firmy wykorzystują szerokie spektrum rozwiązań oferowanych przez Apache Hadoop w sposób bezpośredni albo korzystając z jednej z kilku dystrybucji tego oprogramowania takich jak Hortonworks HDP albo Cloudera, oferujących zintegrowane platformy i dodatkowe funkcjonalności. W obu przypadkach potrzebne jest jednak dalsze dostosowanie narzędzi, zaplanowanie przepływów danych, wybór i implementacja algorytmów przetwarzania danych pod kątem potrzeby i zastosowań biznesowych, a nierzadko również interaktywne aplikacje korzystające z modeli statystycznych działające w czasie rzeczywistym. Ponadto narzędzia Big Data są już na tyle rozwinięte, że w łatwy sposób można je zintegrować z relacyjnymi bazami danych, najpopularniejszymi hurtowniami i narzędziami BI do wizualizacji (Microsoft BI, MicroStrategy, Oracle BI Tools, SAP Hana, Tableau, Microsoft Excel i wiele innych). Istnieją też alternatywne podejścia, takie jak Bash Reduce, Disco Project, czy Spark. Zostały napisane w odmiennych językach (często skryptowych) i pozwalają np. na przetwarzanie zapytań w całości w pamięci operacyjnej (in-memory processing) nawet na serwerach rozproszonych. Potrzeba biznesowa i zastosowania Dane, które wykorzystuje się w Big Data często były do tej pory uważane za średnio lub mało przydatne. Nie do końca wiadomo było co z nimi można zrobić, jednak ze względu na niskie koszty gromadzone były na wszelki wypadek. Ponieważ dziś dostępne są już odpowiednie techniki i narzędzia, w pierwszej kolejności należy postawić sobie jedyne właściwe pytanie: gdzie i jak mogę skutecznie wykorzystać Big Data?
4 Patrząc z biznesowego punktu widzenia, istnieje mnóstwo wariantów użycia Big data, możliwych do zastosowania praktycznie w każdej branży. Oczywiście im większa organizacja i im więcej lub z większą częstotliwością zbiera danych, tym szersza gama zastosowań. Poniżej przedstawionych zostało tylko kilka przykładowych sposobów wykorzystania narzędzi Big Data: Aplikacje i rozwiązania pozwalające podejmować decyzje operacyjne na podstawie modeli statystycznych i eksploracji danych (serwis wonga.com decyduje w czasie rzeczywistym czy udzielić klientowi pożyczki na podstawie danych i zachowań pochodzących z serwisów społecznościowych, Google dobiera odbiorców reklam na podstawie ich prywatnych danych). Zadania optymalizacyjne, np. dobieranie najlepszej trasy przewozu w celu zmniejszenia kosztów paliwa, wyznaczanie najbardziej opłacalnych obszarów pod nowe placówki, sklepy, siedziby, inwestycje. Analiza konwersacji z mediów społecznościowych, blogów, forów internetowych w celu zbadania opinii i sentymentów jakimi klienci darzą firmę lub jej produkty. Optymalizacja UX i interfejsów, zwiększanie efektywności reklam poprzez analizę kliknięć, logów i zachowań użytkowników aplikacji. Iteracyjne aktualizowanie i polepszanie rozbudowanych struktur danych na podstawie nowych informacji, zmieniających stan struktury (Yahoo! co kilka minut aktualizuje graf wiadomości na podstawie nowych historii. Narzędzia Big Data odnajdują powiązane historie, usuwając i dodając nowe połączenia w grafie [11]). Wykrywanie podejrzanych zachowań użytkowników, prób oszustw, obszarów miejskich o zwiększonej przestępczości, zagrożeń sieciowych. Przetwarzanie danych strumieniowych, oczyszczanie danych w locie, ETL, bezpieczne przechowywanie danych, szybki dostęp do danych nieustrukturalizowanych w narzędziach klasy BI. Wizualizacja danych o różnej strukturze, analiza strategiczna.
5 Research i sprawdzanie teorii za pomocą zapytań ad-hoc dla dużych i niejednorodnych zbiorów danych, analizowanie potrzeb klientów i kierunków rozwoju oprogramowania. Big Data vs Business Intelligence Po zapoznaniu z Big Data trudno się nie zastanowić, czym owa technologia różni się od hurtowni danych i rozwiązań klasy BI sprzed dobrych kilku lat. W hurtowniach największym trudem i nakładem pracy jest obarczony proces ETL, czyli proces czyszczenia, unifikacji i transformacji danych, które z założenia muszą być wpasowane w ścisłą strukturę. Rozwiązania Big Data takie jak Apache Hadoop mogą być postrzegane jako uogólnienie hurtowni, gdzie dane składowane są w luźnej formie bez ograniczeń strukturalnych. Dane przychodzące z dużą częstotliwością i kluczowe dla rozwiązań działających w czasie rzeczywistym mogą być łatwo przechowywane np. w bazach danych typu NoSQL. O ile klasyczny BI jest narzędziem dla zarządu, wspierającym m.in. decyzje strategiczne, to Big Data poprzez zastosowanie w aplikacjach interaktywnych może wspomagać decyzje zwykłych pracowników lub automatycznie podejmować decyzje dotyczące klientów np. jaki produkt najlepiej zareklamować konkretnej osobie albo czy zawarcie umowy z potencjalnym klientem jest opłacalne. Big Data prezentuje zupełnie odmienne podejście - przenosi obliczenia i przetwarzanie do magazynowanych danych, a nie dostosowuje danych do obliczeń - jak ma to miejsce w BI. Z tego względu znacznie łatwiej i częściej stosuje się tutaj metody eksploracji danych i uczenia maszynowego, które są potężnym narzędziem jeśli chodzi o budowanie przewagi konkurencyjnej firm. Klasyczna inteligencja biznesowa na podstawie dosyć sztywnego modelu pozwala wyciągać wnioski, a także potwierdzać bądź zaprzeczać hipotezom, natomiast, Big Data na podstawie danych buduje i stale aktualizuje model decyzyjny oraz pozwala na stawianie nowych hipotez. cecha Hurtownie i BI Big Data Tryb operacji na danych Offline Real-time lub offline Główna domena Decyzje strategiczne Działania operacyjne (ale nie tylko)
6 cecha Hurtownie i BI Big Data Obecność struktury Obowiązkowa struktura danych Dostęp do danych nieustrukturalizowanych Źródła danych Głównie relacyjne bazy danych Dowolne (również nosql, logi, muzyka, grafika, dane strumieniowe) Przyczynowo - skutkowość Model -> Wnioski Hipotezy -> Fakty Dane -> Model -> Decyzje Dane -> Hipotezy Przechowywanie i przetwarzanie danych Scentralizowane Rozproszone Wymagania Dostosowanie danych do obliczeń Przeniesienie obliczeń i modeli do danych Zestawienie cech charakterystycznych dla klasycznego BI i Big Data Dzięki rozproszeniu przetwarzania, możliwość skalowania oprogramowania jest nieograniczona (przy praktycznie liniowej złożoności). Dzięki temu rozmiar danych nie jest już problemem. Co więcej, ta cecha powoduje, że w niektórych zastosowaniach Big Data może być doskonałym uzupełnieniem rozwiązań analitycznych i BI. Coraz powszechniej stosuje się pojęcie data lake, określające warstwę systemów korporacyjnych, w której jednocześnie występują serwery Big Data i hurtownie danych. W tym przypadku, narzędzia do przetwarzania dużych danych świetnie uzupełniają BI dostarczając albo zunifikowanego widoku na dane, wraz z możliwością dostępu do nich za pomocą standardu języka SQL dla zapytań ad-hoc, albo niezwykle wydajnie ładują ogromne ilości danych bezpośrednio do hurtowni.
7 Data lake na rysunku środkowa warstwa systemów danych [12] Jak to działa? Apache Hadoop w wersji 2. to framework, który u swoich podstaw utylizuje redundantny i rozproszony system plików HDFS2. Bezpośrednio nad systemem plików działa system operacyjny YARN. Jego zadaniem jest przede wszystkim umożliwienie jednoczesnego działania wielu różnych silników przetwarzających dane, takich jak: MapReduce model programistyczny (dla różnych języków) zadań wsadowych Tez interaktywny silnik ułatwiający wykonywanie całych zestawów zadań
8 HBase model rozproszonej bazy danych NoSQL z bardzo szybkim dostępem do danych Storm system przetwarzający nieograniczone strumienie danych w czasie rzeczywistym Giraph system do iteracyjnego przebudowywania grafów danych Ponadto, powszechnie używane są narzędzia wykorzystujące silniki MapReduce i Tez: Hive widok hurtowni na dane, umożliwia dostęp do danych za pomocą SQL Pig język skryptowy znacznie przyspieszający pisanie oprogramowania dla MapReduce Hadoop architektura [12]
9 Źródła [1] Apache Giraph. [2] Apache Hadoop. [3] Apache Hbase. [4] Apache Hive. [5] Apache Pig. [6] Apache Storm. [7] Apache Tez. [8] Atkearney. Styczeń /asset_publisher/lccgoes4t85g/content/big-data-and-the-creative-destruction-of-today-sbusiness-models/ [9] Cloudera. [10] Derrick Harris. Gigaom. 4 Marzec [11] gates. developer.yahoo [12] Hortonworks. [13] Jeff Kelly. Wikibon. 16 Wrzesień Grade_Big_Data_Platform.
Wprowadzenie do Hurtowni Danych
Wprowadzenie do Hurtowni Danych BIG DATA Definicja Big Data Big Data definiowane jest jako składowanie zbiorów danych o tak dużej złożoności i ilości danych, że jest to niemożliwe przy zastosowaniu podejścia
Bardziej szczegółowoAnalityka danych w środowisku Hadoop. Piotr Czarnas, 5 czerwca 2017
Analityka danych w środowisku Hadoop Piotr Czarnas, 5 czerwca 2017 Pytania stawiane przez biznes 1 Jaka jest aktualnie sytuacja w firmie? 2 Na czym jeszcze możemy zarobić? Które procesy możemy usprawnić?
Bardziej szczegółowoAnalityka danych w środowisku Hadoop. Piotr Czarnas, 27 czerwca 2017
Analityka danych w środowisku Hadoop Piotr Czarnas, 27 czerwca 2017 Hadoop i Business Intelligence - wyzwania 1 Ładowane danych do Hadoop-a jest trudne 2 Niewielu specjalistów dostępnych na rynku Dostęp
Bardziej szczegółowoProjektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family
Kod szkolenia: Tytuł szkolenia: HADOOP Projektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family Dni: 5 Opis: Adresaci szkolenia: Szkolenie jest adresowane do programistów, architektów oraz
Bardziej szczegółowoOrganizacyjnie. Prowadzący: dr Mariusz Rafało (hasło: BIG)
Big Data Organizacyjnie Prowadzący: dr Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło: BIG) Automatyzacja Automatyzacja przetwarzania: Apache NiFi Źródło: nifi.apache.org 4 Automatyzacja
Bardziej szczegółowoHURTOWNIE DANYCH I BUSINESS INTELLIGENCE
BAZY DANYCH HURTOWNIE DANYCH I BUSINESS INTELLIGENCE Akademia Górniczo-Hutnicza w Krakowie Adrian Horzyk horzyk@agh.edu.pl Google: Horzyk HURTOWNIE DANYCH Hurtownia danych (Data Warehouse) to najczęściej
Bardziej szczegółowoOrganizacyjnie. Prowadzący: dr Mariusz Rafało (hasło: BIG)
Big Data Organizacyjnie Prowadzący: dr Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło: BIG) Data Camp Architektura Data Lake Repozytorium służące składowaniu i przetwarzaniu danych o
Bardziej szczegółowoWprowadzenie do Apache Spark. Jakub Toczek
Wprowadzenie do Apache Spark Jakub Toczek Epoka informacyjna MapReduce MapReduce Apache Hadoop narodziny w 2006 roku z Apache Nutch open source składa się z systemu plików HDFS i silnika MapReduce napisany
Bardziej szczegółowoRola analityki danych w transformacji cyfrowej firmy
Rola analityki danych w transformacji cyfrowej firmy Piotr Czarnas Querona CEO Analityka biznesowa (ang. Business Intelligence) Proces przekształcania danych w informacje, a informacji w wiedzę, która
Bardziej szczegółowoBusiness Intelligence
Business Intelligence Paweł Mielczarek Microsoft Certified Trainer (MCT) MCP,MCSA, MCTS, MCTS SQL 2005, MCTS SQL 2008, MCTS DYNAMICS, MBSS, MBSP, MCITP DYNAMICS. Geneza Prowadzenie firmy wymaga podejmowania
Bardziej szczegółowoUsługi analityczne budowa kostki analitycznej Część pierwsza.
Usługi analityczne budowa kostki analitycznej Część pierwsza. Wprowadzenie W wielu dziedzinach działalności człowieka analiza zebranych danych jest jednym z najważniejszych mechanizmów podejmowania decyzji.
Bardziej szczegółowoSpecjalizacja magisterska Bazy danych
Specjalizacja magisterska Bazy danych Strona Katedry http://bd.pjwstk.edu.pl/katedra/ Prezentacja dostępna pod adresem: http://www.bd.pjwstk.edu.pl/bazydanych.pdf Wymagania wstępne Znajomość podstaw języka
Bardziej szczegółowoHurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie
Hurtownie danych i business intelligence - wykład II Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2005-2012 Zagadnienia do omówienia 1. Miejsce i rola w firmie 2. Przegląd architektury
Bardziej szczegółowoZ-ID-608b Bazy danych typu Big Data Big Data Databases. Specjalnościowy Obowiązkowy Polski Semestr VI
KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angieskim Obowiązuje od roku akademickiego 015/016 Z-ID-608b Bazy danych typu Big Data Big Data Databases A. USYTUOWANIE MODUŁU
Bardziej szczegółowoHadoop i Spark. Mariusz Rafało
Hadoop i Spark Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl WPROWADZENIE DO EKOSYSTEMU APACHE HADOOP Czym jest Hadoop Platforma służąca przetwarzaniu rozproszonemu dużych zbiorów danych. Jest
Bardziej szczegółowoHurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie
Hurtownie danych i business intelligence - wykład II Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2005-2008 Zagadnienia do omówienia 1. 2. Przegląd architektury HD 3. Warsztaty
Bardziej szczegółowoCo to jest Business Intelligence?
Cykl: Cykl: Czwartki z Business Intelligence Sesja: Co Co to jest Business Intelligence? Bartłomiej Graczyk 2010-05-06 1 Prelegenci cyklu... mariusz@ssas.pl lukasz@ssas.pl grzegorz@ssas.pl bartek@ssas.pl
Bardziej szczegółowoOrganizacyjnie. Prowadzący: dr Mariusz Rafało (hasło: BIG)
Big Data Organizacyjnie Prowadzący: dr Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło: BIG) Zaliczenie: Praca na zajęciach Egzamin Projekt/esej zaliczeniowy Plan zajęć # TEMATYKA ZAJĘĆ
Bardziej szczegółowoDni: 2. Partner merytoryczny. Opis: Adresaci szkolenia
Kod szkolenia: Tytuł szkolenia: BIGDATA/STR Strumieniowe przetwarzanie Big Data Dni: 2 Partner merytoryczny Opis: Adresaci szkolenia Szkolenie jest przeznaczone głównie dla programistów i analityków danych,
Bardziej szczegółowoHurtownie danych wykład 5
Hurtownie danych wykład 5 dr Sebastian Zając SGH Warszawa 7 lutego 2017 1 Współbieżność i integracja Niezgodność impedancji 2 bazy danych Współbieżność i integracja Niezgodność impedancji Bazy relacyjne
Bardziej szczegółowoHurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl
Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Plan wykładów Wprowadzenie - integracja
Bardziej szczegółowoHurtownie danych - przegląd technologii
Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Plan wykład adów Wprowadzenie - integracja
Bardziej szczegółowoBig Data to skalowalność i prostota obsługi wielkich ilości danych!
Obsługa aplikacji, które operują na ogromnych zbiorach danych, czyli na przykład portali społecznościowych, przekracza możliwości zwykłych relacyjnych baz. Praca ze złożonymi zbiorami danych wymaga architektury
Bardziej szczegółowoHurtownie danych. Wprowadzenie do systemów typu Business Intelligence
Hurtownie danych Wprowadzenie do systemów typu Business Intelligence Krzysztof Goczyła Teresa Zawadzka Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika
Bardziej szczegółowoPODSTAWY BAZ DANYCH. 19. Perspektywy baz danych. 2009/2010 Notatki do wykładu "Podstawy baz danych"
PODSTAWY BAZ DANYCH 19. Perspektywy baz danych 1 Perspektywy baz danych Temporalna baza danych Temporalna baza danych - baza danych posiadająca informację o czasie wprowadzenia lub czasie ważności zawartych
Bardziej szczegółowoArchitecture Best Practices for Big Data Deployments
GLOBAL SPONSORS Architecture Best Practices for Big Data Deployments Kajetan Mroczek Systems Engineer GLOBAL SPONSORS Rozwój analityki biznesowej EKSPLORACJA DANYCH UCZENIE MASZYNOWE SZTUCZNA INTELIGENCJA
Bardziej szczegółowoProjektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family
Kod szkolenia: Tytuł szkolenia: HADOOP Projektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family Dni: 5 Partner merytoryczny Opis: Adresaci szkolenia: Szkolenie jest adresowane do programistów,
Bardziej szczegółowoWprowadzenie do technologii Business Intelligence i hurtowni danych
Wprowadzenie do technologii Business Intelligence i hurtowni danych 1 Plan rozdziału 2 Wprowadzenie do Business Intelligence Hurtownie danych Produkty Oracle dla Business Intelligence Business Intelligence
Bardziej szczegółowoWprowadzenie do Hurtowni Danych. Mariusz Rafało
Wprowadzenie do Hurtowni Danych Mariusz Rafało mrafalo@sgh.waw.pl WARSTWA PREZENTACJI HURTOWNI DANYCH Wykorzystanie hurtowni danych - aspekty Analityczne zbiory danych (ADS) Zbiór danych tematycznych (Data
Bardziej szczegółowoTECHNOLOGIE BIG DATA A BEZPIECZEŃSTWO INFORMATYCZNE WE KNOW YOU KNOW. silmine.com
TECHNOLOGIE BIG DATA A BEZPIECZEŃSTWO INFORMATYCZNE WE KNOW YOU KNOW. silmine.com 13 + 13 LAT DOŚWIADCZENIA PONAD 480 ZREALIZOWANYCH PROJEKTÓW PARTNERSTWO Naszą ambicją jest dostarczać klientom szeroki
Bardziej szczegółowoAUREA BPM Oracle. TECNA Sp. z o.o. Strona 1 z 7
AUREA BPM Oracle TECNA Sp. z o.o. Strona 1 z 7 ORACLE DATABASE System zarządzania bazą danych firmy Oracle jest jednym z najlepszych i najpopularniejszych rozwiązań tego typu na rynku. Oracle Database
Bardziej szczegółowoPaweł Gołębiewski. Softmaks.pl Sp. z o.o. ul. Kraszewskiego 1 85-240 Bydgoszcz www.softmaks.pl kontakt@softmaks.pl
Paweł Gołębiewski Softmaks.pl Sp. z o.o. ul. Kraszewskiego 1 85-240 Bydgoszcz www.softmaks.pl kontakt@softmaks.pl Droga na szczyt Narzędzie Business Intelligence. Czyli kiedy podjąć decyzję o wdrożeniu?
Bardziej szczegółowoIBM DATASTAGE COMPETENCE CENTER
IBM DATASTAGE COMPETENCE CENTER W informacji drzemie ogromny potencjał biznesowy. Odpowiednio opisane i wykorzystane dane stanowią podstawę sprawnie funkcjonującego przedsiębiorstwa. Wykorzystując najnowocześniejsze
Bardziej szczegółowoSamodzielny Business Intelligence in memory duże i małe. Paweł Gajda Business Solution Architect
Samodzielny Business Intelligence in memory duże i małe Paweł Gajda Business Solution Architect Agenda 1. Zapytania biznesowe 2. SAP Visual Intelligence 3. Szybkość 4. Zaangażowanie 5. Samoobsługa 6. Kreatywność
Bardziej szczegółowoHurtownie danych. Wstęp. Architektura hurtowni danych. http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH
Wstęp. Architektura hurtowni. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH B. Inmon, 1996: Hurtownia to zbiór zintegrowanych, nieulotnych, ukierunkowanych
Bardziej szczegółowoNarzędzia i trendy Big Data
Narzędzia i trendy Big Data 1 Zamiast wstępu Model relacyjny 1970: podwaliny teoretyczne modelu 1980: SQL hype 1990: upowszechnienie standardu i narzędzi Model map-reduce 1995: koncepcja przetwarzania
Bardziej szczegółowoInformacja o firmie i oferowanych rozwiązaniach
Informacja o firmie i oferowanych rozwiązaniach Kim jesteśmy INTEGRIS Systemy IT Sp. z o.o jest jednym z najdłużej działających na polskim rynku autoryzowanych Partnerów Microsoft w zakresie rozwiązań
Bardziej szczegółowoCZĘŚĆ I. WARSTWA PRZETWARZANIA WSADOWEGO
Spis treści Przedmowa Podziękowania O książce Rozdział 1. Nowy paradygmat dla Big Data 1.1. Zawartość książki 1.2. Skalowanie tradycyjnej bazy danych 1.2.1. Skalowanie za pomocą kolejki 1.2.2. Skalowanie
Bardziej szczegółowoOrganizacyjnie. Prowadzący: dr Mariusz Rafało (hasło: BIG)
Big Data Organizacyjnie Prowadzący: dr Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło: BIG) DANE W CZASIE RZECZYWISTYM 3 Tryb analizowania danych 4 Okno analizowania 5 Real-time: Checkpointing
Bardziej szczegółowoAnalityka danych & big data
TomaszJangas.com Analityka danych & big data 15 października 2017 W tym artykule opiszę architekturę, jaka często wykorzystywana jest dzisiaj w środowiskach do analityki danych w wielu różnych organizacjach
Bardziej szczegółowoAsseco HOME: obniżenie kosztów operacyjnych telekomów dzięki rozwiązaniu Big Data.
Asseco HOME: obniżenie kosztów operacyjnych telekomów dzięki rozwiązaniu Big Data. asseco.pl Klient. Klient jest jednym z wiodących w Polsce operatorów telekomunikacyjnych, obsługujących ponad 10 mln abonentów.
Bardziej szczegółowoPrzetwarzanie danych z wykorzystaniem technologii NoSQL na przykładzie serwisu Serp24
Przetwarzanie danych z wykorzystaniem technologii NoSQL na przykładzie serwisu Serp24 Agenda Serp24 NoSQL Integracja z CMS Drupal Przetwarzanie danych Podsumowanie Serp24 Darmowe narzędzie Ułatwia planowanie
Bardziej szczegółowoInstytut Informatyki Politechniki Warszawskiej
Instytut Informatyki Politechniki Warszawskiej Cele Stworzenie korzystnych warunków rekrutacyjnych dla uczestników oraz partnerów biznesowych projektu Dostarczenie w krótkim czasie umiejętności w obszarach
Bardziej szczegółowoSAS Access to Hadoop, SAS Data Loader for Hadoop Integracja środowisk SAS i Hadoop. Piotr Borowik
SAS Access to Hadoop, SAS Data Loader for Hadoop Integracja środowisk SAS i Hadoop Piotr Borowik Wyzwania związane z Big Data Top Hurdles with Big data Source: Gartner (Sep 2014), Big Data Investment Grows
Bardziej szczegółowoPrezentacja firmy WYDAJNOŚĆ EFEKTYWNOŚĆ SKUTECZNOŚĆ. http://www.qbico.pl
Prezentacja firmy { WYDAJNOŚĆ EFEKTYWNOŚĆ SKUTECZNOŚĆ http://www.qbico.pl Firma ekspercka z dziedziny Business Intelligence Srebrny Partner Microsoft w obszarach Business Intelligence i Data Platform Tworzymy
Bardziej szczegółowoBudowa systemu wspomagającego podejmowanie decyzji. Metodyka projektowo wdrożeniowa
Budowa systemu wspomagającego podejmowanie decyzji Metodyka projektowo wdrożeniowa Agenda Systemy wspomagające decyzje Business Intelligence (BI) Rodzaje systemów BI Korzyści z wdrożeń BI Zagrożenia dla
Bardziej szczegółowoHurtownia danych praktyczne zastosowania
Hurtownia danych praktyczne zastosowania Dorota Olkowicz dorota.olkowicz@its.waw.pl Centrum Bezpieczeństwa Ruchu Drogowego ITS Plan prezentacji 1. Hurtownie danych 2. Hurtownia danych POBR 3. Narzędzia
Bardziej szczegółowoIBM Business Analytics
IBM Business Analytics Rafał Kupis IBM Polska Wolność Myśli Ujednolicone środowisko Dowolny horyzont czasowy Progresywna interakcja 2 Łącz się z Innymi Sieci decyzyjne Konteksty biznesowe Wzajemne walidacje
Bardziej szczegółowoTematy prac magisterskich Rok akademicki 2013/2014
Dr hab. inż. Jan Werewka, prof. n. AGH Wydział EAIiIB AGH E-mail: werewka@agh.edu.pl www: http://home.agh.edu.pl/werewka Tematy prac magisterskich Rok akademicki 2013/2014 Temat 1 Architektura przedsięwzięcia
Bardziej szczegółowoHurtownie danych i business intelligence. Plan na dziś : Wprowadzenie do przedmiotu
i business intelligence Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl Wrocław 2005-2007 Plan na dziś : 1. Wprowadzenie do przedmiotu (co będzie omawiane oraz jak będę weryfikował zdobytą wiedzę
Bardziej szczegółowoOd Expert Data Scientist do Citizen Data Scientist, czyli jak w praktyce korzystać z zaawansowanej analizy danych
Od Expert Data Scientist do Citizen Data Scientist, czyli jak w praktyce korzystać z zaawansowanej analizy danych Tomasz Demski StatSoft Polska www.statsoft.pl Analiza danych Zaawansowana analityka, data
Bardziej szczegółowoTransformacja wiedzy w budowie i eksploatacji maszyn
Uniwersytet Technologiczno Przyrodniczy im. Jana i Jędrzeja Śniadeckich w Bydgoszczy Wydział Mechaniczny Transformacja wiedzy w budowie i eksploatacji maszyn Bogdan ŻÓŁTOWSKI W pracy przedstawiono proces
Bardziej szczegółowoPierwsze wdrożenie SAP BW w firmie
Pierwsze wdrożenie w firmie Mirosława Żurek, BCC Poznao, maj 2013 Zakres tematyczny wykładu Podstawowe założenia i pojęcia hurtowni danych ; Przykładowe pierwsze wdrożenie w firmie i jego etapy; Przykładowe
Bardziej szczegółowoHurtownie danych i business intelligence. Plan na dziś : Wprowadzenie do przedmiotu
i business intelligence Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl Wrocław 2005-2012 Plan na dziś : 1. Wprowadzenie do przedmiotu (co będzie omawiane oraz jak będę weryfikował zdobytą wiedzę
Bardziej szczegółowoDLA SEKTORA INFORMATYCZNEGO W POLSCE
DLA SEKTORA INFORMATYCZNEGO W POLSCE SRK IT obejmuje kompetencje najważniejsze i specyficzne dla samego IT są: programowanie i zarządzanie systemami informatycznymi. Z rozwiązań IT korzysta się w każdej
Bardziej szczegółowoEfekt kształcenia. Wiedza
Efekty dla studiów drugiego stopnia profil ogólnoakademicki na kierunku Informatyka na specjalności Przetwarzanie i analiza danych, na Wydziale Matematyki i Nauk Informacyjnych, gdzie: * Odniesienie oznacza
Bardziej szczegółowoSzkolenia SAS Cennik i kalendarz 2017
Szkolenia SAS Spis treści NARZĘDZIA SAS FOUNDATION 2 ZAAWANSOWANA ANALITYKA 2 PROGNOZOWANIE I EKONOMETRIA 3 ANALIZA TREŚCI 3 OPTYMALIZACJA I SYMULACJA 3 3 ROZWIĄZANIA DLA HADOOP 3 HIGH-PERFORMANCE ANALYTICS
Bardziej szczegółowoBUSINESS INTELLIGENCE for PROGRESS BI4PROGRESS
BUSINESS INTELLIGENCE for PROGRESS BI4PROGRESS SZYBKIE ANALIZY EKONOMICZNE, FINANSOWE I STATYSTYCZNE 0 S t r o n a Dlaczego BI4PROGRESS? W czasach nieustających, dynamicznych zmian na rynku edukacyjnym,
Bardziej szczegółowoWprowadzenie do Hurtowni Danych
Wprowadzenie do Hurtowni Danych Organizacyjnie Prowadzący: mgr. Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło HD2) Literatura 1. Inmon, W., Linstedt, D. (2014). Data Architecture: A
Bardziej szczegółowoOpis Rozwiązania SAP SAP HANA. Zmieniaj swoją przyszłość lepiej rozumiejąc biznes dzięki analityce predykcyjnej
Opis Rozwiązania SAP SAP HANA Cele Zmieniaj swoją przyszłość lepiej rozumiejąc biznes dzięki analityce predykcyjnej Staw czoła nowej rzeczywistości Organizacje takie jak Twoja są w stanie wykrywać w czasie
Bardziej szczegółowoOdkryj w danych to, co najważniejsze
Odkryj w danych to, co najważniejsze W erze data lake ów posiadanie bazy danych jest absolutnym minimum dla efektywnego prowadzenia biznesu, szczególnie w Sieci. Każda dobrze zarządzana, nowo utworzona
Bardziej szczegółowoOpracowanie. techniczne. Poprawa wydajności operacyjnej dzięki ofercie rozwiązań Big Data i analitycznych firm Dell i Intel. Październik 2015 r.
Opracowanie techniczne Poprawa wydajności operacyjnej dzięki ofercie rozwiązań Big Data i analitycznych firm Dell i Intel Autor: Nik Rouda, starszy analityk Październik 2015 r. Niniejsze opracowanie techniczne
Bardziej szczegółowoDOKUMENT INFORMACYJNY COMARCH BUSINESS INTELLIGENCE:
DOKUMENT INFORMACYJNY COMARCH BUSINESS INTELLIGENCE: JAKIE PROBLEMY ROZWIĄZUJE BI 1 S t r o n a WSTĘP Niniejszy dokument to zbiór podstawowych problemów, z jakimi musi zmagać się przedsiębiorca, analityk,
Bardziej szczegółowoRozwiązania kognitywne to nie tylko software...
Rozwiązania kognitywne to nie tylko software... Piotr Beńke Dyrektor działu Rozwiązań Sprzętowych IBM Polska Watson Warsaw Summit 2017 Dane transformują branże jak i zawody DANE SŁUŻBY ZDROWIA DANE RZĄDOWE
Bardziej szczegółowoCUSTOMER SUCCESS STORY
D ATA W A L K CUSTOMER SUCCESS STORY Scentralizowana informacja o posiadanych produktach w Banku Zachodnim WBK Siłę elastycznego modelu danych DataWalk poznaliśmy w pełni pod koniec wdrożenia. Zdecydowaliśmy
Bardziej szczegółowoHurtownie danych w praktyce
Hurtownie danych w praktyce Fakty i mity Dr inż. Maciej Kiewra Parę słów o mnie... 8 lat pracy zawodowej z hurtowniami danych Projekty realizowane w kraju i zagranicą Certyfikaty Microsoft z Business Intelligence
Bardziej szczegółowoAplikacje Dynamics 365.
Microsoft Dynamics 365 to usługa dająca możliwość wyboru. Połączenie aplikacji biznesowych w tym CRM i ERP na jednej platformie pozwala rozwijać firmę na własnych warunkach. Możesz dodawać aplikacje wraz
Bardziej szczegółowoPraktyczne aspekty pozyskiwania wiedzy z danych z perspektywy matematyka w bankowości. 2014-01-23 (VI zajęcia) Jakub Jurdziak
Praktyczne aspekty pozyskiwania wiedzy z danych z perspektywy matematyka w bankowości 2014-01-23 (VI zajęcia) Jakub Jurdziak CEL ZAJĘĆ: Prezentacja nowoczesnego banku uniwersalnego jako organizacji opartej
Bardziej szczegółowoW książce omówiono: SAP zostań ekspertem w 24 godziny!
System SAP jest uznanym zintegrowanym systemem informatycznym do zarządzania firmą. Charakteryzuje się ogromnym bogactwem funkcjonalności i elastycznością, ułatwiającą zmianę skali lub profilu działalności
Bardziej szczegółowoBigData. 2014 PILAB S.A./Krystian Piećko/CTO/krystian.piecko@pilab.pl/ / Wstęp. / Co to jest BigData? / Co to jest Hadoop?
Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it / Wstęp / Co to jest BigData? /
Bardziej szczegółowoTrendy BI z perspektywy. marketingu internetowego
Trendy BI z perspektywy marketingu internetowego BI CECHUJE ORGANIZACJE DOJRZAŁE ANALITYCZNIE 2 ALE JAKA JEST TA DOJRZAŁOŚĆ ANALITYCZNA ORGANIZACJI? 3 Jaka jest dojrzałość analityczna organizacji? Zarządzanie
Bardziej szczegółowoZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia
ZP/ITS/11/2012 Załącznik nr 1a do SIWZ ZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia Przedmiotem zamówienia jest: Przygotowanie zajęć dydaktycznych w postaci kursów e-learningowych przeznaczonych
Bardziej szczegółowoMOS System wsparcia pracowników mobilnych
MOS System wsparcia pracowników mobilnych Koordynacja mobilnego zespołu pracowników, przedstawicieli handlowych, serwisantów czy ankieterów jest zadaniem bardzo trudnym. A ich szybka i wydajna praca oraz
Bardziej szczegółowodr inż. Maciej Kiewra Prezentacja wygłoszona na konferencji BI vs Big Data podczas Kongresu GigaCon Warszawa, 16.04.2014 r.
dr inż. Maciej Kiewra Prezentacja wygłoszona na konferencji BI vs Big Data podczas Kongresu GigaCon Warszawa, 16.04.2014 r. Big Data w praktyce, z perspektywy konsultanta Business Intelligence Parę słów
Bardziej szczegółowoz kapitałem polskim Zatrudnienie 1 10 osób osób 2,27% osób 11,36% osób osób powyżej osób 20,45% 50,00% 13,64%
Profil uczestników badania Firma 6,8% 9,1% sektor publiczny służby mundurowe z kapitałem zagranicznym 5 z kapitałem polskim 5 13,6% banki 9,1% instytucje finansowe 4, telekomunikacja Zatrudnienie 2,2 2,2
Bardziej szczegółowoArchitektura rozproszonych magazynów danych
Big data Big data, large data cloud. Rozwiązania nastawione na zastosowanie w wielkoskalowych serwisach, np. webowych. Stosowane przez Google, Facebook, itd. Architektura rozproszonych magazynów danych
Bardziej szczegółowoActiveXperts SMS Messaging Server
ActiveXperts SMS Messaging Server ActiveXperts SMS Messaging Server to oprogramowanie typu framework dedykowane wysyłaniu, odbieraniu oraz przetwarzaniu wiadomości SMS i e-mail, a także tworzeniu własnych
Bardziej szczegółowoTOPWEB Microsoft Excel 2013 i PowerBI Przygotowanie danych, analiza i efektowna prezentacja wyników raportów
TOPWEB Microsoft Excel 2013 i PowerBI Przygotowanie danych, analiza i efektowna prezentacja wyników raportów Przeznaczenie szkolenia Szkolenie dla osób chcących: Profesjonalnie przygotowywać dane do dalszej
Bardziej szczegółowoHbase, Hive i BigSQL
Hbase, Hive i BigSQL str. 1 Agenda 1. NOSQL a HBase 2. Architektura HBase 3. Demo HBase 4. Po co Hive? 5. Apache Hive 6. Demo hive 7. BigSQL 1 HBase Jest to rozproszona trwała posortowana wielowymiarowa
Bardziej szczegółowoBaza danych to zbiór wzajemnie powiązanych ze sobą i zintegrowanych danych z pewnej dziedziny.
PI-14 01/12 Baza danych to zbiór wzajemnie powiązanych ze sobą i zintegrowanych danych z pewnej dziedziny.! Likwidacja lub znaczne ograniczenie redundancji (powtarzania się) danych! Integracja danych!
Bardziej szczegółowoMonitoring procesów z wykorzystaniem systemu ADONIS
Monitoring procesów z wykorzystaniem systemu ADONIS BOC Information Technologies Consulting Sp. z o.o. e-mail: boc@boc-pl.com Tel.: (+48 22) 628 00 15, 696 69 26 Fax: (+48 22) 621 66 88 BOC Management
Bardziej szczegółowoSpectrum Spatial. Dla systemów BI (Business Intelligence)
Spectrum Spatial Dla systemów BI (Business Intelligence) Czym jest Spectrum Spatial? Spectrum Spatial jest platformą programistyczną, która umożliwia lokalizację danych w przestrzeni w celu szybkiego i
Bardziej szczegółowoHARMONOGRAM: DZIEŃ GODZINA MIEJSCE PROWADZĄCY TEMAT OPIS
WARSZTATY Grupa warsztatowa nr 1 System bilingowy operator telekomunikacyjny od środka Uczestnikom warsztatów zostanie przedstawiona specyfika działalności operatora telekomunikacyjnego ze szczególnym
Bardziej szczegółowoIntegracja systemów transakcyjnych
Integracja systemów transakcyjnych Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Problematyka i architektury integracji danych
Bardziej szczegółowoHurtownie danych - przegląd technologii
Hurtownie danych - przegląd technologii Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Biznesowe słowniki pojęć biznesowych odwzorowania pojęć
Bardziej szczegółowoTemat: Ułatwienia wynikające z zastosowania Frameworku CakePHP podczas budowania stron internetowych
PAŃSTWOWA WYŻSZA SZKOŁA ZAWODOWA W ELBLĄGU INSTYTUT INFORMATYKI STOSOWANEJ Sprawozdanie z Seminarium Dyplomowego Temat: Ułatwienia wynikające z zastosowania Frameworku CakePHP podczas budowania stron internetowych
Bardziej szczegółowoPracownia Inżynierii Procesowej
Pracownia Inżynierii Procesowej Aktualizacja oferty styczeń 2016 WŁAŚCICIEL mgr inż. Alicja Wróbel Absolwent Politechniki Opolskiej, Wydziału Zarzadzania i Inżynierii Produkcji Rysunek techniczny 2D 3D
Bardziej szczegółowoSymbol efektu kształcenia
Efekty dla studiów drugiego stopnia - profil ogólnoakademicki, na kierunku Informatyka, na specjalnościach Metody sztucznej inteligencji (Tabela 1), Projektowanie systemów CAD/CAM (Tabela 2) oraz Przetwarzanie
Bardziej szczegółowoIMPLEMENTATION OF WDROŻENIE COMARCHW MINISTERSTWIE FINANSÓW SINDBAD RAPORTY ANALIZY BADANIA PROGNOZY CASE STUDY 1
IMPLEMENTATION OF WDROŻENIE COMARCHW MINISTERSTWIE FINANSÓW M2M SINDBAD PLATFORM RAPORTY ANALIZY BADANIA PROGNOZY CASE STUDY 1 MINISTERSTWO FINANSÓW Ministerstwo Finansów zapewnia obsługę Ministra Finansów
Bardziej szczegółowoINŻYNIERIA OPROGRAMOWANIA
INSTYTUT INFORMATYKI STOSOWANEJ 2013 INŻYNIERIA OPROGRAMOWANIA Inżynieria Oprogramowania Proces ukierunkowany na wytworzenie oprogramowania Jak? Kto? Kiedy? Co? W jaki sposób? Metodyka Zespół Narzędzia
Bardziej szczegółowoJMP Gospodarstwo Ogrodnicze: optymalizacja polityki cenowej klucz do sukcesu rynkowego
JMP Gospodarstwo Ogrodnicze: optymalizacja polityki cenowej klucz do sukcesu rynkowego Partner wdrożeniowy Nazwa firmy JMP Gospodarstwo Ogrodnicze Branża Handel Produkty i usługi Hodowla i obrót roślinami
Bardziej szczegółowoJak zwiększyliśmy widoczność. Kazar.com w Google?
Jak zwiększyliśmy widoczność.com w Google? Wyzwania: wzrost wizyt w serwisie z poziomu organicznych wyników wyszukiwania z wykluczeniem zapytań brandowych; poprawa widoczności serwisu w płatnych i bezpłatnych
Bardziej szczegółowoOracle Log Analytics Cloud Service
ORACLE DANE TECHNICZNE Zastrzeżenie: Niniejszy dokument służy wyłącznie celom informacyjnym. Nie stanowi on zobowiązania do dostarczenia żadnych materiałów, kodu ani funkcjonalności i nie należy go brać
Bardziej szczegółowoRok akademicki: 2014/2015 Kod: EAR-2-106-IS-s Punkty ECTS: 4. Kierunek: Automatyka i Robotyka Specjalność: Informatyka w sterowaniu i zarządzaniu
Nazwa modułu: Systemy informatyczne w produkcji Rok akademicki: 2014/2015 Kod: EAR-2-106-IS-s Punkty ECTS: 4 Wydział: Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Kierunek: Automatyka
Bardziej szczegółowoHurtownie danych. 31 stycznia 2017
31 stycznia 2017 Definicja hurtowni danych Hurtownia danych wg Williama Inmona zbiór danych wyróżniający się następującymi cechami uporządkowany tematycznie zintegrowany zawierający wymiar czasowy nieulotny
Bardziej szczegółowo5 Moduył do wyboru II *[zobacz opis poniżej] 4 Projektowanie i konfiguracja sieci komputerowych Z
1. Nazwa kierunku informatyka 2. Cykl rozpoczęcia 2016/2017L 3. Poziom kształcenia studia drugiego stopnia 4. Profil kształcenia ogólnoakademicki 5. Forma prowadzenia studiów stacjonarna Specjalizacja:
Bardziej szczegółowoSzybkość instynktu i rozsądek rozumu$
Szybkość instynktu i rozsądek rozumu$ zastosowania rozwiązań BigData$ Bartosz Dudziński" Architekt IT! Już nie tylko dokumenty Ilość Szybkość Różnorodność 12 terabajtów milionów Tweet-ów tworzonych codziennie
Bardziej szczegółowoMigracja XL Business Intelligence do wersji
Migracja XL Business Intelligence do wersji 2019.0 Copyright 2018 COMARCH Wszelkie prawa zastrzeżone Nieautoryzowane rozpowszechnianie całości lub fragmentu niniejszej publikacji w jakiejkolwiek postaci
Bardziej szczegółowoPodstawy analizy danych numerycznych w języku Python
Kod szkolenia: Tytuł szkolenia: PYTHON/ANA Podstawy analizy danych numerycznych w języku Python Dni: 2 Partner merytoryczny Opis: Adresaci szkolenia Szkolenie przeznaczone jest dla analityków danych, którzy
Bardziej szczegółowoDopasowanie IT/biznes
Dopasowanie IT/biznes Dlaczego trzeba mówić o dopasowaniu IT-biznes HARVARD BUSINESS REVIEW, 2008-11-01 Dlaczego trzeba mówić o dopasowaniu IT-biznes http://ceo.cxo.pl/artykuly/51237_2/zarzadzanie.it.a.wzrost.wartosci.html
Bardziej szczegółowo