PLNOG#10 Hadoop w akcji: analiza logów 1

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "PLNOG#10 Hadoop w akcji: analiza logów 1"

Bożena Skiba
5 lat temu
Przeglądów:

1 PLNOG#10 Hadoop w akcji: analiza logów 1

2 Hadoop w akcji: analiza logów rkadiusz Osiński arkadiusz.osinski@allegro.pl PLNOG#10 Hadoop w akcji: analiza logów 2

3 genda 1. Hadoop 2. HDFS 3. YRN 4. Map & Reduce 5. Hive 6. Hadoop Streaming PLNOG#10 Hadoop w akcji: analiza logów 3

4 Czym Hadoop jest? - Rozproszony system przetwarzania informacji - Połączenie systemu plików oraz frameworka do wykonywania zadań PLNOG#10 Hadoop w akcji: analiza logów 4

5 HDFS - Hadoop Distributed File System - Możliwe uzyskanie środowiska H PLNOG#10 Hadoop w akcji: analiza logów 5

6 HDFS - Hadoop Distributed File System - Możliwe uzyskanie środowiska H - Rack wareness - Łatwe skalowanie + Commodity hardware PLNOG#10 Hadoop w akcji: analiza logów 6

7 HDFS - Hadoop Distributed File System - Możliwe uzyskanie środowiska H - Rack wareness - Łatwe skalowanie + Commodity hardware - Nie wymaga RID - Replikacja zasobów PLNOG#10 Hadoop w akcji: analiza logów 7

8 HDFS - Hadoop Distributed File System - Możliwe uzyskanie środowiska H - Rack wareness - Łatwe skalowanie + Commodity hardware - Nie wymaga RID - Replikacja zasobów - Kontrola dostępu do zasobów - Łatwy dostęp: CLI, HTTP, FUSE PLNOG#10 Hadoop w akcji: analiza logów 8

9 H HDFS Name Node Name Node ZooKeeper Journal Node Data Node PLNOG#10 Hadoop w akcji: analiza logów 9

10 HDFS B Rack 1 Replikacja: 3 Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 10

11 HDFS B Rack 1 Replikacja: 3 Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 11

12 HDFS B Rack 1 Replikacja: 3 Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 12

13 HDFS B Rack 1 Replikacja: 3 Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 13

14 HDFS B B Rack 1 Replikacja: 3 Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 14

15 HDFS B B Rack 1 Replikacja: 3 B Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 15

16 HDFS B B B Rack 1 Replikacja: 3 B Rack 2 PLNOG#10 Hadoop w akcji: analiza logów 16

17 YRN - Yet nother Resource Negotiator - Framework do zarządzania zasobami PLNOG#10 Hadoop w akcji: analiza logów 17

18 YRN - Yet nother Resource Negotiator - Framework do zarządzania zasobami - Umożliwia uruchamianie zadań MapReduce (lecz nie tylko) - Zadania uruchamiane z uprawnieniami właściciela PLNOG#10 Hadoop w akcji: analiza logów 18

19 YRN - Yet nother Resource Negotiator - Framework do zarządzania zasobami - Umożliwia uruchamianie zadań MapReduce (lecz nie tylko) - Zadania uruchamiane z uprawnieniami właściciela - Kolejki zadań + kontrola dostępu - Wydzielanie zasobów dla kolejek (RM) PLNOG#10 Hadoop w akcji: analiza logów 19

20 YRN - Yet nother Resource Negotiator - Framework do zarządzania zasobami - Umożliwia uruchamianie zadań MapReduce (lecz nie tylko) - Zadania uruchamiane z uprawnieniami właściciela - Kolejki zadań + kontrola dostępu - Wydzielanie zasobów dla kolejek (RM) - SPOF - ResourceManager - Wersja alpha PLNOG#10 Hadoop w akcji: analiza logów 20

21 Map PLNOG Polish Network Operators Group PLNOG Map Key->Value PLNOG -> 1 Polish -> 1 Network -> 1 Operators -> 1 Group -> 1 PLNOG ->1 PLNOG#10 Hadoop w akcji: analiza logów 21

22 Reduce Group -> 1 Reduce Network -> 1 Operators -> 1 PLNOG -> 1 PLNOG -> 1 Reduce Reduce Reduce Group -> 1 Network -> 1 Operators -> 1 PLNOG -> 2 Polish -> 1 Polish -> 1 Reduce PLNOG#10 Hadoop w akcji: analiza logów 22

23 Hive hive (logs)> desc apachelog; col_name data_type Vhost string, servername string, httpson string, xrealip string, Clientip string, userident string, incomingdate string, Incomingtime string, timezone string, executiontime int, outputsize int, Outputsizewheader int, outputcode int, method string, source_host string, url string, querystring string, Referer string, useragent string, v_date string v_hour string PLNOG#10 Hadoop w akcji: analiza logów 23

24 Hive hive (logs)> show partitions apachelog; (... ) v_date= /v_hour=22 v_date= /v_hour=23 v_date= /v_hour=00 v_date= /v_hour=01 v_date= /v_hour=02 v_date= /v_hour=03 v_date= /v_hour=04 (... ) PLNOG#10 Hadoop w akcji: analiza logów 24

25 PLNOG#10 Hadoop w akcji: analiza logów 25

26 Hive hive (logs)> select count(*) from apachelog where v_date= ; (... ) hive (logs)> select source_host, sum(executiontime)/count(*) as avg_time from apachelog where v_date= group by source_host; (... ) hive (logs)> select xrealip,url,query from apachelog where v_date= and outputcode >= 500; PLNOG#10 Hadoop w akcji: analiza logów 26

27 Perl + Geolokalizacja/ Map while(<>) { chomp($_); = split(/\ /,$_); my ($country_code, (..),$city, (..) ) = $gi->get_city_record($fields[3]); $country_code = "NN" unless $country_code; $city = "NN" unless $city; } print $fields[0]." ".$country_code." ".$city."\t"."1\n"; PLNOG#10 Hadoop w akcji: analiza logów 27

28 Perl + Geolokalizacja / Reduce while (<>) { = split(/\t/,$_); if ( $key ne $line[0] ) { print $key." ".$counter."\n"; $counter=1; $key = $line[0]; } else { $counter++; }; } print $key." ".$counter."\n"; PLNOG#10 Hadoop w akcji: analiza logów 28

29 Perl + Geolokalizacja $ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -Dmapred.job.queue.name=q_projects -files./geo_ip_map.pl,./geo_ip_reduce.pl,./geolitecity.dat,./geopp.pm -mapper geo_ip_map.pl -reducer geo_ip_reduce.pl -input /lokalizacja/w/hdfs/logi -output /lokalizacja/w/hdfs/rezultat PLNOG#10 Hadoop w akcji: analiza logów 29

30 Perl + Geolokalizacja $ hdfs dfs ls /lokalizacja/w/hdfs/rezultat -rw-r--r-- 3 user group 0 /_SUCCESS -rw-r--r-- 3 user group /part $ hdfs dfs cat /lokalizacja/w/hdfs/rezultat/part (... ) Serwis.pl PL Poznan 4729 Serwis_kolejny.pl PL Torun 2652 Serwis_kolejny.pl PL Gdansk 373 (... ) PLNOG#10 Hadoop w akcji: analiza logów 30

31 Python import sys badwords = ['zakazane','slowa'] for line in sys.stdin: line = line.strip() for word in badwords: if word in line.lower(): print word+"\t"+line PLNOG#10 Hadoop w akcji: analiza logów 31

32 Python $ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -Dmapred.job.queue.name=q_projects -files./scan_map.py -mapper scan_map.py -input /lokalizacja/w/hdfs/logi -output /lokalizacja/w/hdfs/rezultat PLNOG#10 Hadoop w akcji: analiza logów 32

33 Dziękuję! Q & PLNOG#10 Hadoop w akcji: analiza logów 33

Podobne dokumenty

Architektura rozproszonych magazynów danych

Big data Big data, large data cloud. Rozwiązania nastawione na zastosowanie w wielkoskalowych serwisach, np. webowych. Stosowane przez Google, Facebook, itd. Architektura rozproszonych magazynów danych