SQL/MySQL. Rafał Kern

Transkrypt

1 SQL/MySQL Rafał Kern 1

2 SQL (Structured Query Language) Deklaratywny - opisujemy warunki, jakie musi spełniać wynik Służy do zarządzania danymi w relacyjnych bazach danych

3 Składnia/zapytania SQL DML (Data Manipulation Language): insert/update/delete SQL DDL (Data Definition Language): create/drop/alter SQL DCL (Data Control Language): grant/revoke/deny SQL DQL (Data Query Language): select 3

4 Baza danych customers PK id_customer invoices PK id_invoice invoice_items PK id_item first_name id_customer id_invoice last_name date_create product paid price id_country currency vat_rate SELECT customers.id_customer, FROM customers WHERE id_country = 5; 4

5 JOIN SELECT customers.id_customer, , date_create FROM customers JOIN invoices ON customers.id_customer = invoices.id_customer WHERE id_country = 5; JOIN == INNER JOIN == CROSS JOIN Dla zwykłego JOIN optymalizator wylicza kolejność łączenia tabel. LEFT/RIGHT JOIN wymusza kolejność łączenia tabel i może być nieefektywne. 5

6 GROUP BY SELECT customers.id_customer, , COUNT(id_invoice) AS total FROM customers JOIN invoices ON customers.id_customer = invoices.id_customer WHERE id_country = 5 GROUP BY invoices.id_customer; id_customer total 1 foo@example.com bar@example.com 5 3 example@example.com 3 6

7 GROUP BY WITH ROLLUP SELECT customers.id_customer, , COUNT(id_invoice) AS total FROM customers JOIN invoices ON customers.id_customer = invoices.id_customer WHERE id_country = 5 GROUP BY invoices.id_customer WITH ROLLUP; id_customer total 1 foo@example.com bar@example.com 5 3 example@example.com 3 NULL foo@example.com 10 7

8 HAVING SELECT customers.id_customer, , COUNT(id_invoice) AS total FROM customers JOIN invoices ON customers.id_customer = invoices.id_customer WHERE id_country = 5 GROUP BY invoices.id_customer HAVING total > 10; dotyczy wyników zagregowanych, dlatego pojawia się po GROUP BY może zawierać kolumny nieagregowane, jeśli ONLY_FULL_GROUP_BY jest wyłączone 8

9 Explain EXPLAIN SELECT customers.id_customer, , COUNT(id_invoice) AS total FROM customers JOIN invoices ON customers.id_customer = invoices.id_customer WHERE id_country = 5 GROUP BY invoices.id_customer; id select_t ype table type possible _keys key key_len ref rows Extra 1 SIMPLE invoices ALL NULL NULL NULL NULL 4598 Using temporary; Using filesort SIMPLE customers eq_ref PRIMARY PRIMARY 4 invoices. id_custom er 1 Using where 9

10 Indeksy 10

11 Indeksy szybsze wyszukiwanie szybsze złączenia szybsze sortowanie MySQL używa tych indeksów, które determinują najmniejszą liczbę wierszy przebudowa indeksów - spowolniony zapis 11

12 Indeksy złożone INDEX name (last_name,first_name, ) Możliwości użycia indeksów: (last_name) (last_name,first_name) (last_name,first_name, ) Indeks nie zostanie użyty dla: SELECT FROM customers WHERE first_name = 'Marek'; Indeks zostanie częściowo użyty dla: SELECT FROM customers WHERE last_name= 'Nowak' OR first_name = 'Jacek'; 1

13 MySQL - fulltext char, varchar, text inverted index - wykorzystuje listę wyrazów oraz listę dokumentów, w których dany wyraz występuje zakładanie indeksu pełnotekstowego na dużych tabelach może być bardzo czasochłonne Sphinx, Xapian, Lucene 13

14 Cardinality & Selectivity Cardinality (liczność) - liczba wszystkich wierszy Selectivity (selektywność) - liczba pasujących wierszy w stosunku do wszystkich w tabeli (estymowana, nie wyliczana) Optymalizator MySQL-a z reguły nie stosuje indeksów przy selektywności powyżej 0% wczytywanie indeksów może być kosztowne 14

15 Explain raz jeszcze EXPLAIN SELECT customers.id_customer, , COUNT(id_invoice) AS total FROM customers JOIN invoices ON customers.id_customer = invoices.id_customer WHERE id_country = 5 GROUP BY invoices.id_customer; id select_t ype table type possible _keys key key_len ref rows Extra 1 SIMPLE invoices ALL NULL NULL NULL NULL 4598 Using temporary; Using filesort SIMPLE customers eq_ref PRIMARY PRIMARY 4 invoices. id_custom er 1 Using where 15

16 Po dodaniu indeksów... ALTER TABLE `customers` ADD INDEX(`id_country`); ALTER TABLE `invoices` ADD INDEX(`id_customer`); id select_t ype table type possible_k key eys key_ len ref row s Extra 1 SIMPLE customers ref PRIMARY, id_country id_country 4 const 1156 Using where SIMPLE invoices ref id_customer id_customer 4 customers. id_customer Using index 16

17 Indeks nie zostanie użyty... różne zestawy znaków (character set) np. latin1, utf8 złożona konwersja (CAST, CONVERT) duża liczba wierszy (duża selektywność) 17

18 Transakcje 18

19 Transakcje (ACID) Atomicity - operacja jest wykonana w całości albo wcale Consistency - po wykonaniu operacji dane będą spełniały kryteria integralności Isolation- dwie współbieżne transakcje nie widzą zmian wprowadzonych przez siebie (z reguły tak jest, zależy od poziomu izolacji) Durability- po ponownym uruchomieniu wyniki transakcji są dostępne 19

20 Transakcje START TRANSACTION; UPDATE invoices SET paid = 1 WHERE id_invoice = 1543; UPDATE invoices SET paid = 0 WHERE id_invoice = 1541; COMMIT/ROLLBACK; 0

21 MyISAM vs InnoDB MyIsam bez transakcji bez kluczy obcych nie spełnia ACID lockowanie na poziomie tabeli InnoDB wspiera transakcje klucze obce spełnia ACID lockowanie na poziomie wiersza 1

22 Klucze obce

23 Powiązania 3

24 Klucze obce pozwalają tworzyć powiązania między tabelami ten sam typ danych rozmiar i znak (signed/unsigned) stringi: długość, character set i collation unikać kluczy obcych na stringach! 4

25 Wywołania kaskadowe Gdy modyfikujesz lub usuwasz wiersz z tabeli głównej to: CASCADE - aktualizuj lub usuń powiązane z nią wiersze z tabeli potomnej, SET NULL - ustaw wartości powiązanych kolumn na null (kolumna nie może być zdefiniowana jako NOT NULL) NO ACTION/RESTRICT - brak akcji SET DEFAULT - MySQL rozpoznaje klauzulę ale NBD i InnoDB ignorują je i traktują jak RESTRICT 5

26 Wywołania kaskadowe DELETE FROM customers WHERE id_customer = ; customers invoices id_customer last_name id_invoice id_customer 1 Kowalski 1 Nowak 3 Zięba Bąk 4 4 6

27 Normalizacja brak zduplikowanych danych w bazie kolumny w tabeli są zależne tylko od klucza głównego łatwa modyfikacja danych w tabeli mogą znajdować się klucze obce 7

28 Denormalizacja zduplikowanie wybranych danych trudniejsze zarządzanie danymi łatwiejsze wyszukiwanie mniej joinów ilość zapisów vs. ilość odczytów uzasadnione zwłaszcza, gdy istnieje obawa dezaktualizacji danych. 8

29 Denormalizacja 9

30 30

31 Enum/Set Sortowane wg kolejności podanej w definicji ENUM( 3, 1, ), ENUM ( X, Z, Y ) Modyfikowane za pomocą ALTER - co z dużymi tabelami? Literówki podczas porównywania stringów Podczas wstawiania nieprawidłowej wartości zostanie ona podmieniona na. Jak pobrać listę opcji do selecta? 31

32 NOT IN SELECT c.id_contract, c.expiration_date FROM contracts AS c WHERE c.id_contract NOT IN(SELECT i.id_contract FROM invoices AS i); Query time: 36,189s lepiej tak: SELECT c.id_contract, c.expiration_date FROM contracts AS c WHERE NOT EXISTS (SELECT id_contract FROM invoices AS i WHERE i.id_contract = c.id_contract); Query time:,755s lub tak: SELECT c.id_contract, c.expiration_date FROM contracts AS c FROM contracts AS c LEFT JOIN invoices AS i ON i.id_contract = c.id_contract WHERE i.id_invoice IS NULL; Query time:,68s 3

33 Signed/unsigned SIGNED UNSIGNED ROZMIAR MIN MAX MIN MAX TINYINT SMALLINT MEDIUMINT INT czy jest potrzebny int, może wystarczy smallint lub tinyint? 33

34 Join SELECT c.id_customer, i.id_invoice, ii.product FROM customers AS c LEFT JOIN invoices AS i LEFT JOIN invoice_items AS ii ON (i.id_invoice=ii.id_invoice) WHERE i.id_currency=1; Problem: całkowite złączenie tabel customers i invoices zanim zacznie się filtrowanie wierszy. Rozwiązanie: SELECT c.id_customer, i.id_invoice, ii.product FROM invoices AS i LEFT JOIN customers AS c LEFT JOIN invoice_items AS ii ON (i.id_invoice=ii.id_invoice) WHERE i.id_currency=1; 34

35 SELECT c.id_customer, i.id_invoice, ii.product FROM customers AS c LEFT JOIN invoices AS i LEFT JOIN invoice_items AS ii ON (i.id_invoice=ii.id_invoice) WHERE i.id_currency=1; invoices customers id_customer 1 test@example.org 3 id_invoice id_customer id_currency test@example.org test@example.org 4 test@example.org 5 test@example.org 35

36 SELECT c.id_customer, i.id_invoice, ii.product FROM invoices AS i LEFT JOIN customers AS c LEFT JOIN invoice_items AS ii ON (i.id_invoice=ii.id_invoice) WHERE i.id_currency=1; invoices customers id_invoice id_customer id_currency id_customer test@example.org 3 11 test@example.org test@example.org test@example.org test@example.org

37 Wielokrotny JOIN Lepiej podzielić na mniejsze zapytania, wrzucić cache i łączyć na poziomie aplikacji 37

38 Float `price` float(10,5) unsigned NOT NULL, INSERT INTO `invoice_items` ('id_item`, `id_invoice`, `id_product`, `price`, `vat_rate`) VALUES (NULL, '606', '', '5000,4889', '3'); 38

39 Float - rozwiązanie `price` decimal(10,5) unsigned NOT NULL, INSERT INTO `invoice_items` ('id_item`, `id_invoice`, `id_product`, `price`, `vat_rate`) VALUES (NULL, '606', '', '5000,4889', '3'); 39

40 Typy kolumn 40

41 Typy kolumn zamiast typu string/varchar lepiej użyć id typu labelowanie dla poszczególnych id w osobnej tabeli słownikowej like jest relatywnie wolny użycie like %xxx% nie pozwala wykorzystać indeksów 41

42 Typy kolumn - rozwiązanie 4

43 Explain - podsumowanie minimalizować iloczyn liczby sprawdzanych wierszy unikać using temporary unikać ALL w joinach (pełny przegląd tabeli) łączyć przez eq_ref (jest najlepsze) 43

44 Dziękuję za uwagę Rafał Kern 44