Kurs języka Python Wykład 8. Przetwarzanie tekstu Wyrażenia regularne Biblioteka urllib Parsowanie html'a XML

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Kurs języka Python Wykład 8. Przetwarzanie tekstu Wyrażenia regularne Biblioteka urllib Parsowanie html'a XML"

Filip Maksymilian Adamczyk
9 lat temu
Przeglądów:

1 Kurs języka Python Wykład 8. Przetwarzanie tekstu Wyrażenia regularne Biblioteka urllib Parsowanie html'a XML

2 Wyrażenia regularne c:\> dir *.exe $ rm *.tmp

$c:\> dir *.$

3 Wyrażenia regularne 'alamakota' '(hop!)*' { '', 'hop!', 'hop!hop!',... } 'br+um' { 'brum', 'brrum', 'brrrum' }

4 Algorytm rozpoznawania wyrażenia regularnego Automat

5 Wyszukiwanie a dopasowanie import re automat = re.compile('brr+um') if automat.match('brrrrum!!!'): print 'pasuje' if automat.search('autko robi brrrrum!!!'): print 'pasuje'

6 Klasa MatchObject res = automat.search('brrrum!!!') res.group() # dopasowany tekst res.span() # para (początek, koniec)

7 Większe zadanie Znaleźć na stronie html'owej wszystkie odwołania do innych stron

8 Wyrażenie opisujące odwołanie adres = '([a-za-z]+\.)*[a-za-z]+'

$'([a-za-z]+\.$

9 Pełne (prawie) wyrażenie http = ' + adres automat = re.compile(http) tekst = fh.read()

$'http:\\' + adres$

10 Lista wszystkich odwołań [ url.group() for url in automat.finditer(tekst) ]

11 Przegląd metaznaków {m,n} {m}.? ^

12 Skróty \d dowolna cyfra \w znak alfanumeryczny (zależy od ustawień LOCALE) \Z koniec napisu

$od ustawień LOCALE) \Z$

13 Problem z ukośnikiem \ 'Imię\tNazwisko\n' print 'Tabulator to znak \\t' 'c:\\windows\\win.ini'

$znak \\t'$

14 \ w wyrażeniach regularnych Zagadka: Jak znaleźć w tekście '\['

15 re.match('\[', '\[') re.match('\\[', '\[') re.match('\\\[', '\[') re.match('\\\\[', '\[') re.match('\\\\\[', '\[') Próby rozwiązania

$match('\\\[', '\[') re.$

16 Inne rozwiązanie Raw tekst: re.match(r'\\\[', '\[')

17 Grupowanie wyrażeń Zadanie: z daty w formacie ' ' wyciągnąć dzień, miesiąc i rok.

18 Wyrażenie grupujące (?P<nazwa>regexp)

19 Trochę więcej o grupach tekst = 'abbabbba' wzor = 'a(b*)a.*(a)' aut = re.compile(wzor) res = aut.match(tekst) print res.groups() Wynik: ('bb', 'a')

20 Rozwiązanie tekst = ' ' wzor = r'(?p<rok>\d{4})(?p<mies>\d{2})(? P<dzien>\d{2})' aut = re.compile(wzor) res = aut.search(tekst) print res.group('rok'), res.group('mies')

$P<dzien>\d{2})' aut = re.$

21 Ściąganie stron przez http i https import urllib in_stream = urllib.urlopen(' doc = f.read() f.close()

22 Strumień in_stream.readlines() for line in in_stream: print line,

23 Parsowanie html import sgmllib class sgmllib.sgmlparser: def start_tag(self, attrs): def end_tag(self): def handle_data(self, data)

24 Przykładowa implementacja class MyParser(sgmllib.SGMLParser): def start_a(self, attrs): for (atr, val) in attrs: if atr == 'href': print val

25 p = MyParser() p.feed(doc) p1.close() Uruchomienie

26 XML Extensible Markup Language

27 Przykład <?xml version="1.0" encoding="utf-8"?> <biblioteka> <ksiazka egzemplarze="3"> <autor>ascher, Martelli, Ravenscroft</autor> <tytul>python. Receptury</tytul> </ksiazka> <ksiazka> <autor/> <tytul>python. Od podstaw</tytul> </ksiazka> </biblioteka>

28 SAX - Simple API for XML Schemat przetwarzania: Elementy pliku są kolejno wczytywane Dla każdego elementu wywoływana jest odpowiednia funkcja

29 From xml.sax import * class saxutils.defaulthandler: def startelement(self, name, attrs): pass def startdocument(self): pass def endelement(self, name): pass def enddocument(self): pass def characters(self, value): pass

30 Schemat programu class SaxReader(saxutils.DefaultHandler): def characters(self, value): print value

31 Start element def startelement(self, name, attrs): for x in attrs.keys(): print x, '=', attrs[x]

32 Inicjowanie from xml.sax import make_parser from xml.sax.handler import feature_namespaces from xml.sax import saxutils parser = make_parser() parser.setfeature(feature_namespaces, 0) dh = SaxReader() parser.setcontenthandler(dh) parser.parse(fh)

33 Cechy SAX Przetwarzanie w trybie 'do odczytu' Przetwarzanie liniowe SAX jest szybki, nie wymaga dużej pamięci

34 Document Object Model (DOM) Dokument jest pamiętany w całości jako drzewo Dokument (drzewo) można modyfikować Przetwarzanie sporo czasu i pamięci, całe drzewo jest przechowywane w pamięci

35 Utworzenie drzewa import xml doc = xml.dom.minidom.parse('content.xml')

36 nodetype nodename nodevalue parentnode childnodes firstchild lastchild previoussibling nextsibling attributes Klasa Node - atrybuty

37 Modyfikacja drzewa appendchild(newchild) removechild(oldchild) replacechild(newchild, oldchild)

38 Tworzenie nowych węzłów new = document.createelement('chapter') new.setattribute('number', '5') document.documentelement.appendchild(new)

39 Iterator po drzewie from xml.dom.nodefilter import NodeFilter reader = Sax2.Reader() doc = reader.fromstream(open('plik.xml', 'r'))

40 Iterator po drzewie walker = doc.createtreewalker(doc.documentelement, NodeFilter.SHOW_ALL, None, 0) while 1: print walker.currentnode.nodename next = walker.nextnode() if next is None: break

41 XPath Selekcja ścieżek w drzewie

42 Xpath - przykład from xml import xpath nodes = xpath.evaluate('ksiazka/autor', doc.documentelement)

43 KONIEC

Podobne dokumenty

Zaawansowany kurs języka Python

Zaawansowany kurs języka Python Wykład 5. 30 października 2013 Plan wykładu 1 2 3 4 yield from Zamiast Example for item in iterable: yield item: można pisać Example yield from iterable Plan wykładu 1 2 3 4 Przykłady wyrażeń regularnych