Przyszłość opracowania przedmiotowego w Polsce

Transkrypt

1 Wiesław BABIK Uniwersytet Jagielloński Przyszłość opracowania przedmiotowego w Polsce III Seminarium Członków Zarządów Okręgu Małopolskiego SBP Z polskiego na nasze perspektywy rozwoju opracowania przedmiotowego w Polsce. Kraków, Biblioteka Jagiellońska - 5 października 2015 r.

2 Prof. dr hab. Wiesław BABIK, profesor zwyczajny UJ. Od 1986 r. pracuje w Instytucie Informacji i Bibliotekoznawstwa UJ. Główny nurt zainteresowań badawczych to zagadnienia lingwistycznych metod organizacji i zarządzania informacją oraz jej zasobami. Zaliczany do warszawskiej szkoły języków informacyjnych. Autor ponad 150 publikacji. Dokumentalista dyplomowany. Konsultant naukowy w Bibliotece Narodowej w Warszawie. Od wielu lat prowadzi lub prowadził zajęcia dydaktyczne z języków informacyjnowyszukiwawczych na Uniwersytecie Jagiellońskim i Uniwersytecie Śląskim w Katowicach.

3 Uwaga: Wszystkie elementy graficzne umieszczone w prezentacji zaczerpnąłem z Internetu.

4 Celem wystąpienia jest zasygnalizowanie wybranych problemów opracowania przedmiotowego zbiorów w bibliotece. Mają one stanowić kontekst dla kolejnych wystąpień na szczegółowe tematy oraz zainspirować dyskusję na ten temat.

5 Nowe zjawiska XXI wieku - nie tylko informacyjne Gospodarka informacyjna i zarządzanie informacją; Rynek jiw; Postęp techniczny; Wzmożona konsumpcja informacji (informacja jako dobro konsumpcyjne, towar); Masowa produkcja informacji konsumpcyjnej (informacja jako towar); Powstanie sektora informacyjnego; Integracja struktur informacyjnych w skali globalnej (w tym ponadnarodowe standardy); Globalizacja informacyjnych systemów infrastrukturalnych. Ukrycie funkcjonowania narzędzi wyszukiwawczych w tzw. kuchni informatycznej.

6 Języki informacyjne Ilość informacji i nowe obiekty informacyjne Cyfryzacja i sieć Zmiany w nas samych

7 Opracowanie przedmiotowe co to jest? Pragmatyka języka informacyjno-wyszukiwawczego o nazwie język haseł przedmiotowych (jhp) oraz tworzenie indeksów przedmiotowych. Tworzenie haseł przedmiotowych (zdań i tekstów jiw).

8 Współczesne tendencje w rozwoju i opracowaniu rzeczowym Dominacja para/naturalnych jiw i stopniowe eliminowanie ich sztuczności; Uwzględnianie w projektowaniu i transformacjach jiw zachowań informacyjno-wyszukiwawczych użytkowników Internetu, stąd tendencja do upraszczania poszczególnych struktur jiw; Konkurencja i urynkowienie utrzymywania i stosowania poszczególnych jiw; Tendencje do ujednolicenia jiw, w tym hybrydyzacja jiw.; Transformacje jhp upodabniających się w coraz większym stopniu do innych jiw, zwłaszcza języków deskryptorowych.

9 Zachłyśnięcie się współczesnym rozwojem technologii komputerowych doprowadziło do rezygnacji w wielu systemach informacyjno-wyszukiwawczych z jakiegokolwiek języka indeksowania i traktowania pełnych tekstów, a ostatnio także mądrości tłumu, jako wystarczającej podstawy w tworzeniu narzędzi indeksowania i wyszukiwania informacji. Dąży się w ten sposób do zmniejszenia kosztów tworzenia i utrzymywania baz danych. Zresztą to sieć i wyszukiwarki internetowe w znacznym stopniu przyczyniły się do rezygnacji z jakichkolwiek form kontrolowania słownictwa w katalogach bibliotecznych i innych zasobach.

10 Entuzjaści tego rozwiązania zwykle powołują się na Internet i wyszukiwanie za pomocą swobodnych słów kluczowych. Okazało się jednak, że nie rozwiązuje to problemu dużego szumu informacyjnego, który przyczynia się do zwiększenia kosztów wyszukiwania informacji. W ten sposób problem kontroli słownictwa wraca jak bumerang. On też stał się inspiracją do tego wystąpienia, akcentującego potrzebę kontroli słownictwa w systemach wyszukiwania informacji, zwłaszcza w katalogach komputerowych OPAC opartych na Języku Haseł Przedmiotowych BN.

11 W polskich i zagranicznych bibliotekach naukowych trwają obecnie dyskusje nad przyszłością opracowania rzeczowego i rozwiązaniami ułatwiającymi użytkownikom posługiwanie się językami informacyjnowyszukiwawczymi (jiw), w tym językami haseł przedmiotowych (jhp). Dzisiejsze spotkanie mam nadzieję - wpisuje się ten nurt dyskusji.

12 Biblioteki stosujące język haseł przedmiotowych, w tym Biblioteka Narodowa, stanęły przed dylematem: czy należy dalej rozwijać ten język, a jeśli tak, to w jakim kierunku. Jest to moim zdaniem temat bardzo interesujący, aktualny, godny uwagi i refleksji naukowej. Dotyczy on zarówno struktury, jak i pragmatyki tego języka.

13 Języki haseł przedmiotowych nie są częstym przedmiotem refleksji naukowej w dziedzinie bibliologii i informatologii. Jednym z powodów jest zaliczanie tych języków do elity języków informacyjnowyszukiwawczych, a więc języków o wyjątkowo wyrafinowanej strukturze i pragmatyce. Są one stosowane w różnych krajach i w różnego typu bibliotekach. Ich geneza sięga średniowiecza. W Polsce najbardziej rozpowszechnione są dwa języki haseł przedmiotowych: JHP BN i znacznie młodszy język KABA. Języki te stanowią jedno z lingwistycznych narzędzi opisu zbiorów bibliotecznych. Mają swoją specyfikę, o której pisało już wielu specjalistów (W Polsce m.in. J. Ćwiekowa, J. Sadowska, J. Woźniak-Kasperek).

14 Są one ważne, gdyż od początku lat 90. XX wieku, a więc od pojawienia się Internetu (potem dynamicznego rozwoju systemu WWW), i co za tym idzie popularnością wyszukiwarek internetowych następuje stały spadek wyszukiwania z wykorzystaniem słownika kontrolowanego (a takie są słowniki jhp) na rzecz wyszukiwania swobodnego przez słowa, co powoduje trudności w tradycyjnym wyszukiwaniu przedmiotowym. Nawyków związanych z wyszukiwaniem w Internecie, w którym dominuje wyszukiwanie pełnotekstowe nie można i nie należy lekceważyć tworząc wizję dalszego rozwoju JHP, w tym JHP BN, chociaż ten ostatni jest pod dużym wpływem metodyki Adama Łysakowskiego.

15 Skomplikowana struktura tego języka sprawia, że jego użytkownicy w procesach wyszukiwania informacji mają problemy z formułowaniem pytań informacyjnych w tym języku. Jedną z przyczyn są niskie kompetencje językowe użytkowników, które generują m.in. niski stopień zrozumienia haseł rozwiniętych, a więc konstrukcji złożonych z tematu i określników oraz odsyłaczy a także trudności w parafrazowaniu grup imiennych; zresztą potwierdzają to amerykańskie badania Karen Markey Drabenstott wraz z zespołem. Najnowsze badania pokazują, że użytkownicy preferują wyrażenia języka naturalnego zgodne z jego ususem językowym.

16 Zdaniem Tiny Gross i Arlene Taylor jednak zaniechanie stosowania haseł przedmiotowych skutkowałoby wieloma negatywnymi konsekwencjami, gdyż słownictwo kontrolowane (a takie jest w jhp) jest elementem skutecznie wspomagającym wyszukiwanie pełnotekstowe (za: Włodarczyk 2015). Indeksowanie za pomocą tego języka wymaga jednak wysoko wykwalifikowanych bibliotekarzy-specjalistów. Poza tym bardzo trudno jest odwzorować w nim inne jiw oraz zaprezentować go w schematach Dublin Core i SKOS. Przez to nie jest dostępny dla wyszukiwarek internetowych. Przesłanki te stanowiły podstawę projektu FAST, którego rezultatem była fasetyzacja słownika LCSH, czyli podział haseł przedmiotowych na elementy przynależne do rozłącznych kategorii.

17 Przegląd badań w tym zakresie wyraźnie wskazuje na problemy użytkowników związane z korzystaniem z haseł przedmiotowych. Modyfikacja sposobów tworzenia i dostosowania jhp do potrzeb współczesnego użytkownika staje się być albo nie być dla dalszego istnienia tego języka. Wymusza to poszukiwanie dróg dalszego rozwoju tych języków oraz opracowania i wyszukiwania przedmiotowego.

18 Zalety jhp Wyraźne podobieństwo systemów leksykalnych jhp do języka deskryptorowego i języka słów kluczowych a także do systemów terminologicznych.

19 Wady klasycznego jhp Skomplikowane struktury odbiegające od języka naturalnego; Przestarzała terminologia; Braki terminologiczne (związane z potrzebą ciągłej aktualizacji słowników; Potrzeba ciągłej melioracji danych katalogowych; Trudność i czasochłonność tworzenia haseł przedmiotowych rozwiniętych; Konieczność szukania kompromisu między terminologią naukową a słownictwem ogólnym.

20 Problemy w opracowaniu rzeczowym Problemy terminologiczne. Problemy lingwistyczne. Problemy techniczne. Problemy metodologiczne.

21 Momenty przełomowe w opracowaniu rzeczowym Przełom 1: Średniowiecze (powstanie jhp). Przełom 2: Lata 50-te XX wieku (powstanie języków deskryptorowych i języków słów kluczowych). Przełom 3: Lata 90-te XX wieku Przełom 4: 2015 rok?

22 Oczekiwania od jhp W Internecie jednostki leksykalne jhp powinny pełnić funkcję etykiet nawigacyjnych do zawartych w systemach hipertekstowych zasobów informacyjnych.

23 Realizacja oczekiwań Języki deskryptorowe? Języki słów kluczowych?

24 Odpryski klasycznego języka haseł przedmiotowych (1) Projekt FAST (ang. Faceted Application of Subject Terminology Fasetowe Zastosowanie Terminologii Przedmiotowej), związany z LCSH - Językiem Haseł Przedmiotowych Biblioteki Kongresu USA, zainicjowany w 1998 roku. Jego rezultatem jest fasetyzacja słownika LCSH, czyli podział haseł przedmiotowych na elementy przynależne do rozłącznych kategorii.

25 Odpryski klasycznego języka haseł przedmiotowych (2) FAST to oparty na LCSH zbiór słownictwa kontrolowanego, wykorzystywany do indeksowania doumentów (np. w katalogach i repozytoriach) oraz zawartości baz danych i serwisów internetowych (np. WorldCat, Databib, FictionFinder). W porównaniu do LCSH jest łatwiejszy i efektywniejszy w użyciu, bowiem przyśpiesza indeksowanie i ułatwia wyszukiwanie przez nawigację fasetową. Koszty jego utrzymania są niższe oraz dzięki możliwości zapisu danych w postaci Linked Data charakteryzuje się semantyczną interoperacyjnością słownictwa.

26 Odpryski klasycznego języka haseł przedmiotowych (3) FAST ma strukturę modułową, na którą składa się osiem faset: nazwy osobowe, nazwy korporatywne, nazwy geograficzne, wydarzenia, tytuły, określenia czasu (daty), tematy i określenia formy/gatunku. Każda z faset może być wykorzystywana niezależnie. Obecnie FAST obejmuje 1,7 mln rekordów wzorcowych (Źródło:

27 Odpryski klasycznego języka haseł przedmiotowych (4) KABA (będzie omawiana w odpowiednim miejscu programu).

28 Języki deskryptorowe (1) W latach 50. XX w., wraz z pojawieniem się najpierw mechanizacji, a następnie komputeryzacji (automatyzacji) w bibliotekach i innych instytucjach informacyjnych, opracowano nowe podejście do reprezentacji tekstu w postaci indeksowania współrzędnego. Polegało ono na charakteryzowaniu treści dokumentów za pomocą słów będących jednostkami autosyntaktycznymi, które można było w dowolny sposób zestawiać, tworząc charakterystykę wyszukiwawczą dokumentu lub instrukcję wyszukiwawczą. W ten sposób zrodziła się idea języków słów kluczowych i języków deskryptorowych.

29 Języki deskryptorowe (2) Słownictwo języka deskryptorowego (deskryptory) ma charakter paranaturalny. Języki deskryptorowe posługują się kontrolowanym słownictwem (zebranym w tezaurusie).

30 Teraźniejszość określa przyszłość

31 Propozycja dr. Bartłomieja Włodarczyka (1) Przedmiotem obszernej (2-tomowa, łącznie licząca 486 stron) obronionej na UW w 2015 r. rozprawy doktorskiej dr. Bartłomieja Włodarczyka było Zastosowanie map tematów w językach haseł przedmiotowych na przykładzie języka haseł przedmiotowych Biblioteki Narodowej. Celem tej rozprawy było zaprezentowanie koncepcji transformacji JHP BN do postaci mapy tematów, która pozwoliłaby usprawnić wyszukiwanie informacji w katalogach bibliotecznych. Koncepcja ta opiera się na lepszym wykorzystaniu i organizacji leksyki tego języka.

32 Propozycja dr. Bartłomieja Włodarczyka (2) Mapy tematów stanowią standard reprezentacji wiedzy przystosowany do środowiska komputerowego. Są jednym z modeli umożliwiających reprezentację systemów organizacji wiedzy w sieci WWW takich, jak taksonomie, tezaurusy, klasyfikacje fasetowe, ontologie, kartoteki wzorcowe, pierścienie synonimów, słowa kluczowe i jhp. Mapy tematów są też standardem umożliwiającym sprawną nawigację i organizację zasobów informacyjnych (bibliotecznych) w Internecie, a potem ich uzupełnianie.

33 Propozycja dr. Bartłomieja Włodarczyka (3) Swoją koncepcję Autor oparł na tezie, że w językach haseł przedmiotowych tkwi niewykorzystany dotychczas potencjał informacyjno-wyszukiwawczy, a jego wykorzystanie w katalogach bibliotecznych jest możliwe za pomocą technik semantycznych. Jako jeden z modeli umożliwiających taką transformację przyjął mapę tematów. Wybór mapy tematów jako metodologicznej podstawy propozycji przekształcenia języka haseł przedmiotowych został podyktowany możliwościami tego modelu.

34 Propozycja dr. Bartłomieja Włodarczyka (4) Wprawdzie nie jest to propozycja oryginalna, gdyż takie prace prowadził już m.in. japoński zespół pod kierunkiem Motomu Naito, ale zakres prac tego zespołu był bardzo ograniczony (brak dokładnej analizy struktury przekształcanych języków oraz objęcie transformacją wyłącznie relacji paradygmatycznych w słownikach jhp). Istnieją też modele włoskiego języka haseł przedmiotowych Nuovo Soggettario oraz model indeksu opartego na ontologii autorstwa Winfrieda Göderta, Jessici Hubrich oraz Matthiasa Nagelschmidta. Autor podjął rozważania nad tym modelem odnosząc go do konkretnego języka haseł przedmiotowych JHP BN.

35 Projekt dr. Bartłomieja Włodarczyka (1) Autor tego projektu w swojej rozprawie doktorskiej opowiada się jednoznacznie za rozwojem tego języka, proponując na przykładzie JHP BN nowy kierunek jego rozwoju. W przedstawionej koncepcji trudno doszukiwać się jakichkolwiek błędów. Mogą one ujawnić się na etapie jej implementacji, której w pełni nie dokonano. Równokształtność haseł katalogu przedmiotowego z wyrażeniami języka naturalnego bezwzględnie przemawia na jego korzyść, choć może być źródłem pewnych nieporozumień czy frustracji użytkowników.

36 Projekt dr. Bartłomieja Włodarczyka (2) W wypadku katalogów o słownictwie paranaturalnym trzeba w sposób szczególny troszczyć się, żeby znaczenia poszczególnych haseł nie odbiegały zbyt daleko od znaczeń odpowiadających im wyrażeń języka naturalnego. Szukający odnajdując znajomy termin w katalogu, będzie się bowiem skłaniał ku przypisaniu mu znaczenia takiego samego lub bliskiego znaczeniu, jakie ma on w języku naturalnym. Wartość uzyskanej mapy tematów zależy do jakości danych wejściowych, czyli opisów przedmiotowych tworzonych z zastosowaniem JHP BN. Oznacza to, że niezbędna jest dbałość o jakość danych wejściowych, a więc o pragmatykę indeksowania w jhp, co stanowi osobne pole do dalszych badań.

37 Projekt dr. Bartłomieja Włodarczyka (3) W porównaniu do wcześniejszych transformacji propozycja Włodarczyka jest kompleksowa, m. in. oparta na dogłębnej analizie przekształcanego JHP BN oraz uwzględnia relacje syntagmatyczne wyrażane w jhp za pomocą haseł rozwiniętych. Nie istnieje gotowa metodologia tworzenia map tematów w oparciu o jhp (s. 268). Istnieją natomiast metodologie budowy ontologii z wykorzystaniem zasobów, których semantyka nie została jeszcze sformalizowana z użyciem ontologii (s. 268).

38 Projekt dr. Bartłomieja Włodarczyka (4) Ostatecznym celem transformacji w przypadku rozprawy było stworzenie ontologii odwzorowującej rzeczywistość stworzoną przez JHP BN. Takie przekształcenie miało udoskonalić możliwości wyszukiwawcze systemu bibliotecznego, w którym będzie zaimplementowana mapa tematów (s. 270). W ontologii bowiem tkwi potencjał zmniejszania przeciążenia poznawczego użytkownika, na które jest narażony użytkownik współczesnych siw, poprzez dostarczenie mu powiązanych i zgrupowanych informacji (s. 275). Zaprezentowana w rozprawie ontologia nie ma jednak charakteru rozwiązania finalnego (s. 371). Podejmowane decyzje przy transformacji zdaniem Autora powinny mieć charakter praktyczny i uwzględniać semantykę języka naturalnego, na bazie którego powstał dany jhp (s. 291).

39 Nie jest to jedyna propozycja w tym zakresie. Istnieje równie cenna propozycja opracowania rzeczowego za pomocą deskryptorów, czyli udeskryptorowienia języka haseł przedmiotowych, przygotowywana przez Pracownię Deskryptorów Biblioteki Narodowej.

40 Projekt Biblioteki Narodowej (1) W dniu 1 czerwca 2014 roku powstała w Bibliotece Narodowej nowa komórka Pracownia Deskryptorów Biblioteki Narodowej. Jej zadaniem jest przygotowanie koncepcji opracowania rzeczowego za pomocą deskryptorów. Pracownia ta funkcjonuje równolegle z istniejącą od września 2007 roku Pracownią JHP BN, której zadaniem jest rozwijanie JHP BN i nadzór nad opracowaniem przedmiotowym w Bibliotece Narodowej. W czerwcu 2011 r. Pracownia JHP BN uruchomiła blog Fabryka języka. W 2012 r. na tym blogu został opublikowany Poradnik JHP BN, podstawowe źródło informacji na temat współczesnego JHP BN.

41 Projekt Biblioteki Narodowej (2) 20 kwietnia 2015 r. odbyła się w Warszawie w Bibliotece Narodowej międzynarodowa konferencja naukowa Deskryptory Biblioteki Narodowej. Propozycja zmian w opracowaniu zbiorów bibliotecznych w dobie sieci semantycznej. W Roczniku Biblioteki Narodowej (XLV). Warszawa 2014 ukazał się obszerny artykuł szczegółowo omawiający projekt Deskryptorów Biblioteki Narodowaj, opracowany przez Martę Cichoń, Jakuba Kalinowskiego i Grażynę Fedorowicz (s ). Jako naukowe wsparcie tego projektu powstaje 4-6 prac doktorskich poświęconych szczegółowym zagadnieniom tego projektu.

42 Projekt Biblioteki Narodowej (3) W piątek 11 września 2015 r. odbyło się w Warszawie w Bibliotece Narodowej inaugurujące posiedzenie Zespołu ds. rozwoju Deskryptorów Biblioteki Narodowej. W skład Zespołu wchodzą: przewodniczący Mikołaj Baliszewski, wicedyrektor ds.. Rozwoju BN; wiceprzewodniczący Zofia Żurawińska, bibliotekarz systemowy BN, wiceprzewodniczący Jakub Kalinowski, kierownik Pracowni Deskryptorów BN i sekretarz Kacper Trzaska z Pracowni Deskryptorów BN. Obrady dotyczyły: - przyjęcia uwag do Zasad indeksowania Deskryptorami Biblioteki Narodowej, - schematów przekształcenia haseł przedmiotowych rozwiniętych JHP BN w Deskryptory BN i sposobu ich prezentacji dla bibliotek, - stanu prac na scalaniem kartoteki formalnej i przedmiotowej, - serwisu do zewnętrznego pobierania danych z BN i ich wymiany w systemach bibliotecznych.

43 Projekt Biblioteki Narodowej (4) Spotkania zespołu konsultacyjnego odbywać się będą nie rzadziej niż raz w miesiącu. Omawiane będą kwestie związane z procesem wdrożenia Deskryptorów BN, w szczególności: - schematy przekształcenia JHP BN w DBN; - szczegółowe zasady opracowywania; - problematyka słownictwa właściwego dla poszczególnych grup odbiorców; - szczegółowa instrukcja opracowania zbiorów z zastosowaniem Deskryptorów BN.

44 Nihil novi sub sole? Deskryptory BN wyraźnie nawiązują do idei języków deskryptorowych z lat 50. XX wieku, próbując je zastosować w sferze bibliotecznej. Alternatywa: czy doskonalć JHP, czy transformować go na język deskryptorowy? Okazało się, że potencjał języków deskryptorowych może być bardzo cenny w projektowaniu rozwiązań aktualnych problemów występujących w opracowaniu rzeczowym/przedmiotowym w bibliotekach. Problem: jak zastosować język deskryptorowy w katalogach bibliotecznych. Projekt Biblioteki Narodowej w Warszawie stanowi jedną z prób odpowiedzi na to pytanie.

45 Podsumowanie Język haseł przedmiotowych nie powinien być tylko dla wtajemniczonych (w domyśle bibliotekarzy), lecz także dla zwykłego użytkownika i jak najbardziej zbliżony do języka naturalnego. Powinien być otwarty na inne zasoby słownictwa w Internecie i sam być źródłem słownictwa dla innych aplikacji (zwłaszcza w Internecie). Cała systemowa kuchnia powinna być przed użytkownikami ukryta i tworzona przez specjalistów, ale z uwzględnieniem potrzeb i preferencji użytkowników. Podjętą próbę transformacji JHP BN na Deskryptory BN można uznać za właściwy krok w tym kierunku.

46 Wybrana literatura przedmiotu Babik W. (2010). Słowa kluczowe. Kraków: Wydawnictwo Uniwersytetu Jagiellońskiego. Babik W. (2010). O zjawisku hybrydyzacji we współczesnych językach informacyjnowyszukiwawczych [W druku]. Bertram J. (2005). Einführung in die inhaltliche Erschliessung. Grundlagen-Methoden- Instrumente. Würzburg: Ergon Verlag. Bojar B. (2005). Językoznawstwo dla studentów informacji naukowej. Warszawa: Wydawnictwo SBP. Bojar B. (2006). Jeden język różne światy. Acta Filologia, nr 32, Uniwersytet Warszawski, Wydział Neofilologii, Warszawa, s Bojar B. (2007). Informacja naukowa czy to już koniec? Praktyka i Teoria Informacji Naukowej i Technicznej nr 2 s Bojar B. (2009. Języki informacyjno-wyszukiwawcze wczoraj, dziś... czy jutro? Zagadnienia Informacji Naukowej 2009 nr 1 s Chu H. (2003). Information Representation and Retrieval in the Digital Age. Medford, New Jersey: Information Today, Inc. Cichoń M., Kalinowski J., Fedorowicz G. (2015): Katalogowanie oparte na encjach. Rocznik Biblioteki Narodowej XLV. Warszwa 2015, s Controlled vocabulary. [In:] [Dostęp: ]. Włodarczyk B. (2015). Zastosowanie map tematów w językach haseł przedmiotowych na przykładzie Języka Haseł Przedmiotowych Biblioteki Narodowej. Rozprawa doktorska przygotowana pod kierunkiem prof. dr hab. Jadwigi Woźniak-Kasperek. Warszawa: Uniwersytet Warszawski, Wydział Historyczny 2015, 486 s. T. I ss , T. II ss (20 tabel, 35 rysunków oraz 3 Aneksy).

47 Dziękuję za uwagę Wiesław Babik

48 Wiesław BABIK Uniwersytet Jagielloński Przyszłość opracowania przedmiotowego w Polsce III Seminarium Członków Zarządów Okręgu Małopolskiego SBP Z polskiego na nasze perspektywy rozwoju opracowania przedmiotowego w Polsce. Kraków, Biblioteka Jagiellońska - 5 października 2015 r.