Załącznik nr 1 do umowy

Transkrypt

1 Załącznik nr 1 do umowy I. Wstęp W 2012 r. Ministerstwo Sprawiedliwości rozpoczęło realizację projektu mającego na celu wdrożenie systemu publikacji orzecznictwa sądów powszechnych w sieci Internet, tj. modułu OSA służącego do publikacji orzeczeń sądów powszechnych w Internecie (dalej jako System Portal Orzeczeń lub System ). Celem niniejszego projektu jest umożliwienie bezwnioskowego uzyskania dostępu do informacji publicznej jaką są treści orzeczeń wraz z uzasadnieniami. Zanonimizowane orzeczenia sądów powszechnych publikowane są na stronie Biuletynu Informacji Publicznej danego sądu oraz pod adresem 1. Składowe Systemu W skład Systemu Portal Orzeczeń wchodzi: a. oprogramowanie niezbędne do działania Systemu, do którego Ministerstwo Sprawiedliwości na mocy Umowy nr 33 z dnia 18 lipca 2012 r. dotyczącej m. in. modernizacji modułu publikacji orzeczeń OSA oraz Umowy nr 282/2013 z dnia 22 października 2013 r. nabyło nieograniczone terytorialnie autorskie prawa majątkowe na wszystkich polach eksploatacji w rozumieniu ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych (Dz. U. z 2006 r. Nr 90, poz. 631 ze zm.) z możliwością wykonywania prawa zależnych, na czas nieokreślony, z prawem do dalszego przenoszenia, obejmujące następujące komponenty, tj. Workflow (serwer/silnik sterowania procesem anonimizacji orzeczeń sądowych), Manager (aplikacja WEB do interaktywnej kontroli wyniku anonimizacji orzeczeń sądowych), Publisher (aplikacja WEB do prezentacji w Internecie zanonimizowanych orzeczeń sądowych), Verifier (aplikacja WEB do weryfikacji opublikowanych orzeczeń), Importer (program importujący dane niezbędne do zasilenia Portalu Orzeczeń z systemu repertoryjno - biurowego SAWA spółki Currenda sp. z o.o. zs. w Sopocie, z systemu repertoryjno - biurowego Sędzia2 spółki ZETO sp. z o.o. zs. w Świdnicy oraz systemu repertoryjno - biurowego Praetor spółki Praetor sp. z o.o. zs. w Warszawie, zwany dalej Importerem), API (interfejs pobierania danych), zwane dalej Oprogramowaniem Centralnym; b. oprogramowanie niezbędne do prawidłowego działania Systemu, na które w ramach niniejszej Umowy dla danego sądu powszechnego udzielana jest odpłatna, niewyłączna, nieograniczona czasowo licencja, obejmująca następujące komponenty: moduł do automatycznej anonimizacji, serwer/silnik wyszukiwania pełnotekstowego, dodatki rozszerzające wyszukiwarkę o korektor zapytań (correct), generator natychmiastowych podpowiedzi oraz serwer/silnik analizy językowej, plugins rozszerzeń modułu analizy językowej o dodatek do podświetlania wybranych haseł w tekstach, dodatek do anonimizacji tekstów, dodatek do wykrywania imion i nazwisk (wraz z podręczną bazą imion i nazwisk) oraz o dodatek do wykrywania nazw geograficznych (wraz z podręczną bazą nazw), zwane dalej Oprogramowaniem Licencjonowanym; 2. Opis Systemu Portal Orzeczeń Dotychczas System Portal Orzeczeń został uruchomiony w 11 sądach apelacyjnych, 45 sądach okręgowych oraz 60 sądach rejonowych. Czas dostępności Systemu wynosi 24/7 (całą dobę przez 7 dni w tygodniu). Spełnia on poniżej wskazane wymagania. Produkty i usługi będące efektem realizacji 1

2 niniejszego przedmiotu zamówienia muszą być kompatybilne z Oprogramowaniem Centralnym i muszą spełniać co najmniej minimalne parametry określone w niniejszym dokumencie. 2.1 Wymagania poza funkcjonalne 1. System zapewnia import orzeczeń wraz z uzasadnieniem z systemów SAWA, Sędzia 2 oraz Praetor. 2. System zapewnia integrację danych na poziomie jednego ośrodka przetwarzania. 3. System zapewnia separację logiczną pomiędzy częścią wewnętrzną (proces anonimizacji) i zewnętrzną (publikacja orzeczeń). 4. System zapewnia możliwość skalowania poprzez rozdzielenie poszczególnych funkcji systemu pomiędzy serwery w zakresie węzłów aplikacyjnych oraz bazodanowych. 5. System obsługuje proces publikacji orzeczeń oraz podproces sprawdzania poprawności anonimizacji przez aplikację webową. 6. System jest zgodny ze standardami języków programowania, które zostały wykorzystane przy jego tworzeniu. 7. System zapewnia poprawne wyświetlanie na urządzeniach mobilnych oraz poprawne wyświetlanie niezależnie od platformy systemowej i użytej przeglądarki internetowej. 2.2 Wymagania funkcjonalne 1. Rozwiązanie umożliwia przeprowadzenie procesów: a. importu orzeczeń wraz z uzasadnieniem; b. automatycznej anonimizacji; c. publikacji orzeczeń; d. weryfikacji poprawności opublikowanych orzeczeń. 2. Proces importu orzeczeń zapewnia: a. import wskazanych dokumentów; b. harmonogram uruchomienia; c. określenie typu importowanego dokumentu; d. raportowanie statusu importu i informacji pomocniczych; e. kompresję danych; f. szyfrowanie transferu danych; g. automatyczne aktualizacje oprogramowania importującego. 3. Proces anonimizacji oraz podproces sprawdzania poprawności adnonimizacji zapewnia: a. automatyczną anonimizację orzeczeń z uzasadnieniami w oparciu o zaawansowaną analizę morfoskładniową oraz zdefiniowane reguły; b. obsługę podprocesu sprawdzania poprawności anonimizacji, możliwość prowadzania korekt do automatycznej anonimizacji, raportowanie błędów za pośrednictwem panelu administracyjnego opartego na technologii webowej; c. logowanie za pomocą loginu oraz hasła; d. obsługę 3 typów użytkowników o różnych uprawnieniach: i. administratora; ii. osoby zatwierdzającej publikację; iii. osoby sprawdzającej anonimizację; 2

3 e. możliwość wyszukiwania zanonimizowanych orzeczeń na podstawie określonych kryterów; f. zmiany stanów orzeczenia począwszy od oczekującego na sprawdzenie, przez sprawdzony skończywszy na opublikowany; g. wprowadzanie metryki orzeczenia; h. logowanie zdarzeń systemowych; i. zarządzanie użytkownikami; j. możliwość sprawdzania poprawności opublikowanych orzeczeń z funkcjonalnością raportowania o błędach na wskazane miejsce przy wykorzystaniu aplikacji webowej; 4. Proces publikacji orzeczeń zapewnia: a. publikację orzeczeń wraz z uzasadnieniami poddanych procesowi anonimizacji i podprocesowi sprawdzania poprawności anonimizacji; b. wyszukiwanie orzeczeń na podstawie określonych kryteriów; c. wyszukiwanie pełnotekstowe; d. podpowiadanie treści zapytania w oprarciu o treści opublikowanych orzeczeń; e. wydruk oraz konwersja do formatu.pdf treści opublikowanego orzeczenia; f. wyświetlanie orzeczeń podobnych na podstawie analizy treści orzeczenia; g. udostępnienie API do pobierania treści orzeczeń na żądanie; h. kategoryzowanie orzeczeń na podstawie drzewa haseł tematycznych; i. publikacja kanałów RSS; j. możliwość integracji z Biuletynem Informacji Publicznej sądu; 5. Proces weryfikacji orzeczeń zapewnia: a. logowanie za pomocą loginu oraz hasła; b. obsługę 3 typów użytkowników o różnych uprawnieniach: i. administratora; ii. użytkownika. c. wyświetlenie listy opublikowanych orzeczeń; d. przeszukiwanie listy opublikowanych orzeczeń zgodnie z przyjętymi kryteriami; e. weryfikację poprawności orzeczenia: i. tryb weryfikacji; ii. możliwość oznaczenia fragmentu tekstu i zgłoszenia do niego uwagi; iii. wysyłkę uwagi do wydziału, który opublikował orzeczenie. f. zarządzanie użytkownikami oraz adresami wydziałów sądów publikujących orzeczenia. 6. API zapewnia: a. dostęp do treści opublikowanych orzeczeń w postaci XML za pomocą interfejsu danych opartego o wzorzec REST przy wykorzystaniu protokołu http. 2.3 Komponenty systemu 1. Silnik sterowania procesem anonimizacji orzeczeń sądowych (Workflow) 2. Aplikacja webowa Panel Administracyjny (Manager) 3. Aplikacja webowa Portal Orzeczeń (Publisher) 4. Aplikacja webowa Panel do weryfikacji orzeczeń (Verifier) 5. API interfejs pobierania danych 3

4 6. Importer 2.4 Bezpieczeństwo 1. Rozwiązanie zapewnia kontrolę dostępu do systemu opartą o użytkowników i hasła, ograniczonych zakresem uprawnień oraz przynależnością do grupy dostępu do danych na poziomie sądu i wydziału. 2. Rozwiązanie uniemożliwia nieuprawnione pozyskanie danych z któregokolwiek modułu. 3. Wszelkie operacje są monitorowane i rejestrowane w logach wraz z datą i czasem ich wykonania (dotyczy zarówno dokumentów, użytkowników jak i procesów). 2.5 Dokumenty 1. Podstawowym nośnikiem danych są pliki w formacie XML. 2. Dokumentami zasilającymi System są: a. orzeczenia z uzasadnieniami w formacie DOC, DOCX, RTF; b. karty kwalifikacyjne orzeczeń, zawierające informacje o sygnaturze sprawy i dacie orzeczenia, podstawy prawnej, haśle tematycznym oraz tezie. 2.6 Przebieg procesu publikacji orzeczeń 1. odznaczenie do publikacji dokumentu w systemie repertoryjno-biurowym sądu; 2. import wybranego dokumentu wraz z metadanymi na serwer w infrastrukturze centralnej za pośrednictwem sieci WAN Ministerstwa Sprawiedliwości w określonym harmonogramie; 3. automatyczna anonimizacja treści orzeczenia wraz z uzasadnieniem; 4. odnalezienie właściwego dokumentu w bazie przy pomocy panelu administracyjnego, wprowadzenie metryki orzeczenia, weryfikacja automatycznej anonimizacji przez użytkownika, możliwość wprowadzenia poprawek, ukrycia treści lub cofnięcia procesu anonimizacji dla określonego fragmentu dokumentu, zatwierdzenie poprawności dokumentu, publikacja orzeczenia w Internecie. II. Specyfikacja systemu Właścicielem oprogramowania opisanego w tym rozdziale jest Zamawiający. A. Oprogramowanie Centralne Opisane poniżej rozwiązania techniczne oparte są o otwarte oprogramowanie. 1. Silnik sterowania procesem anonimizacji orzeczeń sądowych (Workflow) 1.1 Strukturalizacja, anonimizacja oraz publikacja Programy realizujące proces strukturalizacji oraz anonimizacji orzeczeń w Systemie oparte zostały na narzędziach typu Open Source (m. in. takie jak Sqlite3, LibreOffice, AbiWord, czy szereg bibliotek pomocniczych). Mają one postać skryptów w języku Ruby, programów w języku Java oraz w przeznaczonym dla środowiska Java języku Scala. Możliwe jest również uruchomienie ww. skryptów w języku Ruby w środowisku Java, przy pomocy oprogramowania JRuby. Strukturalizacja jako taka wykonywana jest dwuetapowo. W pierwszym etapie za pomocą oprogramowania LibreOffice wraz z jodconverter (przy małym wsparciu za pomocą programu AbiWord, który wykorzystywany jest do wydobycia dodatkowych danych metrykalnych) wejściowe dokumenty 4

5 tekstowe (MS Word, RTF, OpenOffice) transformowane są do postaci XHTML. W etapie drugim ten XHTML poddawany jest analizie i zamianie na format XML, opracowany specjalnie dla potrzeb Systemu. Obydwa te etapy realizowane są przez skrypt doc2xml.rb. Oddzielnym procesem jest transformacja danych metrykalnych sprawy, w czasie które,j dane (w formacie XML) pobrane z systemu SAWA, są uzupełniane o dodatkowe informacje, dające się wydobyć z przetworzonych już orzeczeń, które zostały wydane danej sprawie. Zadanie to wykonywane jest przez skrypt build_case_xml.rb. Następnym krokiem w procesie przetwarzania jest anonimizacja orzeczeń. Do tego celu służy program anonymization-xml jar. W normalnej sytuacji nie jest on jednak uruchamiany oddzielnie, lecz wraz z dwoma poprzednimi za jego uruchomienie odpowiada nadrzędny skrypt process_case.rb. Skrypt ten wykonuje oprócz tego jeszcze kilka dodatkowych zadań: dodaje odpowiednie informacje do roboczej bazy danych oraz ustawia w systemie plików informacje o właścicielu, grupie i prawach dostępu utworzonych plików. W środowisku produkcyjnym nad całością tego procesu czuwa dodatkowy skrypt watch_sources.rb, który uruchamiany jest jako tzw. demon systemu Linux. Okresowo, co 10 minut, sprawdza on, czy nie pojawiły się nowe lub zmienione dane pochodzące z importu z systemu repertoryjno-biurowego. Orzeczenia zweryfikowane przez pracowników sądu są przekazywane do publikacji, za proces publikacji odpowiedzialne są skrypty napisane w języku Python: ncourtglobalkeywordssuggestdata.py i ncourtglobalsuggestdata.py odpowiedzialne są za przygotowanie danych dla usługi suggest, ncourtindexer-backend.py i ncourt-prepare2index.py odpowiedzialne za proce tworzenia indeksów wyszukiwania. Wszystkie programy zostały opisane w szczegółach w dalszej części dokumentu. 1.2 Programy uczestniczące w przetwarzaniu danych build_case_xml.rb Zadaniem programu build_case_xml.rb jest utworzenie w katalogu docelowym (data/court) wynikowego pliku XML metryki sprawy. Plik ten tworzony jest na podstawie wejściowego, zaimportowanego z systemu sądowego pliku metryki (z katalogu data/source) i uzupełniany danymi wydobytymi z plików XML z treścią orzeczeń (przed anonimizacją). Pliki XML z treścią orzeczeń tworzone są przez program doc2xml.rb. Program build_case_xml.rb uruchamiany jest jako drugi krok przetwarzania sprawy przez program process_case.rb. Składnia wywołania: ruby -Ku build_case_xml.rb [-help] [-verbose -quiet] input.xml... Opcje: Opcja -help -verbose Znaczenie powoduje wypisanie na standardowe wyjście tekstu pomocy i zakończenie działania programu [tryb gadatliwy] włącza wypisywanie na standardowe wyjście komunikatów, zawierających nazwy przetwarzanych oraz wynikowych plików 5

6 -quiet [tryb cichy] wyłącza wypisywanie na standardową diagnostykę komunikatów błędów Parametry: Parametr Znaczenie Przykład input.xml... wejściowe pliki XML zaimportowanych metryk, rozdzielone spacjami /neurocourt/data/source/15/501515/ /RC/2011/000202/ _III_RC_000202_2011.xml Program build_case_xml.rb ignoruje opcje inne niż wymienione powyżej, nie raportując żadnego błędu w razie podania innej opcji. Opcje mogą być prefiksowane dowolną liczbą myślników, tzn. zapis -verbose i ---verbose są równie dobre. doc2xml.rb Program doc2xml.rb służy do konwersji wejściowych, zaimportowanych z systemu sądowego, plików orzeczeń w formatach DOC, DOCX, ODT oraz RTF, do postaci niezanonimizowanych plików XML. Konwersja ta wykonywana jest za pomocą pakietu biurowego LibreOffice, przy czym w zależności od sposobu uruchomienia programu doc2xml.rb pakiet LibreOffice jest uruchamiany przez niego bezpośrednio lub też za pośrednictwem programów doc2xml-tuplespace.rb i doc2xml-server.rb. Konwersja plików orzeczeń jest pierwszym krokiem przetwarzania sprawy wykonywanym przez program process_case.rb. Składnia wywołania: ruby -Ku doc2xml.rb [-help] [-verbose -quiet] [-use-tuplespace] [- properties=properties-file-path] input.doc input.docx input.odt input.rtf... Opcje: Opcja -help -verbose -quiet -use-tuplespace Znaczenie powoduje wypisanie na standardowe wyjście tekstu pomocy i zakończenie działania programu [tryb gadatliwy] włącza wypisywanie na standardowe wyjście komunikatów, zawierających nazwy przetwarzanych oraz wynikowych plików [tryb cichy] wyłącza wypisywanie na standardową diagnostykę komunikatów błędów włącza tryb klient-serwer z pośrednikiem doc2xml-tuplespace.rb Opcja Znaczenie Wartość domyślna -properties=properties- ścieżka do pliku /neurocourt/param/backend.properties 6

7 file-path properties Parametry: Parametr Znaczenie Przykład input.{doc,docx,odt,rtf} wejściowe pliki orzeczeń zaimportwane z systemu sądowego /neurocourt/data/source/15/ / /W/2012/000768/ _II_W_000768_2012_Uz_ _001.rtf Properties: Property Znaczenie Wartość domyślna classified.repertor ies.file ścieżka do pliku XML z listą /neurocourt/param/clas repertoriów, z których orzeczenia nigdy sified.xml nie powinny być publikowane tuplespace.uri URL serwera "przestrzeni krotek" druby://localhost:7878 doc2xml-tuplespace.rb, pośredniczącego w rozdziale zadań do przetworzenia między serwery doc2xml-server.rb uruchomione w klastrze obliczeniowym Program doc2xml.rb ignoruje opcje inne niż wymienione powyżej, nie raportując żadnego błędu w razie podania innej opcji. Opcje mogą być prefiksowane dowolną liczbą myślników, tzn. zapis -verbose i ---verbose są równie dobre. doc2xml-server.rb Program doc2xml-server.rb pobiera z "przestrzeni krotek" utrzymywanej przez server doc2xmltuplespace.rb zadania - referencje do wejściowych plików orzeczeń - umieszczane tam przez aplikację doc2xml.rb uruchomioną w trybie klient-serwer (tzn. z opcją -use-tuplespace), następnie zaś przy pomocy pakietu LibreOffice wykonuje ich konwersję do wskazanego formatu. Na każdym serwerze backend-owym klastra powinna być uruchomiona jedna instancja doc2xmlserver.rb. Składnia wywołania: ruby -Ku doc2xml-server.rb [-help] [-daemon[ize] [-pidfile=pidfilepath]] [-log[file]=logfile-path] [-properties=properties-file-path] Opcje: Opcja -help Znaczenie powoduje wypisanie na standardowe wyjście tekstu pomocy i zakończenie działania programu 7

8 -daemon lub -daemonize uruchomienie w trybie demona, tzn. programu odłączonego od terminala, działającego niezależnie od sesji użytkownika, który go uruchomił wskazane jest jej użycie razem z opcją -pidfile=... Opcja Znaczenie Wartość domyślna -pidfile=pidfile-path -log=logfile-path lub -logfile=logfile-path - properties=propertiespath ścieżka do pliku, w którym zostanie brak zapisany identyfikator procesu demona ma sens jedynie wraz z opcją -daemon (lub -daemonize) ścieżka do pliku loga, w którym /neurocourt/log/doc2x zapisywane są komunikaty generowane ml-server.log przez pakiet LibreOffice oraz informacje o błędach przetwarzania ścieżka do pliku properties /neurocourt/param/bac kend.properties Properties: Property Znaczenie Wartość domyślna tuplespace.uri URL serwera "przestrzeni krotek" doc2xml-tuplespace.rb druby://localhost:78 78 Program doc2xml-server.rb ignoruje opcje inne niż wymienione powyżej, nie raportując żadnego błędu w razie podania innej opcji. Opcje mogą być prefiksowane dowolną liczbą myślników, tzn. zapis -logfile i ---logfile są równie dobre. doc2xml-tuplespace.rb Program doc2xml-tuplespace.rb jest serwerem "przestrzeni krotek". Przestrzeń krotek jest mechanizmem zapożyczonym z języka Linda, realizującym asynchroniczną komunikację między serwerami (doc2xmlserver.rb) i klientami (doc2xml.rb). Przekazują sobie one poprzez tę przestrzeń referencje do plików wymagających konwersji oraz zwracają wynik konwersji. Pojedyncza instancja programu doc2xml-tuplespace.rb powinna być uruchomiona na serwerze aktualizacji. Składnia wywołania: ruby -Ku doc2xml-tuplespace.rb [-help] [-daemon[ize] [- pidfile=pidfile-path]] [-log[file]=logfile-path] [- properties=properties-file-path] Opcje: Opcja Znaczenie 8

9 -help -daemon lub -daemonize powoduje wypisanie na standardowe wyjście tekstu pomocy i zakończenie działania programu uruchomienie w trybie demona, tzn. programu odłączonego od terminala, działającego niezależnie od sesji użytkownika, który go uruchomił wskazane jest jej użycie razem z opcją -pidfile=... Opcja Znaczenie Wartość domyślna -pidfile=pidfile-path -log=logfile-path lub -logfile=logfile-path - properties=propertiespath ścieżka do pliku, w którym zostanie brak zapisany identyfikator procesu demona ma sens jedynie wraz z opcją -daemon (lub -daemonize) ścieżka do pliku loga, w którym zapisywane są komunikaty błędów ścieżka do pliku properties /neurocourt/log/doc2xm l-tuplespace.log /neurocourt/param/upda te.properties Properties: Property Znaczenie Wartość domyślna tuplespace.uri URL serwera "przestrzeni krotek" doc2xml-tuplespace.rb druby://localhost:7878 Program doc2xml-tuplespace.rb ignoruje opcje inne niż wymienione powyżej, nie raportując żadnego błędu w razie podania innej opcji. Opcje mogą być prefiksowane dowolną liczbą myślników, tzn. zapis -logfile i ---logfile są równie dobre. ncourt-db.py Program ncourt-db.py służy do dodania lub odświeżenia w bazie danych informacji o dokumentach, które zostały zaimportowane i przetworzone. Jest on wywoływany przez program process_case.rb jako ostatni etap przetwarzania (po konwersji plików źródłowych, uzupełnieniu danych w metrykach i anonimizacji orzeczeń). W domyślnym trybie pracy program dodaje/aktualizuje dane tylko dla tych plików w zadanym katalogu wejściowym, które zostały zmodyfikowane od czasu poprzedniej aktualizacji bazy. Katalogiem wejściowym przy każdym wywołaniu jest katalog pojedynczej sprawy, program działa w trybie określonym przez opcję -f, która wymusza przetworzenie wszystkich plików w tym katalogu, niezależnie od daty ich modyfikacji. Składnia wywołania: python ncourt_db.py input_dir courts_file db_name db_user db_password db_host db_port logfile [-c -f] Opcje: 9

10 Opcja Znaczenie -c powoduje, że program usuwa całą zawartość bazy, łącznie z jej strukturą (tabele, sekwencje, indeksy) i tworzy ją od nowa, a dopiero potem dodaje wszystkie dane -f powoduje, że program dodaje/aktualizuje w bazie dane dla wszystkich plików w zadanym katalogu wejściowym, niezależnie od ich daty modyfikacji Parametry: Parametr input_dir courts_file db_name db_user db_password db_host db_port logfile Znaczenie katalog wejściowy z danymi (pliki XML metryk i orzeczeń) plik z danymi sądów (normalnie "/neurocourt/param/courts.xml") nazwa bazy danych (normalnie "ncourt_documents") nazwa użytkownika, której używamy do połączenia z bazą danych (normalnie wartość parametru "document.database.user" z pliku konfiguracyjnego "/neurocourt/param/backend.properties" hasło użytkownika, którego używamy do połączenia z bazą danych (normalnie wartość parametru "document.database.password" z pliku konfiguracyjnego "/neurocourt/param/backend.properties" adres hosta na jakim działa serwer bazodanowy port na jakim działa serwer bazodanowy ścieżka do pliku loga process_case.rb Zadaniem programu process_case.rb jest całościowe przetworzenie plików związanych ze sprawą. Proces ten składa się z dwóch zadań: rozpakowanie archiwów ZIP zawierających pliki zaimportowane z systemu sądowego, przetworzenie rozpakowanych plików. Na zadanie przetworzenia rozpakowanych plików składają się zaś następujące kroki: konwersja plików *.doc, *.docx, *.odt i *.rtf do formatu XML (przy pomocy programu doc2xml.rb), konwersja i uzupełnienie o informacje wydobyte z orzeczeń pliku XML z metryką sprawy (przy pomocy programu build_case_xml.rb), anonimizacja orzeczeń (vide: Anonimizacja xml), dodanie lub odświeżenie informacji w bazie danych (przy pomocy programu ncourt-db.py). Każdy z wyżej wymienionych kroków kończy się ustawieniem odpowiedniego właściciela i praw dostępu dla nowo utworzonych (lub odświeżonych) plików. Składnia wywołania: ruby -Ku process_case.rb [-help] [-verbose -quiet] [-disable-sendmail] [-use-tuplespace] [-force] [-force-anonimization] [-forceupdate-db] [-new-anonimization] [-force-conversion] [- 10

11 log[file]=logfile-path] [-properties=properties-file-path] input-dir... Opcje: Opcja -help -verbose -quiet -disable-send-mail -use-tuplespace -force -force-anonimization -force-update-db -new-anonimization -force-conversion Znaczenie powoduje wypisanie na standardowe wyjście tekstu pomocy i zakończenie działania programu [tryb gadatliwy] włącza wypisywanie na standardowe wyjście komunikatów, zawierających nazwy przetwarzanych oraz wynikowych plików [tryb cichy] wyłącza wypisywanie na standardową diagnostykę komunikatów błędów wyłącza wysyłanie przez powiadomień o zaistniałych błędach i problemach z przetwarzaniem włącza tryb klient-serwer z pośrednikiem doc2xml-tuplespace.rb wymusza wykonanie wszystkich kroków przetwarzania, za wyjątkiem konwersji plików wejściowych do formatu XML bez równoczesnego użycia flagi -force-anonimization wykonuje anonimizację jedynie plików z xflag="crude" wymusza wykonanie anonimizacji, także plików z xflag z wartością inną od "crude" (w tym przypadku plik jest wersjonowany) wymusza wprowadzenie do bazy nowych informacji o plikach (uruchomienie programu ncourt-db.py z opcją -f) opcja przeznaczona specjalnie dla trybu reanonimizacji, po zainstalowaniu nowego silnika anonimizacji [opcja nieujawniona w tekście pomocy] wymusza ponowną konwersję plików wejściowych, a co za tym idzie nadpisanie wszystkich plików watch_sources.rb Składnia wywołania: ruby -Ku watch_sources.rb [-verbose -quiet] [-force] [-daemon[ize]] [- pidfile=pidfile-path] [-interval=seconds(default=600)] database-uri source-dir [output.log [error.log]] Opcje: Opcja -verbose -quiet -force -daemon Znaczenie włącza wypisywanie komunikatów nt. wykonywanych działań wyłącza wypisywanie komunikatów, również tych dotyczących błędów wymusza przetworzenie zadanych katalogów, nawet jeżeli daty modyfikacji uruchomienie w trybie demona systemowego 11

12 -pidfile -interval nazwa pliku, w którym ma zostać umieszczony identyfikator procesu demona parametr mówiący o tym, co ile sekund należy sprawdzić zawartość katalogu z danymi źródłowymi (domyślnie raz na 10 minut) Parametry: Opcja database-uri source-dir output.log error.log Znaczenie URI pomocniczej bazy danych (Sqlite3) katalog w danymi wejściowymi, w którym są umieszczane pliki zaimportowane z systemu repertoryjno-biurowego plik z logiem działania programu; informacje o wykonywanych działaniach kierowane są na standardowe wyjście, jeżeli plik ten nie został określony plik z logiem błędów; jeżeli nie zostanie podany, informacje o błędach zapisywane są do pliku output.log lub kierowane na standardową diagnostykę, jeżeli plik ten nie został określony Dla skryptu tego istnieje również odpowiedni systemowy skrypt startowy o nazwie watch_sources, który musi zostać umieszczony w katalogu /etc/init.d, służący do automatycznego uruchamiania tego demona w trakcie startu systemu, jak również do jego zatrzymywania. 1.3 Programy uczestniczące w aktualizacji danych dla portalu orzeczeń ncourtglobalkeywordssuggestdata.py Program ncourtglobalkeywordssuggestdata.py służy do przygotowania globalnej bazy haseł tematycznych dla usługi Suggest dla opublikowanych orzeczeń. Globalna, oznacza w tym wypadku, że przy budowie tej bazy brane są pod uwagę hasła tematyczne ze wszystkich opublikowanych orzeczeń ze wszystkich sądów. Przygotowuje on plik tekstowy w formacie odpowiednim dla nscopegen, a następnie za pomocą tego programu tworzy właściwą bazę dla suggesta. Ponadto przygotowuje on pliki CSV, w których są informacje o częstotliwości występowania poszczególnych haseł w opublikowanych orzeczeniach. Do jego działania konieczne jest stworzenie wcześniej pliku konfiguracyjnego dla programu nscopegen. Podczas aktualizacji danych robi to program update_publisher.rb, który w odpowiednim momencie wywołuje ncourtglobalkeywordssuggestdata.py. Składnia wywołania python ncourtglobalkeywordssuggestdata.py keywordsdatadir outputdir nscopegendir suggestcfgfile publishedjudgementsaddsfilesdir Parametry: Parametr keywordsdatadirdir outputdir Znaczenie katalog z plikami CSV z wszystkimi hasłami tematycznymi katalog, w którym zostanie utworzony plik z bazą danych dla suggesta haseł tematycznych 12

13 nscopegendir katalog, w którym znajduje się nscopegen suggestcfgfile plik konfiguracyjny dla nscopegen publishedjudgementsaddsfilesdir katalog z plikami 'adds' dla opublikowanych orzeczeń ncourtglobalsuggestdata.py Program ncourtglobalsuggestdata.py służy do przygotowania globalnych baz sygnatur spraw i nazw sędziów dla usługi Suggest dla opublikowanych orzeczeń. Globalna, oznacza w tym wypadku, że przy budowie tej bazy brane są pod uwagę dane ze wszystkich opublikowanych orzeczeń ze wszystkich sądów. Przygotowuje on pliki tekstowe w formacie odpowiednim dla nscopegen, a następnie za pomocą tego programu tworzy właściwe bazy dla suggesta. Do jego działania konieczne jest stworzenie wcześniej plików konfiguracyjnych dla programu nscopegen. Podczas aktualizacji danych robi to program update_publisher.rb, który w odpowiednim momencie wywołuje ncourtglobalsuggestdata.py. Składnia wywołania: python ncourtglobalsuggestdata.py signatures_suggest_cfg judges_suggest_cfg nscopegen_dir output_dir published_data_dir Parametry: Parametr signatures_suggest_cfg judges_suggest_cfg nscopegen_dir output_dir published_data_dir Znaczenie plik konfiguracyjny dla nscopegen do utworzenia bazy suggesta sygnatur plik konfiguracyjny dla nscopegen do utworzenia bazy suggesta sędziów katalog, w którym znajduje się nscopegen katalog, w którym zostaną utworzone plik z bazami danych dla suggesta katalog z plikami XML opublikowanych orzeczeń ncourt-indexer-backend.py Program ncourt-indexer-backend.py dodaje do indeksu dokumentów dla Portalu Orzeczeń te opublikowane przez sądy na danym backendzie. Jest uruchamiany przez program backend-indexer.rb, na każdym backendzie osobno. Dane orzeczeń pobiera z bazy i dodatkowo z plików "adds" (hasła tematyczne i powołane przepisy). Jeśli w bazie brakuje nazwy edytora lub publikatora danego dokumentu próbuje ją pobrać z LDAP. Program sam nie otwiera indeksu przed dodawaniem dokumentów, dostaje on jako parametr token sesji już otwartego indeksu. Składnia wywołania: python ncourt-indexer-backend.py input_dir output_dir nscope_server nscope_token db_name db_user db_password db_host db_port ldap_url ldap_users_base logfile Parametry: 13

14 Parametr input_dir output_dir nscope_server nscope_token Znaczenie katalog z danymi wszystkich zaimportowanych i przetworzonych metryk i orzeczeń katalog z danymi opublikowanych dokumentów adres serwera Neuroscope token sesji otwartego indeksu Neuroscope db_name nazwa bazy danych, z której program pobiera dane opublikowanych orzeczeń db_user db_password db_host db_port ldap_url ldap_users_base logfile nazwa użytkownika, której używamy do połączenia z bazą danych hasło użytkownika, którego używamy do połączenia z bazą danych adres hosta na jakim działa serwer bazodanowy port na jakim działa serwer bazodanowy adres URL LDAP-a część LDAP-a, w której są dane użytkowników ścieżka do pliku loga ncourtkeywordssuggestdata.py Program ncourtkeywordssuggestdata.py służy do przygotowania baz haseł tematycznych dla usługi Suggest. Możemy przygotować bazę dla aplikacji administracyjnej, która jest taka sama dla każdego sądu (zawiera wszystkie możliwe hasła tematyczne) albo bazy suggest haseł tematycznych dla opublikowanych orzeczeń z każdego sądu, które zawierają tylko te hasła, które występują w opublikowanych dokumentach. W tym drugim przypadku zostaną również przygotowane pliki CSV, w których są informacje o częstotliwości występowania poszczególnych haseł w opublikowanych orzeczeniach dla każdego sądu osobno. Do działania programu konieczne jest stworzenie wcześniej pliku konfiguracyjnego dla programu nscopegen, ponieważ to ten program tworzy właściwe bazy na podstawie przygotowanych wcześniej przez ncourtkeywordssuggestdata.py plików tekstowych w odpowiednim formacie. Podczas aktualizacji danych pliki konfiguracyjne dla nscopegen przygotowuje backend_publisher.rb, który następnie wywołuje ncourtkeywordssuggestdata.py. Składnia wywołania: python ncourtglobalkeywordssuggestdata.py keywordsdatadir courtsfile outputdir nscopegendir suggestcfgfile publishedjudgementsaddsfilesdir Parametry: Parametr keywordsdatadirdir courtsfile outputdir Znaczenie katalog z plikami CSV z wszystkimi hasłami tematycznymi plik z danymi sądów (normalnie "/neurocourt/param/courts.xml") katalog, w którym zostanie utworzony plik z bazą danych dla 14

15 nscopegendir suggestcfgfile publishedjudgementsaddsfilesdir suggesta haseł tematycznych katalog, w którym znajduje się nscopegen plik konfiguracyjny dla nscopegen katalog z plikami 'adds' dla opublikowanych orzeczeń ncourt-prepare2index.py Program ncourt-prepare2index.py służy do wstępnego przygotowania danych oznaczonych do publikacji orzeczeń dla programu dodającego je do indeksu bazy danych. Program wykonuje trzy czynności dla dokumentów, które są do publikacji, a nie są obecnie opublikowane - zmienia im w bazie statusy z "TO_PUBLISH" na "PUBLISHED", ustawia im datę publikacji w bazie i w plikach XML zmienia wartość atrybutu "xflag" elementu głównego "xpart" na "published". Składnia wywołania: python ncourt-prepare2index.py db_name db_user db_password db_host db_port logfile Parametry: Parametr db_name db_user db_password db_host db_port Logfile Znaczenie nazwa bazy danych, w której są dane orzeczeń nazwa użytkownika, której używamy do połączenia z bazą danych hasło użytkownika, którego używamy do połączenia z bazą danych adres hosta na jakim działa serwer bazodanowy port na jakim działa serwer bazodanowy ścieżka do pliku loga ncourtsuggestdata.py Program ncourtsuggestdata.py służy do przygotowania baz sygnatur spraw i nazw sędziów dla usługi Suggest. Możemy przygotować bazy dla aplikacji administracyjnej, które dla każdego sądu zawierają wszystkie sygnatury, dla których są w systemie przetworzone dokumenty i wszystkich sędziów występujących w tych dokumentach. Możemy też przygotować bazy dla opublikowanych orzeczeń z każdego sądu, które zawierają tylko sygnatury spraw opublikowanych dokumentów i sędziów, którzy się tam pojawiają. Do działania programu konieczne jest stworzenie wcześniej plików konfiguracyjnych dla programu nscopegen, ponieważ to ten program tworzy właściwe bazy na podstawie przygotowanych wcześniej przez ncourtsuggestdata.py plików tekstowych w odpowiednim formacie. Podczas aktualizacji danych pliki konfiguracyjne dla nscopegen przygotowuje backend_publisher.rb, który następnie wywołuje ncourtsuggestdata.py. Składnia wywołania: python ncourtsuggestdata.py a c db_name db_user db_password db_host db_port signatures_suggest_cfg judges_suggest_cfg nscopegen_dir output_dir 15

16 Opcje: Opcja A C Znaczenie powoduje, że program przygotuje bazy danych suggest dla aplikacji ncourt-admin powoduje, że program przygotuje bazy danych suggest dla aplikacji ncourt-client Parametry: Parametr Znaczenie db_name nazwa bazy danych przetworzonych orzeczeń (normalnie "ncourt_documents") db_user db_password db_host db_port signatures_suggest_cfg judges_suggest_cfg nscopegen_dir output_dir nazwa użytkownika, której używamy do połączenia z bazą danych (normalnie wartość parametru "document.database.user" z pliku konfiguracyjnego "/neurocourt/param/backend.properties" hasło użytkownika, którego używamy do połączenia z bazą danych (normalnie wartość parametru "document.database.password" z pliku konfiguracyjnego "/neurocourt/param/backend.properties" adres hosta na jakim działa serwer bazodanowy port na jakim działa serwer bazodanowy plik konfiguracyjny dla nscopegen do utworzenia baz suggesta sygnatur plik konfiguracyjny dla nscopegen do utworzenia baz suggesta sędziów katalog, w którym znajduje się nscopegen katalog, w którym zostaną utworzone plik z bazami danych dla suggesta Programy odpowiedzialne za wyznaczanie odnośników prawnych i dokumentów podobnych ncourt-features-adder jar Program ncourt-features-adder jar służy do wyszukiwania mocnych cech i odnośników prawnych w treści opublikowanych orzeczeń (pliki -publ.xml). Mocnymi cechami orzeczenia nazywamy występujące w nim frazy, istotne z punktu widzenia tego o czym jest dane orzeczenie. Wszystkie znalezione odnośniki prawne dodawane są do pliku -adds.xml danego orzeczenia. Mocne cechy, jak i najważniejsze linki prawne zapisywane są w pliku -ftrs.xml, który jest tworzony w tym samym katalogu, w którym znajduje się plik z orzeczeniem (-publ.xml). Dodatkowo odnośniki prawne oznaczane są w pliku ze zanonimizowanym orzeczeniem. Mocne cechy jak i linki wyszukiwane są niezależnie w każdym paragrafie xtext w taki sposób, że nie mogą rozciągać się na więcej niż jeden paragraf. Dodatkowo pomijane są tagi xanon. Następnie wszystkie wystąpienia odnośników prawnych znalezione przez plugin Grama zamieniane są na tagi xlexlink: 16

17 <xlexlink xart="numery artykułów, paragrafów" xtitle="tytuł odnośnika" xaddress="adres promulgacyjny" xisapid="identyfikator aktu w Internetowym Systemie Aktów Prawnych"> Treść odnośnika </xlexlink> Składnia wywołania: java -jar ncourt-features-adder jar {-g URL --gram URL} [--indir DIR] [--in-list FILE] [-i FILE --in-file FILE] {-c FILE --conf FILE} [-o FILE --out-file FILE] [-s INT --max-size INT] {-t DIR -- tmp-dir DIR} {-m MODE --mode MODE} {-r DIR --resource-dir DIR} Parametry: Parametry/opcje -g, --gram --in-dir --in-list -i, --in-file Znaczenie adres serwera Gram z uruchomionym pluginem do linkowania (lawlink-plugin) oraz parserem (gram-parser-plugin). katalog z orzeczeniami, do których mają zostać dodane linki prawne. Uruchomienie aplikacji z tą opcję spowoduje, że orzeczenia zostaną nadpisane przez nową wersję posiadającą odnośniki. plik z listą ścieżek do plików "publ", które należy przetworzyć Plik konfiguracyjny. -c, --conf nazwa bazy danych, z której program pobiera dane opublikowanych orzeczeń -o, --out-file -s, --max-size -t, --tmp-dir -m, --mode plik z wynikową treścią orzeczenia. maksymalny rozmiar przetwarzanych plików w megabajtach (domyślnie 10) katalog, w którym aplikacja może zapisywać tymczasowe pliki tryb w jakim ma działać program; dostępne opcje l - dodawanie linków, f - dodawanie mocnych cech dokumentów, a - dodawanie linków i cech 17

18 -r, --resource-dir katalog z danymi do ncourt-similarity-engine Uruchomienie aplikacji z opcjami --in-file i --out-file powoduje przetworzenie jednego pliku w drugi. Bardziej skomplikowana jest opcja --in-dir. Rekursywnie szuka ona we wszystkich podkatalogach dokumentów opublikowanych tzn. takich, których nazwa kończy się na "-publ.xml". Następnie tworzy kopię tymczasową tego pliku (w katalogu podanym przy opcji tmp-dir), dodaje do niej linki prawne i jeżeli wszystko pójdzie dobrze - nadpisuje wersję oryginalną. Plik konfiguracyjny musi mieć następujące pola: #identyfikatory parserów z frazami używanymi do liczenia podobieństwa dokumentów gram.parser.groupid.similarity = "SimilarityPhrases" gram.parser.groupid.guessedthemes = "SimilarityPhrasesOrzeczenia" similarity-xml jar Program similarity-xml jar wykorzystywany jest do znajdowania dokumentów podobnych do zadanego. Dokumenty podobne wyznaczane są w oparciu o mocne cechy i linki prawne wygenerowane przez program ncourt-features-adder. Program do działania potrzebuje dostępu do bazy, w której znajdują się cechy dokumentów. Bazę tworzy skrypt similardocsdatagenerator.py Działanie programu podzielone jest na cztery etapy: - dla każdego dokumentu o podanym identyfikatorze wyznaczone są dokumenty podobne - dokumenty podobne zapisywane są w pliku -docs.xml obok pliku -adds.xml w katalogu data.path podanym w pliku konfiguracyjnym - wyliczane są dokumenty podobne również dla dokumentów, które wyznaczone zostały jako "podobne" do podanych - do pliku out-file wypisane zostaną identyfikatory dokumentów podobnych Składnia wywołania: java -jar similarity-xml jar {-i FILE --in-list FILE} {-o FILE - -out-file FILE} {-c FILE --conf FILE} Parametry: Parametry Znaczenie 18

19 -i, --in-list -o, --out-file -c, --conf plik z identyfikatorami dokumentów, dla których należy wyznaczyć dokumenty podobne. Kolejne identyfikatory zapisane są w nowych liniach. Zatem taki plik będzie miał postać: (...) _III_RC_000262_2012_Uz_ _ _I_Ns_000439_2009_Uz_ _ _I_C_000006_2013_Uz_ _001 (...) Nazwa pliku wynikowego. Zapisane zostaną w nim informacje o identyfikatorach wyznaczonych dokumentów podobnych. Plik taki będzie miał postać: (...) _III_RC_000262_2012_Uz_ _001: simid1 simid2 simid _I_Ns_000439_2009_Uz_ _001: simid1 simid2 simid _I_C_000006_2013_Uz_ _001: simid1 simid2 simid3... (...) plik konfiguracyjny Plik konfiguracyjny musi mieć następujące pola: similar-documents.database.url = adres bazy z cechami dokumentów similar-documents.database.user = nazwa użytkownika do tej bazy similar-documents.database.password = hasło do tej bazy data.path = katalog z danymi gram.server = adres grama similardocsdatagenerator.py Skrypt similardocsdatagenerator.py wykonuje operacje związane ze wstawianiem i aktualizacją danych w bazie dokumentów podobnych. Składnia wywołania: 19

20 python similardocsdatagenerator.py input_dir db_name db_user db_password db_host db_port logfile mode docs_to_update_file [last_update_file [unpublished_docs_dir]] Parametry/opcje input_dir db_name db_user db_password db_host db_port logfile mode Znaczenie katalog z plikami wejściowymi XML zawierającymi cechy dokumentów (pliki "ftrs") nazwa bazy danych nazwa użytkownika bazy danych hasło użytkownika bazy danych adres hosta na jakim działa serwer bazodanowy port na jakim działa serwer bazodanowy ścieżka do pliku loga tryb pracy programu. Dostępne opcje: i - inicjalizacja cech, czyli wypełnienie pustej tabeli z cechami ("features") w bazie i przygotowanie listy dokumentów, dla których trzeba zaktualizować dokumenty podobne d - aktualizacja cech i cześciowo dokumentów w bazie i przygotowanie listy dokumentów, dla których trzeba zaktualizować dokumenty podobne u - aktualizacja dokumentów podobnych w bazie (tabela "docs") na podstawie danych dostarczonych przez zewnętrzny program docs_to_update_file last_update_file unpublished_docs_dir plik wyjściowy, w którym zapisane są dokumenty, dla których program zewnętrzny ma wyliczyć dokumenty podobne (tryb "i" oraz "d") albo plik wejściowy, z danymi dokumentów podobnych wyliczonych przez program zewnętrzny (tryb "u") ścieżka do pliku z datą ostatniej aktualizacji (tryb 'i' oraz 'd') katalog zawierający pliki tekstowe przechowujące listy dokumentów, które zostały wycofane z publikacji (jeden plik na apelację) 20

21 2. Aplikacja webowa Panel administracyjny (Manager) Aplikacja webowa do interaktywnej kontroli wyniku anonimizacji orzeczeń sądowych. Istnieje 11 instancji aplikacji działających dla każdej z apelacji oddzielnie. Pula użytkowników oraz orzeczeń jest odrębna na poziomie każdego sądu. Komunikacja pomiędzy użytkownikami końcowymi a serwerem jest szyfrowana za pomocą protokołu SSL. Logowanie do systemu: 21

22 Zakładka Szukanie: Formularz wyszukiwania zawiera następujące kryteria: sygnatura typ: dowolny wyrok wyrok wstępny postanowienie uzasadnienie zarządzenie protokół doręczenie zawiadomienie wezwanie inny status: dowolny do sprawdzenia trwa sprawdzanie sprawdzony 22

23 do publikacji opublikowany sad wydział data orzeczenia (data wydania do, do wraz z podręcznym kalendarzem) data publikacji (data wydania do, do wraz z podręcznym kalendarzem) sędzia tezowane [tak nie wszystkie] użytkownik [ja wszyscy] wyświetl niepublikowane [tak nie] Wyniki wyszukiwania prezentują listę dokumentów wraz z ich typem i statusem. 23

24 Zakładka Statystyki Zakładka Reguły anonimizacji Zawiera zestaw jednolitych reguł anonimizacji, którymi kieruje się oprogramowanie anonimizacyjne oraz użytkownicy weryfikujący proces automatycznej anonizmizacji. 24

25 Zakładka Wsparcie Zakładka Wsparcie zawiera dane kontaktowe do wsparcia technicznego, prawnego oraz konsultacji w zakresie anonimizacji dla Użytkownika Końcowego. Ponadto jest to miejsce na instrukcje użytkownika. 25

26 Zakładka Użytkownicy (widoczna dla użytkownika Administrator) Zakładka Administrator pozwala na zarządzanie użytkownikami. Możliwa jest automatyzacja tworzenia kont użytkowników za pomocą odpowiednio sformatowanego pliku CSV. 26

27 Tworzenie nowego użytkownika: Administrator w danym sądzie może zakładać konta użytkowników przydzielając im dostęp do jednego lub więcej wydziału macierzystego sądu. Rozróżniamy trzy typy uprawnień: 1. administrator (może edytować orzeczenia, może publikować orzeczenia, zarządzać użytkownikami) 2. osoba publikująca orzeczenia (może publikować orzeczenia) 3. edytor orzeczeń (może edytować orzeczenia) Administrator może również w dowolnym zakresie edytować konta użytkowników i usuwać konta. 27

28 Zakładka Użytkownicy (widoczna dla użytkownika Administrator) Zakładka Logi umożliwa śledzenie zdarzeń systemowych wg następujących kryteriów: Dokumenty o Rodzaj aktywności Rozpoczęcie sprawdzania Rezygnacja ze sprawdzania Ponowne sprawdzenie Zakończenie sprawdzania Przesładnie do publikacji Wycofanie z publikacji Wycofanie zmian Utajnienie Odtajnienie Inna czynność o Sygnatura Użytkownicy o Rodzaj aktywności Dodanie Usunięcie Edycja Inna czynność o Podmiot 28

29 Metryka Orzeczenia Część informacji takich znajdujących się w metryce musi zostać uzupełniona przez użytkownika, pozostałe zostały automatycznie zaimportowane wraz z dokumentem lub pobrane z jego treści. Hasła tematyczne ograniczone są do słownika haseł tematycznych. 29

30 Sprawdzanie anonimizacji Dostępne są trzy tryby wyświetlania: 1. rozszerzony - wyświetla wyróżniony oryginalny tekst jak i zanonimizowany 2. zanonimizowany - wyświetla wyłącznie wyróżniony zanonimizowany tekst 3. publiczny - wyświetla zanonimizowany tekst bez wyróżnienia Wyróżnione kolorem żółtym elementy są efektem działania dodatku do automatycznej anonimizacji oraz dodatku do podświetlania wybranych haseł w tekstach będących częścią Oprogramowania Dedykowanego. Użytkownik może w każdej chwili przerwać sprawdzanie/poprawianie anonimizacji powracając do listy wyszukiwania, może anulować sprawdzanie co spowoduje powrót dokumentu do wersji pierwotne, może również zatwierdzić sprawdzanie. Zatwierdzony dokument może zostać opublikowany w Internecie. 30

31 Usuwanie anonimizacji Użytkownik może usunąć anonimizację jeżeli uważa, że jest to konieczne używając menu kontekstowego. Opcja Usuń anonimizację usunie tylko aktualnie zaznaczony element, Usuń wszystkie takie... spowoduje usunięcie wszystkich takich bytów z całego tekstu natomiast Zamień wszystkie takie... wyświetli listę zamienników na jakie w tym wypadku imię i nazwisko powinno zostać zamienione w całej treści orzeczenia. Dodawanie anonimizacji Aby zanonimizować tekst, użytkownik zaznacza fragment treści i używając menu kontekstowego decyduje w jaki sposób powinien zostać zastąpiona zaznaczony tekst, jeżeli użyje opcji Utwórz wszystkie takie... wszystkie byty identyczne z zaznaczonym w całym dokumencie zostaną zastąpione na wybrane przez użytkownika zestawy znaków. 3. Aplikacja webowa Portal Orzeczeń (Publisher) Aplikacja webowa dostępna przez Biuletyn Informacji Publicznej sądów posiadających Portal Orzeczeń oraz pod adresem 31

32 Aplikacja umożliwia pełnotekstowe wyszukiwanie za pomocą słów kluczowych oraz sygnatury sprawy wraz z wbudowanym korektorem zapytań i generatorem natychmiastowych podpowiedzi. Wyświetla interaktywną mapę apelacji wraz z wyszczególnieniem publikujących sądów oraz rozwijane drzewo sądów, w których uruchomiony został Portal Orzeczeń wraz z ilością opublikowanych dokumentów. 32

33 Wyszukiwanie zaawansowane pozwala na zawężenie wyników wyszukiwania względem zastosowanych kryteriów. 33

34 Drzego haseł tematycznych przypisanych do orzeczeń z podziałem na Karne oraz Cywilne, pracy i ubezpieczeń społecznych. Wybór hasła tematycznego powoduje wyświetlenie wszystkich orzeczeń do niego przypisanych. 34

35 35

36 Metryka orzeczenia Treść wyroku wraz z uzasadnieniem. Możliwe jest wydrukowanie dokumentu oraz eksport do formatu PDF. Jeżeli w treści przywołane zostały akty prawne, zostają one automatycznie podlinkowane do właściwej ustawy w Internetowym Systemie Aktów Prawnych. 36

37 Wszystkie przywołane w treści akty zebrane są w zakładce Powołane przepisy. 37

38 Orzeczenia o podobnej treści zebrane są w zakładce Orzeczenia podobne. 38

39 Zakładka Kanały RSS umożliwia pobranie nagłówków orzeczeń dla czytników RSS. Tytuł zawiera ma nazwę sądu oraz sygnaturę sprawy, której dotyczy orzeczenie, opis zawiera zalążek treści orzeczenia, autorem jest publikujący sąd. Udostępnione kanały RSS dotyczą wszystkich orzeczeń publikowanych na stronie orzeczenia.ms.gov.pl oraz oddzielnie publikowanychdla każdego sądu z osobna jak również dla każdego hasła tematycznego. 4. Aplikacja webowa Panel do weryfikacji orzeczeń (Verifier) 39

40 Alikacja webowa umożliwia zalogowanie, administrację użytkownikami, wyświetlanie listy opublikowanych orzeczeń, filtrowanie i sortowanie listy, wyświetlanie treści orzeczenia, możliwość zgłaszania uwag (błędów, poprawek) do fragmentu tekstu orzeczenia i wysyłania ich na adres właściwego wydziału sądu. System wyróżnia dwa rodzaje użytkowników: administrator, użytkownik. Administrator posiada możliwość dodawania, edycji oraz usuwania użytkowników. Administrator może wygenerować nowych użytkowników za pomocą załadowania pliku CSV z odpowiednio sformatowaną zawartością. Administrator ma możliwość edycji adresu każdego wydziału publikującego orzeczenia poprzez filtr sądu i wydziału. Użytkownik widzi zakładki: szukanie, reguły anonimizacji (odpowiada tej same zakładce w panelu administracyjnym), wsparcie (odpowiada tej same zakładce w panelu administracyjnym), mój profil (wyświetla dane użytkownika, umożliwia zmianę hasła). Zakładka szukanie wyświetla domyślnie formularz wyszukiwania oraz listę orzeczeń do weryfikacji wraz z ilością stron orzeczenia. Lista zawiera wszystkie orzeczenia, które zostały opublikowane na Portalu Orzeczeń. Formularz wyszukiwania zawiera kryteria: sygnatura, status [zweryfikowany niezweryfikowany trwa weryfikacja], sąd (wszystkie dostępne sądy), wydział (o ile zostanie wybrany sąd, zawiera listę wydziałów). Lista wyników wyszukiwania zawiera link do treści orzeczenia złożony z sygnatury, sądu oraz daty orzeczenia, typ dokumentu, status (zweryfikowany, niezweryfikowany, trwa weryfikacja) oraz adnotację [dokument nie był jeszcze weryfikowany zweryfikowany przez użytkownik]. Lista może być sortowana rosnąco i malejąco po sygnaturze, statusie oraz dacie publikacji orzeczenia. Lista przy każdej pozycji zawiera przycisk Weryfikuj dla orzeczeni niezweryfikowanych, Weryfikuj ponownie dla orzeczeń zweryfikowanych oraz Kontynuuj weryfikację dla orzeczeń w trakcie weryfikacji. Weryfikacja poprawności publikacji orzeczenia polega na wyświetleniu treści orzeczenia i możliwości 40

41 zgłoszenia uwag do jego fragmentu. Zaznaczenie co najmniej jednego znaku w treści i użycie prawego przycisku mysz powoduje wyświetleniu menu kontekstowego z elementem Zgłoś uwagę, po użyciu którego wyświetlone zostaje okno z formularzem. Zaznaczony fragment zostaje zacytowany, poniżej znajduje się pole edycyjne do wprowadzenia uwag (pole obowiązkowe). Przycisk wyślij powoduje przesłanie zacytowanego fragmentu wraz z uwagami sprawdzającego na adres wydziału sądu, który opublikował dane orzeczenie. Wiadomość zawiera także dane podstawowe dane orzeczenia - sygnaturę, wydział, sąd, data wydania. Istnieje możliwość edycji szablonu wiadomości z uwagami. Weryfikację można zakończyć przy użyciu przycisku Zatwierdź co powoduje zmianę statusu orzeczenia na zweryfikowane. Można również przerwać weryfikację używając przycisku Powrót co spowoduje zmianę statusu orzeczenia na trwa weryfikacja. Jednoczesna weryfikacja jednego orzeczenia przez dwóch różnych użytkowników nie jest możliwa. Połączenie z przeglądarką użytkownika jest szyfrowane. 5. API interfejs pobierania danych API umożliwienia udostępnianie opublikowanych orzeczeń wraz z uzasadnieniami na żądanie użytkownika. API oparte jest na wzorcu architektury programowania REST i opiera się na wymianie informacji za pomocą protokołu HTTP. Treść orzeczeń udostępniania jest w formacie XML. 6. Importer 6.1 Wstęp Zadaniem oprogramowania służącego do importu danych do Portalu Orzeczeń jest pobieranie dokumentów orzeczeń sądów powszechnych wraz z metadanymi z sądu do infrastruktury centralnej. Pobierane mają być wyłącznie orzeczenia wskazane przez pracownika sądu do publikacji. Dane te są w kolejnych etapach przetwarzane i prezentowane w panelu administracyjnym. Z uwagi na wykorzystywanie różnych systemów repertoryjno-biurowych w sądach (SAWA, Sędzia2, Praetor) istnieją trzy różne importery danych. 6.2 Źródło danych Źródłem pobieranych danych są bazy MS SQL programów repertoryjno-biurowych SAWA, Sędzia2 oraz Praetor zainstalowane w sądach. Metadane orzeczeń pobierane są z tych samych baz i dotyczą samej sprawy (sąd, wydział, sygnatura, itp.), stron w sprawie, przedmiotu sprawy, składu sędziowskiego, protokolanta, orzeczeń powiązanych ze sprawą i ich dat prawomocności. 6.3 Format danych wyjściowych Program importujący dane zapisuje metadane orzeczeń w pliku xml, natomiast treści orzeczeń w formacie, w jakim zapisane są w bazie. Mogą to być pliki w formacie doc, docx, odt lub rtf, dodatkowo dokumenty w formacie doc mogą być przechowywane w bazie w formie skompresowanego archiwum zip. Moduł zapisujący decyduje na podstawie nagłówka pliku o tym w jakim formacie ma zostać zapisany. W sytuacji, gdy niemożliwym jest określenie formatu pliku, jest on zapisywany w pliku z rozszerzeniem unknown. Nazewnictwo plików: metadane orzeczenia: przykład: _II_Ca_000136_2013 dokument orzeczenia: przykład: _II_Ca_000136_2013_Uz_ _001 41