Nowy System KPI. Prezes Urzędu Komunikacji Elektronicznej



Podobne dokumenty
Wykaz wskaźników NSKPI potwierdzony i ustalony z UKE w ramach prac nad Nowym Systemem KPI

Komentarze do KPI. KPI 11 - Terminowość udzielania odpowiedzi na zamówienie ROI Terminowość 99,87%.

Analiza kwartalnego raportu KPI, Q r. Warszawa, 14 września 2010

Karta równoważności Warszawa, 30 Marca 2009

Prezentacja wskaźnik usług ug hurtowych i detalicznych. Wrzesień 2008

Warszawa, 21 stycznia 2010 r. Proces TTM Hurt

KPI 60 - Sprawność realizacji procesu dostarczania usług szerokopasmowych (BSA) o najwyŝszej przepustowości 66,67% 75,56%

Kontekstowe wskaźniki efektywności nauczania - warsztaty

PARAMETRY JAKOŚCIOWE USŁUG WSKAŹNIKI KPI

EWD EDUKACYJNA WARTOŚĆ DODANA

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

SYSTEM KPI W SIECI SSPW WWM

URZĄD KOMUNIKACJI ELEKTRONICZNEJ

Raport o penetracji rynku telefonii ruchomej w Polsce

Testowanie hipotez. Marcin Zajenkowski. Marcin Zajenkowski () Testowanie hipotez 1 / 25

Wydział Matematyki. Testy zgodności. Wykład 03

RAPORT WSKAŹNIK EDUKACYJNEJ WARTOŚCI DODANEJ PO EGZAMINIE GIMNAZJALNYM W ROKU SZKOLNYM 2012/2013

KOMISJA EUROPEJSKA. Bruksela, dnia r. C(2015) 4176 final

LABORATORIUM 8 WERYFIKACJA HIPOTEZ STATYSTYCZNYCH PARAMETRYCZNE TESTY ISTOTNOŚCI

Szczegółowy program kursu Statystyka z programem Excel (30 godzin lekcyjnych zajęć)

Jak sprawdzić normalność rozkładu w teście dla prób zależnych?

Podstawowe definicje statystyczne

Analiza wariancji - ANOVA

VI WYKŁAD STATYSTYKA. 9/04/2014 B8 sala 0.10B Godz. 15:15

Analiza praktyk zarządczych i ich efektów w zakładach opieki zdrowotnej Województwa Opolskiego ROK 2008 STRESZCZENIE.

Testowanie hipotez statystycznych. Wnioskowanie statystyczne

WNIOSKOWANIE STATYSTYCZNE

EDUKACYJNA WARTOŚĆ DODANA

Testy nieparametryczne

166 Wstęp do statystyki matematycznej

Szczegółowy program kursu Statystyka z programem Excel (30 godzin lekcyjnych zajęć)

Testowanie hipotez statystycznych.

3. Modele tendencji czasowej w prognozowaniu

Analiza sezonowości. Sezonowość może mieć charakter addytywny lub multiplikatywny

Wykład 4: Statystyki opisowe (część 1)

LABORATORIUM 8 WERYFIKACJA HIPOTEZ STATYSTYCZNYCH PARAMETRYCZNE TESTY ISTOTNOŚCI

OFERTA RAMOWA. Łódź, 11 kwietnia 2013 r.

Analiza wariancji. dr Janusz Górczyński

ANALIZA WYNIKÓW NAUCZANIA W GIMNAZJUM NR 3 Z ZASTOSOWANIEM KALKULATORA EWD 100 ROK 2012

TTM Nemo nowe synchronizacje usług szerokopasmowych. Warszawa, r.

Statystyka matematyczna i ekonometria

Walidacja metod analitycznych Raport z walidacji

Statystyka matematyczna i ekonometria

Populacja generalna (zbiorowość generalna) zbiór obejmujący wszystkie elementy będące przedmiotem badań Próba (podzbiór zbiorowości generalnej) część

STATYSTYKA MATEMATYCZNA WYKŁAD 4. WERYFIKACJA HIPOTEZ PARAMETRYCZNYCH X - cecha populacji, θ parametr rozkładu cechy X.

Z powaŝaniem, Telekomunikacja Polska Zespół Raportowania KPI 23 kwietnia 2010

Statystyka. Rozkład prawdopodobieństwa Testowanie hipotez. Wykład III ( )

Obowiązki nakładane na przedsiębiorców o pozycji znaczącej. Rzecz o terapii. cbke.prawo.uni.wroc.pl

Statystyka matematyczna dla leśników

Wprowadzenie do analizy korelacji i regresji

RÓWNOWAŻNOŚĆ METOD BADAWCZYCH

Porównywanie populacji

TESTY NIEPARAMETRYCZNE. 1. Testy równości średnich bez założenia normalności rozkładu zmiennych: Manna-Whitney a i Kruskala-Wallisa.

Statystyka. #5 Testowanie hipotez statystycznych. Aneta Dzik-Walczak Małgorzata Kalbarczyk-Stęclik. rok akademicki 2016/ / 28

ANALIZA WYNIKÓW NAUCZANIA W GIMNAZJUM NR 3 Z ZASTOSOWANIEM KALKULATORA EWD 100 ROK 2013

Podstawowe finansowe wskaźniki KPI

Weryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1

Statystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd.

Zadania ze statystyki cz. 8 I rok socjologii. Zadanie 1.

Wykład 5: Statystyki opisowe (część 2)

Analiza wyników egzaminacyjnych 2013

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Dlaczego należy uwzględniać zarówno wynik maturalny jak i wskaźnik EWD?

Copyright by Wydawnictwo Naukowe Scholar, Warszawa 2000, 2008

Weryfikacja hipotez statystycznych

KPI 60 - Sprawność realizacji procesu dostarczania usług szerokopasmowych (BSA) o najwyŝszej przepustowości 76,67% 100,00%

Stanisław Cichocki. Natalia Nehrebecka. Wykład 9

Wyniki badań reprezentatywnych są zawsze stwierdzeniami hipotetycznymi, o określonych granicach niepewności

1.1 CHARAKTERYSTYKA USŁUGI ORAZ OSOBY ODPOWIEDZIALNE IMIĘ I NAZWISKO STANOWISKO IMIĘ I NAZWISKO IMIĘ I NAZWISKO STANOWISKO. DZIAŁ nr 1.

Porównanie wyników grupy w odniesieniu do norm Test t dla jednej próby

Zmienność wiatru w okresie wieloletnim

LABORATORIUM 9 WERYFIKACJA HIPOTEZ STATYSTYCZNYCH PARAMETRYCZNE TESTY ISTOTNOŚCI

Na poprzednim wykładzie omówiliśmy podstawowe zagadnienia. związane z badaniem dynami zjawisk. Dzisiaj dokładniej zagłębimy

ODRZUCANIE WYNIKÓW POJEDYNCZYCH POMIARÓW

Porozumienie Prezes UKE TP i jego skutki inwestycyjne. Anna Streżyńska, Prezes Urzędu Komunikacji Elektronicznej. Warszawa,

Statystyka i Analiza Danych

PDF created with FinePrint pdffactory Pro trial version

Informacje, o których mowa w art. 110w ust. 4 u.o.i.f., tj.:

Błędy przy testowaniu hipotez statystycznych. Decyzja H 0 jest prawdziwa H 0 jest faszywa

U W A G I Polskiej Izby Informatyki i Telekomunikacji [PIIT] do propozycji zmian do procedury testu MS/PS

Teoria błędów. Wszystkie wartości wielkości fizycznych obarczone są pewnym błędem.

W kolejnym kroku należy ustalić liczbę przedziałów k. W tym celu należy wykorzystać jeden ze wzorów:

Idea. θ = θ 0, Hipoteza statystyczna Obszary krytyczne Błąd pierwszego i drugiego rodzaju p-wartość

Statystyka. Wykład 4. Magdalena Alama-Bućko. 19 marca Magdalena Alama-Bućko Statystyka 19 marca / 33

Zmienne zależne i niezależne

Analiza cen usług stacjonarnego dostępu do Internetu w Polsce

Hipotezy statystyczne

Dopasowywanie modelu do danych

Optymalizacja parametrów w strategiach inwestycyjnych dla event-driven tradingu dla odczytu Australia Employment Change

Statystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd.

Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski

STATYSTYKA - PRZYKŁADOWE ZADANIA EGZAMINACYJNE

ZS 14 Rok szkolny 2013/2014

Charakterystyki liczbowe (estymatory i parametry), które pozwalają opisać właściwości rozkładu badanej cechy (zmiennej)

STATYSTYKA MATEMATYCZNA WYKŁAD 4. Testowanie hipotez Estymacja parametrów

SYSTEM KPI W SIECI SSPW WM

Test wskaźnika C/Z (P/E)

ŚLĄSKIE TECHNICZNE ZAKŁADY NAUKOWE EDUKACYJNA WARTOŚĆ DODANA

P: Czy studiujący i niestudiujący preferują inne sklepy internetowe?

STATYSTYKA I DOŚWIADCZALNICTWO. Wykład 2

Transkrypt:

Nowy System KPI Prezes Urzędu Komunikacji Elektronicznej Warszawa, styczeń 2014

Spis treści: 1. Porozumienie TP - UKE, system wskaźników KPI... 3 2. Nowy System KPI - założenia systemu... 3 2.1 Ocena poziomu jakości świadczenia usług... 5 2.2 Ocena niedyskryminacji, ocena krótko i długookresowa opis stosowanych testów statystycznych... 6 2.3 Ocena niedyskryminacji interpretacja wyników testów niedyskryminacji... 9 3. Pozostałe analizy w zakresie Nowego Systemu KPI...10 4. Informacje dodatkowe dotyczące Nowego Systemu KPI...11 2 S t r o n a

1. Porozumienie TP - UKE, system wskaźników KPI Podpisane 22 października 2009 roku Porozumienie pomiędzy Telekomunikacją Polską S.A. a Prezesem UKE stanowiło zobowiązanie operatora zasiedziałego do podjęcia szeregu działań mających na celu poprawę współpracy pomiędzy TP a operatorami alternatywnymi, zapewnienie stabilnych i przewidywalnych warunków funkcjonowania rynku telekomunikacyjnego w Polsce, a także podjęcie inwestycji w nowoczesną infrastrukturę telekomunikacyjną. Na mocy porozumienia, TP zobowiązała się do prawidłowego wykonywania wszystkich nałożonych na nią obowiązków regulacyjnych. Najważniejszą jednak deklaracją ze strony operatora zasiedziałego było zapewnienie o przestrzeganiu zasady niedyskryminacji względem operatorów alternatywnych, własnego przedsiębiorstwa (części detalicznej) oraz spółek zależnych (w szczególności względem PTK Centertel). W szczególności poziom obsługi operatorów alternatywnych mierzony jest wskaźnikami KPI, które stanowią zespół kluczowych indeksów pokazujących jakość realizacji procesów biznesowych przez część hurtową TP świadczonych na rzecz operatorów alternatywnych (Porozumienie TP-UKE) Na potrzeby mierzenia poziomu obsługi operatorów alternatywnych przez TP oraz realizacji zasady niedyskryminacji został opracowany system KPI, który działał od początku trwania Porozumienia. Jednakże obserwacja hurtowego rynku telekomunikacyjnego pokazywała, że zachodzą na nim dynamiczne zmiany, które musiały znaleźć odzwierciedlenie w systemie KPI. W związku z tym po dwóch latach obowiązywania Porozumienia nastąpił przegląd systemu KPI. Efektem prac Zespołu TP i UKE było przygotowanie nowego systemu KPI, który zaczął formalnie funkcjonować od grudnia 2011 roku. Wyniki z systemu raportowane są w cyklach miesięcznych (dla rynku) i kwartalnych dla UKE i stanowią niepowtarzalne źródło informacji dla Regulatora oraz otoczenia biznesowego na temat jakości świadczonych usług hurtowych przez TP oraz przestrzeganiu zasady niedyskryminacji. 2. Nowy System KPI - założenia systemu Lista wskaźników w Nowym Systemie KPI (NSKPI) została wypracowana wspólnie przez TP, przy ścisłej współpracy z UKE. NSKPI obejmuje wszystkie Oferty Regulowane. W systemie wyróżnionych zostało 36 wskaźników taktycznych oraz 30 wskaźników dodatkowych, zgrupowanych według poszczególnych usług, których one dotyczą (WLR, BSA, LLU, LL, ROI, itd.). Wskaźniki dodatkowe wprowadzono dla wybranych wskaźników taktycznych celem uszczegółowienia dziedziny zdarzeń, pomiarów oraz dokładniejszego monitoringu. Wśród wskaźników w NSKPI znajdują się wskaźniki mierzące m.in. terminowość realizacji usług, poziomy awarii oraz czas ich naprawy. Kalkulacja wskaźników efektywności służy kontroli oraz monitorowaniu w czasie stopnia realizacji celów biznesowych określonych przez poziomy referencyjne wyznaczane dla wskaźników taktycznych. W Nowym Systemie wskaźniki zostały przeprojektowane w taki sposób, aby każdy proces mógł być opomiarowany dla strony hurtowej (dla operatorów alternatywnych Hurtu TP) oraz dla części detalicznej - Detalu TP, dzięki czemu możliwe jest dokonanie rzetelnej oceny niedyskryminacji. Dla każdego wskaźnika opracowana jest szczegółowa metryka zawierająca podstawowe informacje, między innymi: definicję wskaźnika, procesy i typy usług objęte opomiarowaniem, 3 S t r o n a

algorytm i szczegółowe wytyczne do kalkulacji, różnice (jeśli występują) w sposobie wyliczenia lub w przebiegu procesu dla Detalu TP i Hurtu TP, dodatkowe informacje o częstotliwości raportowania wyników, informacje o tym czy wskaźnik podlega porównaniu w ocenie niedyskryminacji, dla niektórych wskaźników dołączone są do metryki załączniki systemowe lub załączniki z kodami wyjścia/odrzutu. Nowy System zakłada ocenę wyników KPI w dwóch wymiarach: poprzez ocenę poziomu jakości świadczonych usług na rzecz Hurtu TP i Detalu TP oraz poprzez ocenę niedyskryminacji Hurtu TP względem Detalu TP. Graficzna ocena wyników KPI dla danego okresu przedstawiona jest za pomocą tzw. sygnalizacji świetlnej. Światło zielone oznacza: w ocenie poziomu jakości świadczonych usług poziom jakości wykonania usługi osiąga dopuszczalną wartość, w ocenie niedyskryminacji (równoważności wydajności procesów) nie występują przesłanki do istnienia dyskryminacji w poziomie obsługi Hurtu TP względem Detalu TP, światło czerwone zaś: w ocenie poziomu jakości świadczonych usług poziom jakości wykonania usługi spadł poniżej dopuszczalnego minimum, w ocenie niedyskryminacji (równoważności wydajności procesów) - występują przesłanki do istnienia dyskryminacji w poziomie obsługi Hurtu TP względem Detalu TP. Zestawienie wszystkich wskaźników w Nowym Systemie KPI w podziale na grupy usługowe wraz z informacją o poziomie referencyjnym 1, startowym 2 i tolerancji (dopuszczalnym odchyleniu) 3 w ocenie poziomu jakości świadczenia usług oraz ze wskazaniem czy dany wskaźnik podlega ocenie w pomiarze niedyskryminacji względem Detalu TP zawiera załącznik nr 1. 1 Wartość referencyjna to wartość do którego powinno dążyć wykonanie dla danego KPI, ustalona najczęściej na podstawie danych historycznych; 2 W przypadku wskaźników, które w założeniu charakteryzują się trendem to najmniejsza dopuszczalna wartość ; 3 W przypadku wskaźników, których wartości mają tendencję do losowej oscylacji, przyjęto pewną wartość tolerancji, która definiowana jest jako największe dopuszczalne odchylenie od wartości referencyjnej. 4 S t r o n a

Nowy System KPI jest systemem otwartym, który ewoluuje wraz ze zmianami na rynku i zmianami w usługach i procesach. 2.1 Ocena poziomu jakości świadczenia usług Na potrzeby monitorowania poziomu jakości świadczenia usług przez TP, dla każdego wskaźnika taktycznego, zostały wyznaczone wartości referencyjne, bazujące na danych historycznych. Dodatkowo dla niektórych wskaźników KPI założono akceptowalny maksymalny poziom odchylenia od poziomu referencyjnego w postaci wartości startowej lub wartości tolerancji. W przypadku wskaźników, które w założeniu charakteryzują się trendem, najmniejszą dopuszczalną wartość wskaźnika określa wartość startowa. Z kolei w przypadku wskaźników, których wartości mają tendencję do losowej oscylacji, przyjęto pewną wartość tolerancji, która definiowana jest jako największe dopuszczalne odchylenie od wartości referencyjnej. Takie podejście do ustalenia poziomów wykonania wskaźników efektywności jest zdecydowanie bardziej elastyczne (także w związku z możliwością wprowadzania zmian w wartościach poziomów odniesienia wraz ze zmianami w procesach biznesowych opisywanych przez dany wskaźnik, w czasie) w stosunku do starego systemu KPI, gdzie przyjęto, że wskaźniki mają przyjmować wartość 100% bądź 0, bez względu na zmiany zachodzące w otoczeniu biznesowym. Wśród raportowanych wskaźników występują stymulanty i destymulanty. Stymulanty to wskaźniki, których pożądana wartość jest jak najwyższa (najczęściej 100%). Destymulanty to wskaźniki, których pożądana wartość jest jak najniższa (najczęściej 0,00). Jeśli wynik KPI za analizowany okres utrzymuje się na dopuszczalnym poziomie, ocena jego wykonania jest pozytywna i zapala się światło zielone; w przeciwnym razie zapali się światło czerwone. Światło szare oznacza natomiast, że w danym okresie nie wystąpiły zdarzenia opisywane przez wskaźnik, bądź strony uzgodniły czasowe wyłączenie wskaźnika z oceny. Poniżej przykład (dane nierzeczywiste). Dla KPI 1, dla którego poziom referencyjny wynosi 100%, a maksymalne dopuszczalne odchylenie 0,5 p.p. Wyniki KPI Kod KPI Nazwa KPI styczeń luty marzec KPI 1 Terminowość usługi A 99,80% 100,00% 99,30% 5 S t r o n a

Wynik dla KPI 1 w styczniu wprawdzie nie osiągnął poziomu referencyjnego, ale nie przekroczył maksymalnego dopuszczalnego odchylenia (w tym przypadku 0,5 p.p.), w lutym osiągnął wymagany poziom referencyjny, zaś w marcu spadł poniżej minimalnej dopuszczalnej wartości dla tego KPI. Wyniki dla KPI 1 obrazuje powyższy wykres. Sygnalizacja Świetlna dla KPI1 w analizowanym kwartale dla oceny jakości świadczenia usług będzie wyglądała następująco: Ocena poziomu jakości świadczenia usług Kod KPI Nazwa KPI styczeń luty marzec KPI 1 Terminowość usługi A 2.2 Ocena niedyskryminacji, ocena krótko i długookresowa opis stosowanych testów statystycznych Do oceny niedyskryminacji wykorzystywane są testy statystyczne. Pierwszy (test krótkookresowy) opiera się na danych z pojedynczego miesiąca, drugi (test długookresowy) przeprowadzany jest w oparciu o dane z kilku miesięcy. Obydwa testy mają na celu sprawdzenie, czy wartość, która jest obserwowana (wartość statystyki) jest typowa, czy też nietypowa dla danego procesu. Zastosowanie testów opiera się na założeniu, że zdarzenia obsługujące Hurt (operatorów), Detal TP oraz PTK są względem siebie niezależne. W praktyce oznacza to, że procesy, których dotyczą zdarzenia są anonimizowane. Co więcej, w Systemie KPI stosuje się zasadę Equivalence of Output, a zatem ewentualne różnice w procesach są pomijane. Testy mają na celu odpowiedź na pytanie, czy pojawiają się przesłanki do istnienia dyskryminacji w obsłudze zdarzeń dla Detalu TP względem Hurtu TP. Aby zobrazować ten problem, posłużymy się hipotetycznym przykładem. Zgodnie z danymi na Błąd! Nie można odnaleźć źródła odwołania. w pięciu z sześciu miesięcy raportowych Detal TP osiągnął wynik lepszy od Hurtu TP dla danego KPI, zaś w maju poziom wskaźnika dla Hurtu był wyższy 4. Czy na podstawie Błąd! Nie można odnaleźć źródła odwołania. możemy stwierdzić występowanie potencjalnej dyskryminacji Hurtu TP względem Detalu TP lub też nie? Z pewnością w maju Hurt nie był dyskryminowany, gdyż osiągnął wynik lepszy od Detalu. Czy jednak w pozostałych miesiącach, gdy Hurt TP osiągnął niższe wartości możemy mówić o przesłankach dyskryminacji jakościowej? Wartości procentowe wskaźników nie oddają skali procesu po stronie Detalu TP oraz Hurtu TP. Może się bowiem okazać, iż do tego 4 Przyjmujemy, że podany w przykładzie wskaźnik jest stymulantem. 6 S t r o n a

samego KPI systematycznie kwalifikuje się kilkakrotnie więcej zdarzeń, po stronie Detalu TP, niż Hurtu lub na odwrót. W rezultacie łączne wyniki dla danego wskaźnika mogą się znacznie różnić od wyników dla poszczególnych stron. Należy więc przyjrzeć się całościowo każdemu procesowi opisanemu przez KPI, przed wyciąganiem wniosków o potencjalnej dyskryminacji. Rysunek 1 Hipotetyczne wyniki dla danego KPI za dane miesiące w podziale na Detal TP oraz Hurt TP Źródło: UKE Algorytmy przeprowadzania testów długookresowych i krótkookresowych opierają się na tej samej idei, zaś różnią się zasięgiem czasowym badanych zdarzeń. Przebieg testu krótkookresowego można podzielić na 3 etapy. Etap 1. Utworzenie łącznego zbioru procesu obsługi dla Detalu TP oraz Hurtu TP. Łączny zbiór jest otrzymywany poprzez sumowanie zbiorów zdarzeń poprawnych oraz niepoprawnych po stronie Hurtu oraz Detalu TP. Przykład takiego łączenia zbiorów przedstawia Rysunek 2. 7 S t r o n a

Rysunek 2 Połączenie procesu dla Detalu TP i Hurtu TP w ramach danego KPI. W tym przypadku wskaźnik dla Hurtu TP wynosi 66,67% (2/3), zaś dla Detalu TP 83,33% (5/6). Różnica w poziomach obsługi wynosi 66,67% - 83,33% = -16 p.p. Źródło: UKE Etap 2. Symulacje losowego podziału łącznego zbioru zdarzeń na dwa podzbiory oraz obliczenie różnic wyników. Łączny zbiór zdarzeń jest losowo dzielony na dwa podzbiory odpowiadające dwóm badanym stronom Hurtowi TP oraz Detalowi TP o liczebnościach oryginalnych zbiorów zdarzeń dla tych stron. Następnie obliczane są wartości zasymulowanych wskaźników oraz różnice wartości między Hurtem TP a Detalem TP. Operacja ta powtarzana jest odpowiednią liczbę razy (np. kilka tysięcy), tak aby uzyskać wiarygodny rozkład zasymulowanych różnic wartości wskaźnika. Przykład pojedynczej operacji przedstawia Rysunek 3. Rysunek 3 Symulacja podziału łącznego procesu pomiędzy Hurt TP oraz Detal TP. W tym przykładzie wskaźnik dla Hurtu TP wynosi 100% (3/3), zaś wskaźnik dla Detalu TP wynosi 66,67% (4/6). Różnica w poziomach obsługi wynosi 100% - 66,67% = 33,33 p.p. Źródło: UKE 8 S t r o n a

Etap 3. Porównanie otrzymanego rozkładu różnic z raportową różnicą wyników między Hurtem TP a Detalem TP. Przy założonym poziomie istotności 5, obliczona różnica w raportowanych wynikach porównywana jest z otrzymanym rozkładem. Jeżeli różnica w raportowanych wynikach zawiera się w przedziale (tzw. przedział ufności) rozkładu określonym przez poziom istotności, nie istnieją przesłanki do występowania dyskryminacji Hurtu TP względem Detalu TP. Analogicznie, jeśli różnica nie zawiera się w przedziale, istnieją przesłanki do występowania dyskryminacji Hurtu TP względem Detalu TP. Algorytm przeprowadzania testu długookresowego opiera się na takich samych zasadach, z tą zmianą, że porównywanymi miarami nie są różnice w wartościach KPI między Hurtem TP i Detalem TP, lecz średnie różnice z miesięcy branych do długiego okresu. 2.3 Ocena niedyskryminacji interpretacja wyników testów niedyskryminacji Celem przeprowadzanych testów niedyskryminacji jest uzyskanie odpowiedzi na następujące pytania: 1. Czy różnice w poziomach obsługi pomiędzy Hurtem TP a Detalem TP mogą być uznane za typowe dla danego procesu? 2. Czy występujące różnice są nietypowe 6 na rzecz Detalu TP, a co za tym idzie czy mogą dostarczać przesłanek do istnienia dyskryminacji? Celem testów nie jest natomiast jednoznaczne stwierdzenia występowania bądź nie zjawiska dyskryminacji na poziomie danej usługi, gdyż wymagałoby to poszerzenia analiz. Testy niedyskryminacji (krótkookresowy i długookresowy) mają następującą budowę: Hipoteza zerowa zakłada, że nie ma przesłanek do istnienia dyskryminacji w poziomie obsługi. Hipoteza alternatywna zakłada, że występują przesłanki do istnienia dyskryminacji w poziomie obsługi. Wynikiem testu jest jedna z niżej wymienionych sytuacji: Hipoteza zerowa zostaje odrzucona na rzecz hipotezy alternatywnej. Oznacza to, że występują przesłanki do istnienia dyskryminacji w poziomie obsługi. W raporcie niedyskryminacji przy badanej usłudze zapala się czerwone światło. 5 istotności to maksymalne ryzyko błędu jakie można zaakceptować podczas badania. Im większy poziom istotności, tym węższy przedział, w którym znajduje się rzeczywista różnica wyników dla całego procesu, ale również większa szansa na popełnienie błędu. 6 Znaczenie słów typowe i nietypowe zależy od rodzaju testu. W przypadku testu krótkookresowego o typowości możemy mówić np. gdy wykonanie dla Hurtu TP jest wyraźnie niższe, niż przeciętne wykonanie danej usługi. W przypadku testu długookresowego typowość oznacza np. stałą przewagę w wykonaniu dla Detalu TP względem Hurtu TP w czasie lub wyraźne pozytywne odchylenia w wykonaniu na rzecz Detalu TP w badanym okresie. 9 S t r o n a

Nie ma podstaw do odrzucenia hipotezy zerowej. Oznacza to, że nie można stwierdzić, że występują przesłanki do istnienia dyskryminacji w poziomie obsługi. Zgodnie z teorią statystyki nie oznacza to natomiast, że hipotezę zerową przyjmujemy. W raporcie niedyskryminacji przy badanej usłudze zapala się zielone światło. Analogicznie, jak w przypadku oceny poziomu jakości świadczonych usług, obrazowo wyniki prezentowane będą poprzez zapalenie świateł odpowiedniego koloru w odniesieniu do każdego, podlegającego ocenie niedyskryminacji, wskaźnika. 3. Pozostałe analizy w zakresie Nowego Systemu KPI W ramach kwartalnej analizy przeprowadzona będzie również analiza czasów względnych. Analiza ta bada i porównuje rzeczywiste rozkłady zdarzeń zaliczanych do dziedziny poszczególnych wskaźników czasów względnych dla Hurtu TP i Detalu. Ocenie, czy występują istotne różnice, podlega porównanie rozkładów w danym okresie czasu pomiędzy Hurtem TP a Detalem TP. Raport z wykonania dla Nowego Systemu KPI wzbogacą także porównania poziomu jakości świadczonych przez TP usług pomiędzy operatorami alternatywnymi w odniesieniu do czterech grup usług (nowy wskaźnik zagregowany): dla usług głosowych; dla szerokopasmowych usług internetowych; dla usług infrastrukturalnych; dla usługi LLU. W agregacji, dla poszczególnych grup, nie są uwzględniane KPI dotyczące czasów względnych. Wskaźniki będące destymulantami normalizujemy tak, aby zamienić je na stymulanty (na zasadzie 100-wykonanie wskaźnika będącego destymulantem). Następnie wyliczana jest średnia z tych wskaźników, które są agregowane w danej grupie, po czym obliczamy odchylenie od średniej dla danego operatora, dla danego KPI, w danym miesiącu. Kolejnym krokiem jest obliczenie średniego odchylenia od średniej rynkowej dla danego operatora alternatywnego w danym miesiącu (wynik uzyskujemy dzieląc sumę średnich odchyleń dla danego operatora alternatywnego w danym miesiącu przez liczbę KPI obliczanych dla niego w danym miesiącu) - to jest wartość zagregowanego wskaźnika. Od metody wykorzystywanej w starym systemie KPI wyliczanie wskaźnika zagregowanego różni się przede wszystkim tym, że przy standaryzacji nie brane jest pod uwagę odchylenie standardowe, które jest bardzo wrażliwe na obserwacje odstające. Porównanie wartości wskaźnika zagregowanego pomiędzy operatorami alternatywnymi pokazuje w jakim stopniu poziom obsługi danego operatora alternatywnego, mierzony wskaźnikiem zagregowanym, różni się od przeciętnego poziomu obsługi wszystkich operatorów alternatywnych (dla których obliczono wartości KPI dla danego okresu). 10 S t r o n a

4. Informacje dodatkowe dotyczące Nowego Systemu KPI Nowy System KPI powstał po ponad rocznych, intensywnych pracach zespołów roboczych TP i UKE. Podlegał wielokrotnie audytom zewnętrznym celem weryfikacji poprawności funkcjonowania całego systemu, jak i poprawności mierzenia poszczególnych KPI. TP raportuje wyniki według. wymagań Nowego Systemu KPI począwszy od grudnia 2011 roku. Wyniki są prezentowane zarówno Regulatorowi, jak i każdemu operatorowi alternatywnemu w postaci raportów z wynikami KPI dla usług które w danym okresie zamawiał w TP. Nowy System KPI jest systemem otwartym, który będzie ewoluował wraz ze zmianami na rynku i zmianami w usługach i procesach. Będzie też narzędziem wskazywanym w decyzjach ustalających znaczącą pozycję rynkową TP na rynkach hurtowych jako realizacja obowiązku niedyskryminacji. Bieżące monitorowanie wskaźników będzie miało odzwierciedlenie w informacji prezentowanej przez Regulatora w kwartalnych raportach KPI. Dotychczasowe doświadczenia zebrane w czasie budowania i rozwoju systemu KPI pokazują, że informacje które system gromadzi są bardzo istotnym źródłem wiedzy zarówno dla UKE przy projektowaniu decyzji regulacyjnych, jak i dla przedsiębiorców do podejmowania decyzji biznesowych. opracowanie: Agnieszka Gładysz Departament Strategii i Analiz Rynku Telekomunikacyjnego, Wydział Analiz Hurtowych e-mail: a.gladysz@uke.gov.pl Iwona Mazur-Żmuda Departament Strategii i Analiz Rynku Telekomunikacyjnego, Wydział Analiz Hurtowych e-mail: i.mazur-zmuda@uke.gov.pl Marcin Juchnowicz Departament Strategii i Analiz Rynku Telekomunikacyjnego, Wydział Analiz Hurtowych e-mail: m.juchnowicz@uke.gov.pl 11 S t r o n a

Załącznik 1. Zestawienie wskaźników w Nowym Systemie KPI w podziale na grupy usługowe wraz z informacją o poziomie startowym, referencyjnym i dopuszczalnym odchyleniu w ocenie poziomu jakości świadczenia usług oraz ze wskazaniem czy dany wskaźnik podlega ocenie w pomiarze niedyskryminacji względem Detalu TP Usługa głosowa WLR/POTS/ISDN Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji Kod KPI Nazwa KPI startowy referencyjny Dopuszczalne odchylenie UG1 Terminowość migracji usług głosowych - 100,00% 0,30 p.p. tak UG2 Liczba odrzutów technicznych na 100 zamówień usług głosowych - - Do 30 zdarzeń-2 odrzuty; powyżej 30 zdarzeń 6,67% tak UG3 Terminowość naprawy awarii usług głosowych - 90,00% 2,30 p.p. tak UG3.1 Terminowość naprawy zwykłych awarii usług głosowych nd nd nd nd UG3.2 Terminowość naprawy priorytetowych awarii usług głosowych nd nd nd nd UG3.3 Terminowość naprawy awarii ISDN PRA nd nd nd nd UG4 Względny czas naprawy zwykłych awarii usług głosowych - 100,00% 0,00 p.p. nie UG5 Względny czas naprawy priorytetowych awarii usług głosowych - 100,00% 0,00 p.p. nie UG6 Liczba awarii na 100 usług głosowych 1,35 1,28 - tak Terminowość dostarczania nowych usług głosowych UG7-100,00% powyżej 100 zdarzeń 1% tak Względem Detalu TP Usługa internetowa BSA/NEO Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji UI1 UI2 Kod KPI UI1.1 Nazwa KPI startowy referencyjny Dopuszczalne odchylenie Terminowość dostarczania/migracji internetowych usług szerokopasmowych - 100,00% 0,20 p.p. tak Terminowość dostarczania internetowych usług szerokopasmowych (ŁAA) nd nd nd nd Terminowość dostarczania internetowych usług UI1.2 szerokopasmowych (ŁAN z PA) nd nd nd nd UI1.3 Terminowość migracji internetowych usług szerokopasmowych nd nd nd nd UI2.1 Liczba odrzutów technicznych internetowych usług szerokopasmowych na 100 zamówień 0,00 6,70 0,00 p.p tak Liczba odrzutów technicznych internetowych usług szerokopasmowych na 100 zamówień (<= 2M) nd nd nd nd Względem Detalu TP 1 S t r o n a

UI3 UI4 UI5 UI6 UI2.2 UI2.3 UI2.4 UI2.5 UI5.1 UI5.2 Liczba odrzutów technicznych internetowych usług szerokopasmowych na 100 zamówień (2< oraz <=6M) nd nd nd nd Liczba odrzutów technicznych internetowych usług szerokopasmowych na 100 zamówień (6< oraz <=10M) nd nd nd nd Liczba odrzutów technicznych internetowych usług szerokopasmowych na 100 zamówień (10< oraz <=20M) nd nd nd nd Liczba odrzutów technicznych internetowych usług szerokopasmowych na 100 zamówień (powyżej 20M) nd nd nd nd Względny czas technicznego dostarczania internetowych usług szerokopasmowych (ŁAA) - 100,00% 0,00 p.p. nie Względny czas technicznego dostarczania internetowych usług szerokopasmowych (ŁAN z PA) - 100,00% 0,00 p.p. nie Terminowość naprawy awarii internetowych usług szerokopasmowych - 96,00% 2,80 p.p. tak Terminowość naprawy zwykłych awarii internetowych usług szerokopasmowych nd nd nd nd Terminowość naprawy priorytetowych awarii internetowych usług szerokopasmowych nd nd nd nd Względny czas naprawy zwykłych awarii internetowych usług szerokopasmowych - 100,00% 0,00 p.p. nie SOR SOR SOR Względny czas naprawy priorytetowych awarii internetowych UI7 usług szerokopasmowych nie UI8 Liczba awarii na 100 internetowych usług szerokopasmowych 1,67 1,6 - tak UI9 UI10 Terminowość realizacji zamówień na zmianę prędkości internetowych usług szerokopasmowych 99,20% 99,70% 0,00 p.p. tak Liczba odrzutów technicznych na zmianę prędkości internetowych usług szerokopasmowych na 100 zamówień - 6,00 1,80 tak Usługa LLU Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji 2 S t r o n a

Kod KPI Nazwa KPI startowy referencyjny Dopuszczalne odchylenie LLU1 Terminowość dostarczania LLU - 100,00% 0,20 p.p. nie LLU1.1 Terminowość dostarczania usług LLU (ŁAA) nd nd nd nd LLU1.2 Terminowość dostarczania usług LLU (ŁAN z PA ) nd nd nd nd LLU2 Liczba odrzutów technicznych na 100 zamówień LLU - 3,80 1,94 nie LLU3 Terminowość naprawy awarii LLU - 95,00% 1,00 p.p. nie LLU4 Liczba awarii na 100 usług LLU 1,20 1,00 - nie Względem Detalu TP Infrastruktura kolokacyjna Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji IK1 IK2 IK3 IK4 Kod KPI Nazwa KPI startowy referencyjny Dopuszczalne odchylenie Terminowość realizacji zamówień na IC - 100,00% powyżej 100 zdarzeń 1% nie IK1.1 Terminowość realizacji zamówień na modyfikację WŁM nd nd nd nd IK1.2 Terminowość realizacji zamówień na usługi IC (zamówienia na PSS) nd nd nd nd Terminowość realizacji zamówień na infrastrukturę LLU PDK i Splittery - 100,00% IK2.1 Terminowość realizacji zamówień na LLU - PDK nd nd nd nd powyżej 100 zdarzeń 1% nie IK2.2 Terminowość realizacji zamówień na Splittery nd nd nd nd Terminowość realizacji zamówień na infrastrukturę LLU - KK i KKLW - 100,00% powyżej 100 zdarzeń 1% nie Terminowość realizacji zamówień na Kabel Korespondencyjny (KK) IK3.1 nd nd nd nd Terminowość realizacji zamówień na Kabel Korespondencyjny do IK3.2 Lokalizacji Wyniesionej (KKLW) nd nd nd nd Terminowość realizacji zamówień na infrastrukturę BSA - 100,00% powyżej 100 zdarzeń 1% nie IK4.1 Terminowość realizacji zamówień na budowę/rozbudowę PDU nd nd nd nd Względem Detalu TP 3 S t r o n a

IK4.2 Terminowość migracji pomiędzy PDU nd nd nd nd Usługa RLLO/LL Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji Kod KPI Nazwa KPI startowy referencyjny Dopuszczalne odchylenie DZŁ1 Terminowość realizacji zamówień na usługę RLLO/LL - 100,00% 3,50 p.p. tak DZŁ2 Terminowość naprawy awarii RLLO/LL 93,70% 98,00% 0 p.p. tak Liczba awarii na 100 usług RLLO/ LL Q3 2013 DZŁ3-2,21 - tak Względem Detalu TP ROI/Dzierżawa kanalizacji Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji Kod KPI Nazwa KPI startowy referencyjny Dopuszczalne odchylenie DZK1 Terminowość realizacji zamówień na ROI/dzierżawę kanalizacji - 100,00% 0,50 p.p. tak Względem Detalu TP Inne Ocena poziomu jakości świadczenia usług Ocena niedyskryminacji UOI1 UOI2 Kod KPI Nazwa KPI startowy referencyjny Dopuszczalne odchylenie Terminowość udzielania odpowiedzi dla usług infrastrukturalnych RLLO/LL i ROI/dzierżawa kanalizacji - 100,00% 0,30 p.p. tak UOI1.1 Terminowość udzielania odpowiedzi na zamówienie RLLO/LL nd nd nd nd UOI1.2 Terminowość udzielania odpowiedzi na zamówienie ROI/dzierżawa kanalizacji nd nd nd nd Terminowość udzielania odpowiedzi (dla usług infrastrukturalnych BSA, IC, projekty techniczne) - 100,00% powyżej 100 zdarzeń 1% nie Terminowość opiniowania projektów technicznych na UOI2.1 Infrastrukturę Kolokacyjną nd nd nd nd UOI2.2 Terminowość udzielania odpowiedzi na zamówienie IC nd nd nd nd Względem Detalu TP 4 S t r o n a

UOI3 UOI2.3 Terminowość udzielania odpowiedzi na zamówienie BSA poziom infrastruktury nd nd nd nd Terminowość udzielania odpowiedzi na zamówienie LLU poziom infrastruktury - 100,00% Terminowość udzielania odpowiedzi na WTF dla usług masowych powyżej 100 zdarzeń 1% nie UOM1-100,00% powyżej 100 zdarzeń 1% nie UOM1.1 Terminowość realizacji WTF na ŁAA (BSA) nd nd nd nd UOM1.2 Terminowość realizacji WTF na ŁAN nd nd nd nd Terminowość udzielania odpowiedzi na WTF dla usługi LLU powyżej 100 zdarzeń 1% nie UOM2-100,00% Terminowość realizacji migracji międzyoperatorskiej w ramach tej TMM1 samej usługi - 100,00% 0,30 p.p. nie TZN1 Terminowość podpisywania umów na podstawie ofert ramowych - 100,00% - nie 5 S t r o n a