Raport z badania porównawczego wartości wskaźników jakości usług w sieciach ruchomych Przedsiębiorców telekomunikacyjnych na trasach kolejowych w Polsce Warszawa, Warszawa, ul. M. Kasprzaka 18/20, tel. (22) 5349156, fax (22) 5349155
Spis treści 1 Wprowadzenie... 4 2 Wyjaśnienia skrótów... 5 3 Cel i zakres badania... 7 4 Obszar i czas prowadzenia badania... 9 5 Zespół prowadzący badania... 12 6 Opis metody pomiarowej i scenariusze pomiarowe... 13 7 Prezentacja wyników badania... 17 8 Dokładność pomiarów... 22 9 Podsumowanie wyników badania... 26 10 Załączniki... 50 str. 3
1 Wprowadzenie Badanie porównawcze wartości wskaźników jakości usług w sieciach ruchomych przedsiębiorców telekomunikacyjnych w Polsce zostało wykonane przez Systemics-PAB Sp. z o. o. przy wykorzystaniu posiadanych przez Spółkę systemów pomiarowych, bazodanowych i do przetwarzania danych pomiarowych i przygotowywania raportów. Systemics-PAB otrzymał zamówienie w wyniku wyboru na podstawie ogłoszonego przez Urząd Komunikacji Elektronicznej postępowania o udzielenie zamówienia publicznego i w oparciu o podpisaną pomiędzy stronami w dniu 22 lipca 2016 r Umowę nr BFB.26.2.2016.21 na Przeprowadzenie badania porównawczego wartości wskaźników jakości usług w sieciach ruchomych Przedsiębiorców telekomunikacyjnych na trasach kolejowych wraz z opracowaniem raportu z przeprowadzonego badania. Badania wykonano w dniach od 3 sierpnia do 23 sierpnia 2016 roku. Zespół pomiarowy wyposażony w dwie jednostki pomiarowe Freerider III (oddzielne dla usług głosowych i transmisji danych) wykonał w tych dniach ponad 117 godzin pomiarów w tym ponad 18 godzin w pociągach wysokich prędkości EIC. W trakcie pomiarów wykonano dla każdego z operatorów ok. 2500 połączeń głosowych i ponad 8000 różnych testów usług transmisji danych. Badanie odbywało się na terenie całego kraju przy wykorzystaniu kart SIM dostarczonych przez operatorów. Szczegółowe zestawienie ilości pomiarów znajduje się w rozdziale 4 Raportu. Systemics-PAB jest pełnoprawnym członkiem ETSI od listopada 2014 roku i członkiem GSMA od kwietnia 2016 roku. str. 4
2 Wyjaśnienia skrótów 3GPP CI 3G Partnership Project Confidence Interval Instytucja powołane w celu rozwoju standardów cyfrowych naziemnych sieci mobilnych Przedział ufności CIR Committed Information Rate Przepływność gwarantowana CSSR Call Setup Success Rate Wskaźnik skuteczności połączeń telefonicznych CST Call Set Up Time Wskaźnik czasu zestawienia połączenia DCR Dropped Call Rate Wskaźnik połączeń przerwanych DHNRT DNS Host Name Resolution Time DNS wskaźnik czasu rozwiązania nazw domenowych DTU Dual Mode ETSI FDTT Free Mode GSM HD HIST (UL/DL) HSFR Data Technology Usage Automatic Selection Mode 2G/3G European Telecommunications Standards Institute Fixed Data Transfer Time Automatic Selection Mode 2G/3G/4G Group Speciale Mobile High Definition of video HTTP IP-Service Setup Time HTTP Session Failure Ratio Użycie technologii transmisji danych Automatyczny wybór sieci 2G/3G Europejski Instytut Norm Telekomunikacyjnych Transmisja danych w stałym odcinku czasu Automatyczny wybór sieci 2G/3G/4G Standard rozwoju cyfrowych naziemnych sieci mobilnych trzeciej generacji Obraz wideo o wysokiej rozdzielczości HTTP wskaźnik czasu ustanowienia połączenia TCP/IP mierzony również dla usługi transmisji danych HTTP wskaźnik nieudanych (nieukończonych) sesji HST IPDV (jitter) IPLR HTTP Session Time IP packet delay variation IP packet loss ratio HTTP wskaźnik czasu sesji Wskaźnik zmienności opóźnienia Współczynnik utraty pakietów ISDN Karta SIM Integrated Services Digital Network Subscriber Identity Module Sieć cyfrowa z integracją usług Karta abonencka str. 5
LTE Long Term Evolution MDR DL Mean Data Rate Downlink MDR UL Mean Data Rate Uplink Standard rozwoju cyfrowych naziemnych sieci mobilnych czwartej generacji Wskaźnik prędkości transmisji danych od stacji bazowej do urządzenia klienta Wskaźnik prędkości transmisji danych od urządzenia klienta do stacji bazowej MOC Mobile Originated Call Rozmowa wychodząca MOS MOS_PI MTU Ping PLIX Mean Opinion Score Voice Speech Acceptable Quality Index Maximum Transmit Unit diagnostic software for computer network Polish IP traffic exchange point Wskaźnik jakości mowy Wskaźnik akceptowalnej jakości mowy Maksymalna jednostka transmisji Program służący do diagnozowania połączeń sieciowych. Krajowy (polski) punkt wymiany ruchu IP RSRP Reference Signal Receive Power miara mocy sygnału RTT Round Trip Time Wskaźnik opóźnienia pakietów danych TCP/IP UMTS Transmission Control Protocol/Internet Teoretyczny model warstwowej struktury protokołów Protocol komunikacyjnych Universal Mobile Terrestrial System Standard rozwoju cyfrowych naziemnych sieci mobilnych drugiej generacji VCU WWW Kepler YF Voice Codec Usage Reference WWW page YouTube Freezing Użycie kodeków głosowych Referencyjna strona WWW YouTube wskaźnik degradacji wideo YRSD YouTube Reproduction Start Delay YouTube wskaźnik czasu do pierwszej ramki wideo YSVD YouTube Successful Video Download YouTube prawidłowe pobranie klipu str. 6
3 Cel i zakres badania Celem projektu było przeprowadzenie badania porównawczego wartości wskaźników jakości usług w sieciach ruchomych Przedsiębiorców telekomunikacyjnych na trasach kolejowych wraz z opracowaniem raportu z przeprowadzonego badania. Badanie zostało przeprowadzone na terenie całej Polski dla reprezentatywnej próbki badawczej określonej w SIWZ będącym załącznikiem do Umowy na wykonanie przedmiotu umowy. Badano usługi mające bezpośredni wpływ na percepcję użytkowników sieci. Zmierzono i wyliczono następujące wskaźniki jakości usług: Dla usługi telefonicznej badano i określono: wskaźnik skuteczności połączeń telefonicznych (Call Setup Success Rate), pkt. 1.2.1. Załącznika do Umowy wskaźnik połączeń przerwanych (Dropped Call Rate), pkt. 1.2.2. Załącznika do Umowy wskaźnik jakości mowy (Voice Speech Quality), pkt. 1.2.3. Załącznika do Umowy Wskaźnik czasu zestawienia połączenia głosowego, pkt. 1.2.4. Załącznika do Umowy Użycie kodeków w połączeniach głosowych pozwalający na lepsze zrozumienie uzyskiwanych wartości MOS jeśli są one niskie. Dla usługi dostępu do Internetu badano i określono: wskaźnik prędkości transmisji danych (Mean Data Rate), pkt. 1.2.5. Załącznika do Umowy. Stosowano specjalny scenariusz pomiarowy zapewniający synchronizację cykli pomiarowych w celu uniknięcia nakładania się pomiarów T-Mobile i Orange obciążających nienaturalnie współdzieloną sieć LTE. Scenariusz zakładał wykonywanie testów pobierania danych w sieci operatora T-Mobile w czasie kiedy w sieci operatora Orange prowadzony był test wysyłania danych do sieci i odwrotnie. Utrzymanie synchronizacji scenariuszy pomiarowych zapewniało przerywanie pomiarów w odstępach 2,5-3 godzin i restart systemu pomiarowego. str. 7
wskaźnik opóźnienia do Umowy pakietów danych (Round Trip Time), pkt. 1.2.6. Załącznika wskaźnik zmienności opóźnienia (jitter), pkt. 1.2.7. Załącznika do Umowy wskaźnik utraty pakietów (Packet Loss Rate), pkt. 1.2.8. Załącznikaa do Umowy Użycie technologii dla transmisji danych Wskaźnik powiązany z wskaźnikami prędkości transmisji danych pozwala na lepsze zrozumienie powodów osiąganych wartości przepływności. HTTP wskaźnik czasu ustanowienia połączenia TCP/IP Czas dostępu do usług TCP/IP, który wpływa na szybkość działania usługi transmisji danych DL, UL, HTTP. W trakcie pomiarów nie wykonywano testów połączeń w sieci WiFi, zgodnie z wymogami określonymi w SIWZ. str. 8
4 Obszar i czas prowadzenia badania Pomiary wykonywano w całej Polsce na trasach zgodnie z Umową. Wykonano 117 godzin testów w dniach od 3 do 23 sierpnia 2016 roku. Liczbę poszczególnych testów z podziałem na przedsiębiorców telekomunikacyjnych przedstawiono w Tabeli 1. Połączenia głosowe Test transferu danych - Download Test transferu danych - Upload Test opóźnienia pakietów danych Test zmienności opóźnienia Orange Play 2 492 2 565 2 408 2 370 2 413 2 369 1 163 1 078 2 397 2 355 Tabela 1. Ilości wykonanych testów dla przeprowadzonego badania Plus T-Mobile 2 639 2 467 2 461 2 398 2 466 2 396 1 217 1 189 2 450 2 383 Mapa 1. Przebieg badanych tras kolejowych str. 9
Szczegółowe dane statystyczne dla każdej przejechanej trasy kolejowej znajdują się w Załączniku 1, który jest zestawieniem tabelarycznym wyników. Szczegółowy zrealizowany harmonogram pomiarów wraz z informacjami o pociągach zawiera Załącznik 2 do Raportu. Poniżej przedstawiono zestawienie ogólne przejechanych tras kolejowych. Nazwa Biała Podlaska Siedlce Warszawa Białystok Warszawa Bielsko-Biała Katowice Bydgoszcz Iława Olsztyn Bydgoszcz Toruń Gdynia Hel Gdynia Koszalin Gdynia Poznań Hel Gdynia Jelenia Góra Wrocław Katowice Bielsko-Biała Katowice Kraków Katowice Warszawa Kołobrzeg Koszalin Koszalin Gdynia Koszalin Kołobrzeg Koszalin Szczecin Kraków Radom Warszawa Kraków Rzeszów Kraków Warszawa Kraków Zakopane Kutno Bydgoszcz Łódź Warszawa Lublin Radom Kielce Włoszczowa Lublin Warszawa Olsztyn Działdowo Poznań Rzepin Poznań Szczecin Poznań Warszawa Rzepin Poznań Rzeszów Kraków Świnoujście Szczecin Szczecin Koszalin Szczecin Świnoujście Szczecin Wrocław Toruń Bydgoszcz Data Czas Pociąg Numer Wagon Miejsce [dd.mm.rrrr] [gg:mm] 09.08.2016 02:00 TLK 11110 515120-70478-5 10 34, 36 13.08.2016 02:28 IC 10114 94512150340-9 8 41, 42 16.08.2016 01:15 KS 49512 94512120815-7 n/a okno 18.08.2016 03:42 R 59402 94512122660-5 n/a okno 18.08.2016 00:44 IC 5114 515120-71058-4 5 33, 35 11.08.2016 02:13 R 90511 505126-19517-9 n/a okno 11.08.2016 02:21 TLK 18101 515120-70973-5 11 45, 46 12.08.2016 04:03 TLK 5604 515120-71004-8 11 25, 26 11.08.2016 02:00 R 55074 505126-19517-9 n/a okno 03.08.2016 02:05 IC 61100 94512150288-0 4 55, 56 16.08.2016 00:55 EIP 5400 93512370023-6 2 45, 46 20.08.2016 02:21 R 43306 94512140551-4 n/a okno 16.08.2016 02:24 TLK 4520 505139-78004-1 11 83, 87 12.08.2016 00:33 EIP 8300 93512370054-1 5 65, 66 12.08.2016 01:55 EIP 8300 93512370054-1 5 65, 66 11.08.2016 00:46 TLK 18101 515120-70973-5 11 45, 46 05.08.2016 02:13 TLK 58101 505120-78554-6 11 81, 82 23.08.2016 05:34 TLK 32100 515120-70786-1 11 25, 26 KM 21620 94512120686-2 n/a okno 08.08.2016 02:35 IC 6302 615121-70003-8 11 76, 75 09.08.2016 03:44 EIP 3506 93512370022-8 1 73, 75 22.08.2016 04:03 TLK 43200 515120-70880-0 14 24, 26 101, 18.08.2016 01:55 IC 1517 505120-78618-9 6 103 13.08.2016 01:56 TLK 91106 505120-78617-1 n/a 55, 56 17.08.2016 04:00 TLK 26102 505120-78685-8 12 75, 76 17.08.2016 02:23 IC 24105 94512150233-6 5 15, 16 18.08.2016 01:39 R 90608 94512122264-6 C okno 04.08.2016 01:21 EIC 44 615121-90023-2 268 35, 36 04.08.2016 02:29 IC 48105 505120-71154-2 12 31, 32 12.08.2016 03:15 TLK 81156 515120-70995-8 11 95, 96 04.08.2016 01:17 EIC 45 615121-90031-5 269 45, 46 22.08.2016 02:05 EIP 3502 93512370039-2 4 56, 57 05.08.2016 01:24 IC 83250 505120-71148-4 11 95, 96 05.08.2016 02:43 R 89120 94512140561-3 n/a okno 05.08.2016 01:51 R 88330 94512122330-5 n/a okno 20.08.2016 05:08 IC 84111 505120-71162-5 9 42, 44 18.08.2016 00:44 TLK 35106 505120-78632-0 14 11, 13 str. 10
Warszawa Białystok Warszawa Gdynia Warszawa Katowice Warszawa Łódź Warszawa Lublin Warszawa Siedlce Biała Podlaska Warszawa Wrocław Włoszczowa Kielce Radom Lublin Wrocław Jelenia Góra Wrocław Katowice Wrocław Poznań Zakopane Kraków - Warszawa Tabela 2. Lista mierzonych tras 13.08.2016 02:45 TLK 141 505120-78712-0 5 91, 92 11.08.2016 03:06 EIP 3500 93512370083-0 6 12, 16 16.08.2016 02:32 EIP 5400 93512370023-6 2 45, 46 13.08.2016 01:54 TLK 19103 575120-78308-0 n/a 105, 106 16.08.2016 02:25 TLK 53106 505120-78631-2 15 35, 36 09.08.2016 01:55 IC 31112 94512140208-1 12 72, 76 19.08.2016 03:42 EIP 1603 93512370082-2 5 81, 83 17.08.2016 04:03 TLK 62104 505129-78036-5 14 12, 18 03.08.2016 02:08 IC 16102 94512150292-2 8 35, 36 20.08.2016 02:18 IC 84111 505120-71162-5 9 42, 44 04.08.2016 02:34 TLK 61114 505120-78727-8 11 45, 46 22.08.2016 03:38 EIC 3152 615120-90007-6 14 92, 98 str. 11
5 Zespół prowadzący badania Do realizacji badań zgodnie z zapisami Umowy na Przeprowadzenie badania porównawczego wartości wskaźników jakości usług w sieciach ruchomych Przedsiębiorców telekomunikacyjnych na trasach kolejowych wraz z opracowaniem raportu z przeprowadzonego badania par. 8 ust. 1 i 2 oraz par. 11 ust. 1 pkt. 2) Umowy nr BFB.26.2.2016.21 z dnia 22 lipca 2016 r. powołała zespół projektowy w skład którego weszło 12 osób. str. 12
6 Opis metody pomiarowej i scenariusze pomiarowe Przygotowanie systemu pomiarowego Systemics-PAB posiada certyfikację ISO 9001 w zakresie zarządzania jakością prowadzonych pomiarów i badań. Stosowane w Spółce reguły zapewniają poprawność danych pomiarowych oraz wiarygodność badań. Kontrola sprzętu i wstępne testy były przeprowadzone na każdym etapie procesu pomiarowego: - codzienna kontrola montażu systemu pomiarowego według ściśle określonych procedur, - konfiguracja systemu pomiarowego odbywała się przez wykwalifikowanego inżyniera zgodnie ze specyfikacją techniczną wymaganą do przeprowadzenia badania, zakładaną konfiguracją sprzętu i przygotowanymi scenariuszamii pomiarowymi, - w kolejnym etapie były wykonywane testy, które przeszły pełny proces pozyskania, weryfikacji i przetwarzania danych, a po pozytywnej weryfikacji system był zatwierdzany jako gotowy do rozpoczęcia pomiarów, - w przypadku wprowadzania zmian sprzętowych lub konfiguracyjnych w trakcie pomiarów lub demontażu systemu na czas przerw w pomiarach system przechodził pełny proces weryfikacji. Proces pomiarowy: 1. Dla zespołu pomiarowego został przygotowany harmonogram pomiarów i na bieżąco wraz z postępem prac dokonywano zakupu biletów na mierzone trasy kolejowe. 2. Po każdej sesji pomiarowej, która trwa maksymalnie 2,5-3 godziny dane zapisywane były na zewnętrznym nośniku. Mechanizm ten zapewnia bezpieczeństwo danych i przeciwdziała utracie zbyt dużej ilości testów w przypadku awarii systemu. Jednocześnie pozwalało to też na synchronizację cykli pomiarowych w celu uniknięcia nakładania sięę pomiarów T-Mobile i Orange obciążających nienaturalnie współdzieloną sieć LTE. 3. Codziennie po zakończeniu pomiarów dane wysyłane były na główny serwer przewarzania danych pomiarowych. Wraz z nimi przesyłany był dodatkowy log pomiarowy, który wypełnia specjalista pomiarowy podczas pomiarów. str. 13
4. Po codziennym zaimportowaniu danych pomiarowych wykonywana była weryfikacja poprawności danych i tworzone były informacje kontrolne, które pokazują zgodność pomiaru z harmonogramem i zakresem pomiarów. W przypadku braków specjalista pomiarowy dostaje informacje o konkretnym obszarze, w którym należy powtórzyć pomiar. 5. Zweryfikowane kompletne dane pomiarowe były umieszczane w bazie danych w celu dalszej analizy i przygotowania raportów. Do pomiaru jakości usług głosowych służyły terminale pomiarowe zgodnie ze specyfikacją podaną w Załączniku 3 do Raportu, która zawiera też opis scenariuszy pomiarowych. Terminale pomiarowe miały włączoną transmisję danych, aby zapewnić w jak najlepszym stopniu odzwierciedlenie zachowania terminala abonenckiego, który w trakcie rozmów dokonuje transmisji danych np. synchronizację z pocztą. Zasady prowadzenia pomiaru W badaniach wykorzystywano zestawy pomiarowe w takiej konfiguracji i z takimi parametrami, że pozwalały one na wykonywanie pomiarów wykorzystując wszystkie dostępne u operatorów pasma częstotliwości, technologie, a tym samym na realizację oferowanych usług będących przedmiotem badania. Zestawy pomiarowe ulokowane były w plecakach pomiarowych. Wykorzystywano wewnętrzne anteny smartfonów wchodzących w skład zestawu pomiarowego. Każdy operator był badany takim samym terminalem pomiarowym w zakresie danej usługi. Obszar i czas/okres wykonywania pomiarów był taki sam dla wszystkich Przedsiębiorców telekomunikacyjnych. W przypadku, kiedy z winy systemu pomiarowego, nastąpiło przerwanie pomiarów dla któregoś z przedsiębiorców, pomiary były zatrzymane i uruchomione ponownie po usunięciu usterki. Ze względu na różne zachowanie badanych sieci czas wykonywania poszczególnych sekwencji testowych może być różny dla przedsiębiorców. Skutkowało to nieznacznymi różnicami w ilości wykonanych pomiarów dla każdego operatora w czasie tego samego okresu pomiarowego. W celu zapewnienia możliwości pomiaru usług dla przedsiębiorców korzystających z roamingu krajowego nie były wykorzystywane żadne mechanizmy blokujące ten tryb pracy w terminalach pomiarowych. Zestawy pomiarowe wykorzystywane w badaniach wykonywały pomiary zgodne ze standardem ETSI TS 102 250. str. 14
Scenariusze pomiarowe przygotowane zostały w taki sposób, aby terminale testowe automatycznie dokonywały wyboru technologii dla badanych usług. Do badania usługi dostępu do Internetu był stosowany protokół TCP, a parametry stosu TCP/IP zaplanowano tak, aby nie wpływały na ograniczenia prędkości transmisji danych. Wielkość MTU przyjęto na 1420, zgodnie z wymaganiami zawartymi w SIWZ. Serwer testowy dla transmisji danych umieszczony był w domenie publicznej, aby uniknąć faworyzowania któregokolwiekk z przedsiębiorców. Serwer testowy dla transmisji danych podłączony był szerokopasmowym łączem transmisyjnym o CIR wystarczającym na wykonywanie równoczesnych pomiarów dla wszystkich badanych operatorów i dla planowanej liczby użytych zestawów pomiarowych. Wartość CIR została określona w taki sposób, aby nie wprowadzać ograniczeń w prędkości transmisji danych nawet wówczas, kiedy wszystkie terminale równocześnie transmitowały dane z maksymalną prędkością transmisji. Dla przedmiotowych pomiarów wartość CIR ustawiono na 800Mb/s. Serwer testowy dla transmisji danych (kolokacja w firmie Etop sp. z o. o.) był połączony z siecią Internet bezpośrednim łączem do krajowego punktu wymiany ruchu internetowego - PLIX. Server testowy dla usług głosowych stanowił specjalizowany serwer odzewowy dla połączeń typu MOC. Serwer był zlokalizowany w firmie Systemics-PAB i połączony z sieciami innych operatorów łączami dostarczonymi do Systemics-PAB przez Orange Polska S.A. Karty SIM, wszystkich badanych sieci mobilnych, zostały dostarczone przez Urząd Komunikacji Elektronicznej. Zapewnienie nierównoczesnegoo testowania sieci Orange Polska S.A. i T-Mobile Polska S.A. Dla operatorów Orange i T-Mobile, którzy korzystają ze wspólnych zasobów częstotliwości sieci dostępowej LTE, testy szybkości transmisji Download \ Upload zostały zamienione miejscami w scenariuszach pomiarowych by wyeliminować jednoczesny transfer z terminali testowych, działających na wspólnej sieci tych operatorów, równocześnie w tym samym kierunku. Startując testy z taką konfiguracją początkową Wykonawca zapewniał początkową desynchronizację tych testów. Ponowna synchronizacja scenariuszy odbywała się w chwilii zgrywania danych pomiarowych i tworzenia kopiii bezpieczeństwa tych danych co 2-3 godziny. Takie działanie pozwalało ograniczyć możliwość nakładania się testów szybkości transmisji w tym samym kierunku, gdyż ze względu na różny czas trwania cyklu pomiarowego u każdego operatora str. 15
(wynikający np. z szybkości transmisji danych dla innych badanych usług, przekroczenia czasu nawiązania połączenia w przypadkach problemów z nawiązaniem komunikacji) system pomiarowy nie jest w stanie zapewnić synchronizacji takiej jak na początku realizacji scenariusza pomiarowego. Wyniki pomiarów szybkości transmisji LTE podczas korzystania ze wspólnych zasobów dla operatorów Orange i T-Mobile, z ich uwzględnieniem pomiarów nałożonych i po ich wyeliminowaniu w badaniu, wygląda następująco: Próbki LTE wszystkie Próbki LTE nakładające się Orange 20937 4261 T-Mobile 19551 4261 % nałożonych LTE MDR DL [Mb/s] LTE MDR DL [Mb/s] bez nałożonych 2/3/4G MDR DL [Mb/s] 20,3% 18,01 22,91 10,46 11,34 21,8% 18,84 23,41 10,31 10,43 Tabela 3a. Wyniki pomiarów w kierunku do terminala (DL) dla Orange i T-Mobile 2/3/4G MDR DL [Mb/s] bez nałożonych Próbki LTE wszystkie Próbki LTE nakładające się Orange 19995 3992 T-Mobile 19052 3992 % nałożonych LTE MDR UL [Mb/s] LTE MDR UL [Mb/s] bez nałożonych 2/3/4G MDR UL [Mb/s] 19,9% 11,65 13,27 5,58 5,87 20,9% 10,69 13,55 5,14 5,53 Tabela 3b. Wyniki pomiarów w kierunku do stacji bazowej (UL) dla Orange i T-Mobile 2/3/4G MDR UL [Mb/s] bez nałożonych str. 16
7 Prezentacjaa wyników badania Na podstawie zebranych danych przygotowano szczegółowe raporty w ujęciu tabelarycznym dla każdej z mierzonych tras oraz zagregowane raporty uwzględniające: wszystkie przebyte trasy i wszystkie przebyte trasy w pociągach typu Pendolino. Te raporty znajdują się w Załączniku nr 1 do Raportu. Znajdują się tam też dodatkowe informacje z pomiaru przedstawiające dla wymaganych agregacji wartości wskaźników MDR_DL i MDR_UL dla łącznego czasu pomiaru szybkości transmisji danych w scenariuszu trwającego 45 s i w rozbiciu na 3x15 s oraz także rozkład wskaźnika MOS w przedziałach: MOS PI<3; 3<=MOS PI<3,6; 3,6<=MOS PI W niniejszym rozdziale Raportu zawarto prezentacje wyników badań i ogólnąą interpretację. Wyniki badań zagregowane dla wszystkich tras W tabelach 4-9 zebrano wyniki badań jakości usług telekomunikacyjnych zagregowane dla wszystkich tras. Tabela 4. Wskaźniki dla połączeń głosowych Wskaźnik skuteczności połączeń telefonicznych Wskaźnik czasu zestawienia połączenia Wskaźnik połączeń przerwanych Wskaźnik jakości mowy Użycie kodeków głosowych Orange Play CSSR [%] 91,45 93,49 CST [s] 3,74 4,81 DCR [%] 6,32 5,00 MOS_PI < 3.0 [%] 2,48 0,61 3.0 > MOS_PI > 3.6 [%] 10,59 11,41 MOS_PI > 3.6 [%] 86,93 87,97 AMR 63,82 71,68 AMR_FR 28,02 24,88 AMR_HR 2,43 0,85 VCU [%] AMR_WB 5,70 0,00 EFR 0,01 2,59 FR 0,00 0,00 HR 0,02 0,00 T- Plus Mobile 92,65 93,68 4,32 3,63 5,44 5,84 1,08 1,93 9,82 9,65 89,10 88,42 75,35 61,44 24,25 24,48 0,40 2,06 0,00 0,00 0,00 12,01 0,00 0,00 0,00 0,01 str. 17
Tabela 5. Wskaźniki dla transmisji danych - Download Wskaźnik prędkości transmisji danych Wskaźnik czasu ustanowienia połączenia TCP/IP Wskaźnik nieukończonych sesji Użycie technologii transmisji danych Tabela 6. Wskaźniki dla transmisji danych - Upload Wskaźnik prędkości transmisji danych Wskaźnik czasu ustanowienia połączenia TCP/IP Wskaźnik nieukończonych sesji Użycie technologii transmisji danych Tabela 7. Wskaźniki opóźnienia pakietów danych (RTT), utraty pakietów (PLR) i opóźnień pakietów (IPDV) Wskaźnik opóźnienia pakietów danych Współczynnik utraty pakietów Wskaźnik zmienności opóźnienia Orange Play 0s 15s 10,84 11,29 MDR 15s 30s 10,51 11,27 [Mb/s] 30s 45s 10,04 10,70 0s 45s 10,46 11,10 HIST [ms] 978,00 1 026,00 HSFR [%] 9,51 24,64 LTE 42,25 60,49 HSPA DC 21,53 7,17 HSPA+ 30,90 31,34 DTU [%] HSPA 3,03 0,78 R99 0,84 0,22 EDGE 0,98 0,00 GPRS 0,48 0,00 Orange Play 0s 15s 5,87 5,30 MDR 15s 30s 5,56 5,29 [Mb/s] 30s 45s 5,31 5,10 0s 45s 5,58 5,23 HIST [ms] 967,00 770,00 HSFR [%] 2,78 4,31 LTE 41,72 66,10 HSPA DC 21,76 7,32 HSPA+ 30,91 25,25 DTU [%] HSPA 3,09 0,77 R99 0,77 0,57 EDGE 0,93 0,00 GPRS 0,83 0,00 Orange Play RTT [ms] 80,55 83,72 IPLR [%] 1,36 1,68 IPDV [ms] 65,85 62,35 T- Plus Mobile 12,79 10,75 12,44 10,47 11,98 9,69 12,40 10,31 931,00 1 175,00 9,75 8,63 55,31 39,55 2,40 24,66 35,35 29,18 0,83 2,76 2,63 1,07 2,20 2,34 1,28 0,44 T- Plus Mobile 6,98 5,23 6,98 5,21 6,94 4,97 6,97 5,14 732,00 1 095,00 2,39 2,96 55,65 39,31 2,08 25,40 34,46 27,86 0,64 3,12 3,24 0,91 2,00 3,07 1,93 0,33 T- Plus Mobile 97,78 104,25 0,86 1,28 69,84 73,70 Tabela 8. Rodzaj użytych technologii podczas badania usługi głosowej (terminal Voice) Użycie technologii [%] Orange Play LTE 0,00 0,00 UMTS 65,57 69,11 GSM 34,43 30,89 T- Plus Mobile 0,00 0,00 72,15 59,60 27,85 40,40 Tabela 9. Rodzaj użytej technologii podczas badania usługi dostępu do internetu (terminal Data) Użycie technologii Orange Play LTE 38,56 55,28 UMTS 57,01 41,95 GSM 4,44 2,77 Pomimo tego, że uzyskane wyniki odbiegają od wyników badań drogowych na terenie całej Polski to nadal można je uznać za przyzwoite i potwierdzające dobrą jakość usług telekomunikacyjnych oferowanych przez polskich operatorów na trasach kolejowych. [%] T- Plus Mobile 50,00 35,62 42,77 58,74 7,23 5,63 str. 18
Usługi połączeń głosowych są realizowane na poziomie 92-94% co wskazuje na wysoką dostępność usług na trasach kolejowych. Połączenia są zestawiane w krótkim czasie i jednak dość często zrywane (powyżej 4% połączeń). Prawie 90% połączeń realizowanych jest z jakością sygnału mowy MOS powyżej 3,6. Operatorem oferującym najwyższą wartość wskaźnika skuteczności połączeń jest T-Mobile, najmniej zerwanych połączeń odnotowano w sieci Play, a najwyższy procent połączeń z MOS powyżej 3,6 w sieci Plus. Dla usługi transmisji danych najlepsze wyniki dla pomiarów szybkości transmisji, zarówno dla transmisji do i od terminala pomiarowego, osiągnięto w sieci Plus, a tuż za nią uplasowała się sieć Play. Te dwie sieci w największym stopniu obsługiwały tę usługę w sieci LTE, przy czym użycie technologii LTE w sieci Play było wyższe o 5pp. Sieci Orange i T-Mobile ze względu na wspólną infrastrukturę sieciowąą uzyskiwały zbliżone wyniki badania. Wyniki badań zagregowane dla tras kolejowych mierzonych w pociągach typu Pendolino W tabelach 10-15 zebrano wyniki badań jakości usług telekomunikacyjnych (usługi głosowej i usługi dostępu do Internetu) zagregowane dla pomiarów zrealizowanych na trasach przebytych pociągami typu Pendolino. Tabela 10. Wskaźniki dla połączeń głosowych Wskaźnik skuteczności połączeń telefonicznych Wskaźnik czasu zestawienia połączenia Wskaźnik połączeń przerwanych Wskaźnik jakości mowy Użycie kodeków głosowych T- Orange Play Plus Mobile CSSR [%] 77,18 84,60 79,65 82,95 CST [s] 4,17 5,29 4,85 4,27 DCR [%] 16,42 13,43 18,07 16,82 MOS_PI < 3.0 [%] 6,99 1,03 2,66 7,87 3.0 > MOS_PI > 3.6 [%] 19,21 19,31 16,35 19,48 MOS_PI > 3.6 [%] 73,80 79,66 80,99 72,66 AMR 52,19 56,16 63,19 41,16 AMR_FR 44,16 41,82 36,42 39,54 AMR_HR 3,65 0,45 0,39 2,61 VCU AMR_WB 0,00 0,00 0,00 0,00 [%] EFR 0,00 1,58 0,00 16,60 FR 0,00 0,00 0,00 0,00 HR 0,00 0,00 0,00 0,09 str. 19
Tabela 11. Wskaźniki dla transmisji danych - Download Wskaźnik prędkości transmisji danych Wskaźnik czasu ustanowienia połączenia TCP/IP Wskaźnik nieukończonych sesji Użycie technologii transmisji danych Tabela 12. Wskaźniki dla transmisji danych - Upload Wskaźnik prędkości transmisji danych Wskaźnik czasu ustanowienia połączenia TCP/IP Wskaźnik nieukończonych sesji Użycie technologii transmisji danych Orange Play Plus 0s 15s 6,51 8,33 7,59 6,56 MDR 15s 30s 6,04 8,50 6,90 5,76 [Mb/s] 30s 45s 5,59 7,75 5,98 5,28 0s 45s 6,05 8,21 6,83 5,86 HIST [ms] 1 868,00 2 077,00 1 411,00 2 472,00 HSFR [%] 29,09 42,60 18,09 26,79 LTE 20,01 57,44 29,70 18,17 HSPA DC 20,92 4,43 1,18 22,84 DTU [%] HSPA+ 46,12 37,09 56,29 42,69 HSPA 7,47 R99 1,77 EDGE 2,56 GPRS 1,15 Orange Play Plus 0s 15s 3,19 3,07 3,58 2,56 MDR 15s 30s 2,72 2,88 3,69 2,46 [Mb/s] 30s 45s 2,76 2,76 3,52 2,22 0s 45s 2,88 2,90 3,60 2,42 HIST [ms] 1 739,00 813,00 1 100,00 2 327,00 HSFR [%] 11,23 12,73 5,43 11,99 LTE 19,07 59,47 30,33 17,12 HSPA DC 17,99 8,90 1,56 25,92 DTU [%] HSPA+ 49,05 30,62 53,68 38,95 HSPA 8,17 R99 1,65 EDGE 2,07 GPRS 2,00 T- Mobile 0,68 1,50 7,43 0,36 5,77 2,48 0,00 3,15 4,79 0,00 2,41 1,59 T- Mobile 0,50 1,05 8,55 0,50 7,24 1,83 0,00 3,92 6,71 0,00 2,22 0,90 Tabela 13. Wskaźniki opóźnienia pakietów danych (RTT), utraty pakietów (IPLR) i zmienności opóźnień pakietów (IPDV) T- Orange Play Plus Mobile Wskaźnik opóźnienia pakietów danych Współczynnik utraty pakietów Wskaźnik zmienności opóźnienia RTT [ms] IPLR [%] IPDV [ms] 112,63 4,00 100,41 102,71 4,32 85,69 118,58 1,95 98,07 143,18 3,22 101,88 Tabela 14. Rodzaj użytych technologii podczas badania usługi głosowej (terminal Voice) Użycie technologii Tabela 15. Rodzaj użytych technologii podczas badania usługi dostępu do internetu (terminal Data) Użycie technologii [%] [%] T- Orange Play Plus Mobile LTE 0,00 0,00 0,00 0,00 UMTS 47,46 52,67 58,43 38,75 GSM 52,54 47,33 41,57 61,25 T- Orange Play Plus Mobile LTE 19,39 34,35 24,88 15,45 UMTS 68,42 56,34 62,84 70,23 GSM 12,19 9,32 12,28 14,32 str. 20
Statystycznie wyniki badań uzyskane dla pociągów Pendolino są wyraźnie gorsze niż wyniki łączne z całego badania. Przyczynia się do tego fakt, że nowoczesna i bezpieczna konstrukcja tych składów silniej tłumi sygnał radiowy. Usługi połączeń głosowych są realizowane na poziomie dużo poniżej 90%. Najlepszy wynik został uzyskany przez sieć Play (84,6%). Połączenia są zestawiane w relatywnie krótkim czasie, ale do zrywania połączenia dochodzi 3-krotnie częściej niż dla całości badania (13-18% połączeń zrywanych w sieciach). W tej kategorii również najlepszy wynik uzyskała siećć Play. Wyniki badań usługi transmisji danych w pociągach Pendolino są również gorsze niż dla całości badania. Dla operatorów Plus, Orange, T-Mobile różnica ta wynosi od 3 do ponad 5Mb/s dla transmisji do terminala. W przypadku transmisji do stacji bazowej wyniki spadły o prawie połowę. Przyczyną takiego stanu jest zmniejszenie się użycia technologii LTE o ponad 40% w stosunku do całego badania. str. 21
8 Dokładnośćć pomiarów Systemics-PAB w swoich pracach badawczych wykorzystuje ogólne statystyczne metody określania dokładności pomiarów ze szczególnym uwzględnieniem dokumentów ETSI, np. ETSI EG 202 057, ETSI TR 100 028-1 i ETSI TR 100 028-2. Dodatkowo Systemics-PAB posiłkuje się publikacjami z zakresu statystyki, np. Teoria pomiarów PWN, H. Szydłowski; Niepewność pomiarów OW PW, J. Arendarski. Systmics-PAB konsultuje się w przedmiotowych sprawach również z pracownikami Instytutu Radioelektroniki i Technik Multimedialnych, Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej. W analizach statystycznych wartość przedziału niepewności określa się dla zadanego poziomu ufności określonego przez błąd statystyczny rozkładu. Błąd statystyczny (dla rozkładu normalnego) jest powiązany z odchyleniem standardowym rozkładu. Błąd statystyczny wylicza się dla wybranego wysokiego poziomu ufności 0,95 wynosi ona 1,96) następująco: (dla poziomu ufności Gdzie: błąd statystyczny, funkcja odwrotna dystrybuanty rozkładu normalnego standaryzowanego dla prawdopodobieństwa, gdzie jest założonym poziomem ufności estymacji, nieobciążony estymator odchylenia standardowego w próbie, liczebność próby. Typowym poziomem ufności dla określenia niepewności wyników pomiarów jest poziom 0,95. Rzadziej stosuje się poziom 0,99, a zupełnie nietypowo dla 0,995. Wartości dla tak założonych poziomów wynoszą odpowiednioo 1,96 (dla 95%), 2,56 (dla 99%) i 2,81 (dla 99,5%). Rzeczywiste wyniki pomiarów nie muszą mieć charakteru rozkładu normalnego, ale dla uproszczenia obliczeń przy założeniu dużej liczby próbek pomiarowych przyjmuje się zasady określania błędów tak jak dla rozkładu normalnego. str. 22
Istotnym elementem organizacji pomiarów jest właściwy dobór liczebności próbek. Musi on być reprezentatywny zarówno w kwestii reprezentacji przestrzennej (trasa pomiarowa) i czasowej (godziny wykonywania pomiarów) jak również powinien brać pod uwagę błąd pomiaru, który może wpłynąć na interpretację wyników. Dla 95% poziomu ufności i różnych wartości zakładanego błędu uzyskujemy wymagane wielkości próby jak w tabelach poniżej: Tabela 16. Liczność próby, a dokładność pomiaru Wykonane przez Systemics-PAB ilości testów łącznie dla wszystkich mierzonych tras kolejowych pozwalają oszacować, że błąd statystyczny leży w przedziale znacząco poniżej 3% błędu statystycznego. W takim przypadku było możliwe zapewnienie uzyskania dokładności lepszej niż 10% błędu względnego dla wielkości, dla których 3% błąd statystyczny jest mniejszy niż 10% zmierzonej wartości (np. skuteczność połączeń, która oscyluje w okolicach 97-98%). Nie możliwe ze statystycznego punktu widzenia było spełnienie wymagania, aby błąd statystyczny względny był nie większy niż 10%", np. w przypadku częstości zerwanych połączeń. Przy oczekiwanej wartości tego wskaźnika na poziomie poniżej 2 % względny błąd 10% oznacza 10% od 2% czyli 0,2 %. Liczba przeprowadzonych testów na przejechanych trasach kolejowych jak również dla testów przeprowadzonych łącznie w pociągach typu Pendolino są mniejsze niż ż 500 i powyższe rozważania nie mogą się do nich odnosić. str. 23
Podsumowując Systmics-PAB, dla zrealizowanej liczności próby z pomiarów na wszystkich badanych trasach kolejowych, dla poziomu ufności 95%, zapewnia dokładność badania mniejszą niż 10% (błąd względny) dla wskaźników, których wartości przyjmują względnie wysokie wartości nominalne (zakładany 3% błąd statystyczny nie jest wyższy niż 10% błąd względny). Dla wskaźników o małych wartościach zmierzonych dokładność ta jest z matematycznego punktu widzenia niemożliwa do osiągnięcia ze względu na ograniczoną liczność próby (liczby testów w zamówionym przez UKE czasie badania). Wynika to z faktu, że błąd względny obliczany z wartości zmierzonej może wielokrotnie przekraczać błąd statystyczny możliwy do osiągnięcia dla zadanej próby pomiarowej. Wyliczenia przedziałów ufności dla wybranych wskaźników zagregowanych dla obszaru całego kraju i zmierzonych w pociągach typu Pendolino zawarto w tabeli 17. Agregacje te mają znacząco różne liczby prób, co wyraźnie wpływa na wartość przedziału ufności. str. 24
CSSR Udane próby połączenia Liczba Wszystkie próby Liczba Wartość średnia CSSR [%] Przedział ufności (CI) [%] CDR Zerwane połączenia Liczba Pomyślnie rozpoczęte połączenia Liczba Wartość średnia CDR [%] Przedział ufności (CI) [%] MOS PI < 3.0 Próby MOS POLQA > 3.6 Liczba Wszystkie próby Liczba POLQA MOS PI [%] Przedział ufności (CI) [%] RTT Próby RTT Odchylenie standardowe StDev Przedział ufności (CI) MDR (DL) 0s 45s Próby MDR (DL) 0s 45s Odchylenie standardowe StDev Przedział ufności (CI) MDR (UL) 0s 45s Próby MDR (UL) 0s 45s Odchylenie standardowe StDev Przedział ufności (CI) Liczba [ms] [ms] [ms] Liczba [Mbps] [Mbps] [Mbps] Liczba [Mbps] [Mbps] [Mbps] Tabela 17. Obliczenia przedziałów ufności Polska Pendolino Orange Play Plus T-Mobile Orange Play Plus T-Mobile 2 279 2 398 2 445 2 311 274 335 321 321 2 492 2 565 2 639 2 467 355 396 403 387 91,45 93,49 92,65 93,68 77,18 84,60 79,65 82,95 1,10 0,96 1,00 0,96 4,36 3,57 3,93 3,76 Polska Pendolino Orange Play Plus T-Mobile Orange Play Plus T-Mobile 144 120 133 135 45 45 58 54 2 279 2 398 2 445 2 311 274 335 321 321 6,32 5,00 5,44 5,84 16,42 13,43 18,07 16,82 1,00 0,88 0,90 0,96 4,41 3,68 4,22 4,11 Polska Pendolino Orange Play Plus T-Mobile Orange Play Plus T-Mobile 1 856 2 004 2 060 1 924 169 231 213 194 2 135 2 278 2 312 2 176 229 290 263 267 86,93 87,97 89,10 88,42 73,80 79,66 80,99 72,66 1,43 1,34 1,27 1,35 5,68 4,64 4,75 5,33 Polska Pendolino Orange Play Plus T-Mobile Orange Play Plus T-Mobile 1 163 1 078 1 217 1 189 157 146 178 171 80,55 83,72 97,78 104,25 112,63 102,71 118,58 143,18 71,29 58,33 94,19 85,51 99,08 92,41 123,56 133,59 4,10 3,48 5,29 4,86 15,50 14,99 18,15 20,02 Polska Pendolino Orange Play Plus T-Mobile Orange Play Plus T-Mobile 2 179 1 786 2 221 2 191 273 225 317 287 10,46 11,10 12,40 10,31 6,05 8,21 6,83 5,86 12,79 14,99 16,90 12,53 9,42 13,99 11,40 9,04 0,54 0,70 0,70 0,52 1,12 1,83 1,25 1,05 Polska Pendolino Orange Play Plus T-Mobile Orange Play Plus T-Mobile 2 346 2 267 2 407 2 325 340 336 366 345 5,58 5,23 6,97 5,14 2,88 2,90 3,60 2,42 7,06 6,12 9,06 6,87 5,68 4,26 6,81 5,12 0,29 0,25 0,36 0,28 0,60 0,46 0,70 0,54 str. 25
9 Podsumowanie wyników badania Przeprowadzone badanie jest jak do tej pory najszerszym badaniem jakości usług świadczonych przez operatorów mobilnych sieci telekomunikacyjnych na trasach kolejowych w Polsce. W ciągu trzech tygodni sierpnia 2016 roku wykonano pomiary na najpopularniejszych trasach kolejowych. Pomiary wykonywano w składach różnego typu, a niektóre z tras byłyy badane dwukrotnie w różnych typach składów. Szczegółowe wyniki dla każdej z tras przedstawiono w zestawieniach tabelarycznych w Załączniku 1 do raportu. Badanie dotyczyło zarówno usług głosowych jak i usług transmisji danych. Uzyskane w trakcie badania wyniki pokazują ogólny dobry poziom świadczonych usług. Wartości wskaźników dla badania jakości usług głosowych są gorsze niż dla przeprowadzonych wcześniej testów drogowych, ale mając na uwadze dodatkowe tłumienie sygnału radiowego przez konstrukcję wagonów kolejowych, taki spadek jakości w badaniach był nieunikniony. Szczególną uwagę należy zwrócić na znacząco gorsze wyniki uzyskane w pociągach ze składami Pendolino. Sytuację mogłoby poprawić stosowanie repeaterów sygnału w wagonach kolejowych lub też dodatkowe inwestycje w infrastrukturę sieci telekomunikacyjnych. Mając na uwadze, że jakość i dostępność usług za całe badanie jest na dobrym poziomie, bardziej właściwym wydaje się rozwiązanie z repeaterami, gdyż infrastruktura telekomunikacyjna na dobrym poziomie jest już obecna. Rozkład wartości wskaźnika MOS_PI jest na podobnym poziomie dla wszystkich operatorów i nie będzie miał on dużego wpływu na postrzeganie danego operatora. Uwagę zwraca wysoki odsetek próbek z MOS PI<3 w badaniu dla składów Pendolino. Występuje wyraźnie widoczne zróżnicowanie w poziomie sygnału, z jakim realizowane były połączenia głosowe na poszczególnych trasach i dla wyników zagregowanych dla różnych typów pociągów. Wykresy poniżej zawierają informację o udziale próbek z najniższym poziomem sygnału mierzonym podczas trwania połączeń. str. 26
20 18 16 14 12 10 8 6 4 2 Wskaźnik czasu zestawienia połączenia Wskaźnik połączeń przerwanych Wskaźnik skuteczności połączeń telefonicznych 100 90 80 70 60 50 40 30 20 10 0 Orange Play Plus T-Mobile Orange-P Play-P Plus-P T-Mobile-P 0 Wykres 1. Porównanie wyników badań głównych wskaźników jakości usług głosowych czterech operatorów dla wszystkich przejazdów (w tym także w wagonach Pendolino) i w składach Pendolino (literka P dodana do oznaczenia operatora) Wskaźnik prędkości transmisji danych DL 20 18 Wskaźnik prędkości transmisji danych UL 16 14 12 10 8 6 4 2 0 Orange Play Plus T-Mobile Orange-P Play-P Plus-P T-Mobile-P Wykres 2. Porównanie wyników badań głównych wskaźników jakości usług transmisji danych głosowych czterech operatorów dla wszystkich przejazdów (w tym także w wagonach Pendolino) i w składach Pendolino (literka P dodana do oznaczenia operatora) str. 27
Wskaźnik jakości mowy Wskaźnik jakości mowy 100 90 80 70 60 50 40 30 20 10 0 Wskaźnik jakości mowy Orange Play Plus T-Mobile Orange-P Play-P Plus-P T-Mobile-P Wykres 3. Porównanie wyników badań wskaźników jakości sygnału mowy (MOS PI) czterech operatorów dla wszystkich przejazdów (w tym także w wagonach Pendolino) i w składach Pendolino (literka P dodana do oznaczenia operatora) str. 28
Poziomy sygnałów z terminali dla technologii 2G, 3G i 4G dla agregacji wyników dla całego kraju i w składach pociągów typu Pendolino. Wyniki badań poziomu sygnału radiowego generowanych z terminali przedstawiają wykresy 4-6. Dostępność sygnałów radiowych badanych sieci dla analizowanych agregacji pokazuje dobrą dostępność sieci 2G umożliwiającą realizację połączeń głosowych (mały udział poziomów sygnału poniżej -95dBm). W przypadku sieci 2G różnice pomiędzy wynikami dla agregacji dla wagonów typu Pendolino w stosunku do całego pomiaru nie są zbyt duże i wahają się w granicach 10%. Największe różnice występują dla sieci 4G gdzie różnice poziomów sygnałów pomiędzy agregacjami sięgają ponad 20% dla udziału procentowego najsłabszych mierzonych sygnałów radiowych. Wykres 4. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 2G str. 29
Wykres 5. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 3G Wykres 6. Procentowy udział najniższych poziomów RSRP dla sieci 4G str. 30
Porównanie poziomów sygnałów radiowych z terminali dla technologii 2G, 3G i 4G dla poszczególnych tras kolejowych. Należy podkreślić, że w trakcie badania dostępność zasięgu poszczególnych sieci dla usług głosowych i dla usług transmisjii danych była ogólnie na wysokim poziomie. Niedostępność sieci jako procent czasu kiedy terminal nie mógł się zalogować do sieci przedstawiono w tabeli 18 i na stowarzyszonym z nią wykresie 7. W przypadku usług głosowych najlepszy wynik osiągnęła sieć Play, co nie powinno dziwićć z uwagi na podpisane umowy roamingu krajowego ze wszystkimi operatorami. Biorąc pod uwagę łącznie oba typy usług najlepszym wynikiem może się poszczycić T-Mobile, dla którego niedostępność sieci została zmierzona na poziomie poniżej 4%. 20,0% 18,0% 16,0% 14,0% 12,0% 10,0% 8,0% 6,0% 4,0% 2,0% 0,0% Orange Play Plus T-Mobile Brak zasięgu dla usług głosowych Brak zasięgu dla usług transmisji danych Wykres 7. Niedostępność sieci Orange Play Plus T-Mobile Brak zasięgu dla usług głosowych Brak zasięgu dla usług transmisji danych Tabela 18. Niedostępność sieci 6,1% 6,2% 2,9% 18,2% 3,7% 4,2% 3,3% 3,8% str. 31
Niedostępność usług jako procent czasu kiedy terminal nie mógł się zalogować do sieci przedstawiono w tabeli 19. Dane zostały zestawione sumarycznie dla obu usług, usługi głosowej i usługi dostępu do Internetu. Szczegółowy opis tras znajduje się w załączniku nr 2. Trasa kolejowa Bydgoszcz Iława - Olsztyn Kutno - Bydgoszcz Olsztyn - Działdowo Gdynia - Hel Hel - Gdynia Katowice Bielsko Biała Bielsko Biała - Katowice Wrocław - Katowice Kraków Rzeszów Kraków - Zakopane Katowice - Kraków Rzeszów - Kraków Zakopane - Kraków Gdynia - Koszalin Koszalin - Kołobrzeg Koszalin - Gdynia Kołobrzeg - Koszalin Lublin Radom Kielce Włoszczowa Włoszczowa Kielce Radom - Lublin Poznań - Rzepin Poznań - Szczecin Gdynia - Poznań Rzepin - Poznań Wrocław - Poznań Szczecin - Koszalin Szczecin - Świnoujście Niedostępność usług [%] Pociąg nr Orange Play Plus T-Mobile R59402 4,88 6,20 3,68 3,23 IC1517 1,97 3,35 5,21 0,34 R90608 4,38 8,77 0,000 1,91 R90511 1,38 0,81 0,69 0,76 R55074 1,61 0,16 0,16 0,48 EIP5400 7,33 6,09 4,844 3,28 KS49512 0,15 0,23 0,49 0,14 IC84111 3,65 3,65 2,64 1,63 IC6302 0,19 1,35 0,84 0,03 TLK4320 6,01 4,68 3,04 1,63 R43306 9,26 13,08 14,05 3,47 EIP3502 11,76 10,80 10,800 6,99 EIC3152 0,00 1,21 0,333 1,64 TLK1810 13,47 14,31 11,85 11,17 TLK1810 0,01 0,18 0,000 0,00 EIP8300 0,67 23,73 0,02 0,86 EIP8300 8,42 25,22 11,02 1,56 TLK26102 4,72 10,43 2,71 2,49 TLK62104 6,52 9,21 2,65 2,50 EIC44 0,00 10,84 0,14 0,00 IC48105 0,01 16,12 1,09 0,00 TLK5604 0,39 1,69 0,24 0,08 EIC45 0,00 19,74 0,26 0,00 TLK6111 1,20 8,06 0,67 0,24 R89120 19,90 24,43 10,38 18,47 R88330 17,61 27,61 13,888 16,65 str. 32
Koszalin - Szczecin Świnoujście - Szczecin Toruń - Bydgoszcz Bydgoszcz - Toruń Warszawa - Białystok Warszawa Siedlce Biała Podlaska Warszawa - Gdynia Warszawa - Katowice Warszawa - Łódź Warszawa - Lublin Warszawa - Wrocław Białystok - Warszawa Biała Podlaska Siedlce - Warszawa Katowice - Warszawa Kraków - Warszawa Łódź - Warszawa Lublin - Warszawa Poznań - Warszawa Kraków Radom - Warszawa Jelenia Góra - Wrocław Wrocław Jelenia Góra Szczecin - Wrocław TLK5810 11,55 15,45 1,24 2,49 IC83250 19,47 25,80 6,333 12,59 TLK35106 5,93 10,42 2,83 1,84 IC5114 0,17 5,82 0,07 0,00 TLK141 3,12 10,93 1,57 1,52 IC31112 0,12 0,99 0,41 0,39 EIP3500 10,41 19,16 6,30 4,48 EIP5400 12,78 23,31 4,71 4,59 TLK1910 0,00 0,82 0,01 0,00 TLK53106 1,00 1,41 0,85 0,47 EIP1603 26,69 22,43 16,000 18,67 IC10114 1,66 6,94 1,54 0,88 TLK1111 0,63 1,80 0,58 0,25 TLK4520 4,73 13,29 0,84 0,34 EIP3506 37,08 37,96 22,422 25,98 TLK9110 0,89 0,62 0,04 0,11 IC24105 4,08 8,15 0,46 0,95 TLK8115 0,12 0,95 0,09 0,06 TLK32100 5,35 11,61 6,53 1,12 IC61100 0,54 3,26 0,111 0,27 IC16102 4,23 8,74 1,14 0,74 IC84111 1,80 14,45 1,888 0,35 Tabela 19. Niedostępność usług na trasach kolejowych str. 33
Wyniki badań poziomu sygnału radiowego z terminali przedstawiają ą wykresy od 8 do 19. Wykres 8. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 2G (część 1 listy relacji) Wykres 9. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 3G (część 1 listy relacji) Wykres 10. Procentowy udział najniższych poziomów RSRP dla sieci 4G (część 1 listy relacji) str. 34
Wykres 11. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 2G (część 2 listy relacji) Wykres 12. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 3G (część 2 listy relacji) Wykres 13. Procentowy udział najniższych poziomów RSRP dla sieci 4G (część 2 listy relacji) str. 35
Wykres 14. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 2G (część 3 listy relacji) Wykres 15. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 3G (część 3 listy relacji) Wykres 16. Procentowy udział najniższych poziomów RSRP dla sieci 4G (część 3 listy relacji) str. 36
Wykres 17. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 2G (część 4 listy relacji) Wykres 18. Procentowy udział najniższych poziomów sygnału radiowego dla sieci 3G (część 4 listy relacji) Wykres 19. Procentowy udział najniższych poziomów RSRP dla sieci 4G (część 4 listy relacji) Z przedstawionych wyników widać, że sieć Orange najczęściej charakteryzuje się niskim procentem próbek sygnału radiowego 2G poniżej -95dBm. str. 37
Duży udział próbek w tym przedziale występuje u wszystkich operatorów na następujących mierzonych relacjach kolejowych: Szczecin-Koszalin, Koszalin-Kołobrzeg, Koszalin-Gdynia, Warszawa-Kraków, Lublin-Włoszczowa, Szczecin-Świnoujście, Warszawa-Gdynia, Warszawa- Białystok, Warszawa-Katowice. Porównanie poziomów sygnałów z terminali dla technologii 2G dla poszczególnych typów wagonów na wybranych relacjach. Dla zebranych wyników pomiarów dokonano porównania wpływu typu wagonu na poziom sygnału sieci 2G mierzony przez terminale w wagonach. Do porównania wykorzystano tylko poziomy sygnału 2G ze względu na rozwiniętą infrastrukturę sieci 2G, co uniezależnia wynik pomiaru od kierunku jazdy i zajmowanegoo miejsca w pociągu. Zestawienie porównywanych relacji i typów wagonów zawiera tabela 20. Nazwa Koszalin Szczecin Szczecin Koszalin Warszawa Lublin Lublin Warszawa Katowice Warszawa Warszawa Katowice Katowice Bielsko-Biała Bielsko-Biała Katowice Kraków Zakopane Zakopane Kraków Biała Podlaska Siedlce Warszawa Warszawa Siedlce Biała Podlaska Kod Przewoźn Pociąg nr Nr boczny ik SC2KS TLK TLK5810 50 51 20-78 1 554-6 SC1KS Regio R89120 94 512 140 561-3 WA1LU TLK TLK 50 51 20-78 53106 631-2 WA2LU IC IC24105 94 51 2 150 233-6 WA2KAA TLK TLK 4520 50 51 39-78 004-1 WA1KAA EIP EIP5400 93 51 2 370 023-6 KA1BB EIP EIP5400 93 51 2 370 023-6 KA2BB KS KS49512 9451 2120815-7 KR1ZA TLK TLK4320 51 51 20-70 0 880-0 KR2ZA EIC EIC3152 615120-90 007-6 WA2BP TLK TLK1111 51 51 20-70 0 478-5 WA1BP IC IC31112 94 51 2 140 208-1 Tabela 20. Zestawienie par porównywanych typów wagonów na tych samych relacjach Wagon 111A 36WEa 111A ED161 112At ED250 ED250 EN57 111A 154A 111A ED74 Typ Typ 1 Typ 3 Typ 1 Typ 4 Typ 1 Typ 5 Typ 5 Typ 2 Typ 1 Typ 2 Typ 1 Typ 2 Repea ter tak str. 38
Na następnych stronach zostały przedstawione wyniki porównania. Należy zwrócić uwagę, że nowsze typy wagonów mająą większe tłumienie sygnału radiowego wynikające z konstrukcji wagonów, podniesionego bezpieczeństwa i komfortu pasażerów (wzmocnienia, metalizacja szyb). Najlepsze wyniki uzyskiwano dla wagonów typu 1 (model 111A) i ich zmodyfikowanej wersji, czyli typu 2 (np. model 154A). Zastosowanie repeaterów sygnału radiowego znacząco poprawia dostępność i jakość usług w wagonach. Repeatery nie są jednak powszechnie stosowane, a w przypadkach, kiedy są, działają tylko w paśmie 900MHz dla usług głosowych. Stosowanie repeaterów wielopasmowych właściwych dla wszystkich technologii na pewno poprawiłoby jakość usług innych niż głosowe. str. 39
Relacja Koszalin - Szczecin wagony typu 1 (SC2KS) i 3 (SC1KS) 100 80 60 40 20 0 SC2KS SC2KS SC2KSS SC2KS SC1KS SC1KS SC1KS Orange Play Plus T-Mobile Orange Play Plus SC1KS T-Mobile Wykres 20. Procentowy rozkład poziomów RxLev 100 Koszalin Szczecin 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 21. Główne wskaźniki jakościowe dla relacji SC2KS (wagon typ 1) 100 Szczecin Koszalin 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 22. Główne wskaźniki jakościowe dla relacji SC1KS (wagon typ 3) Tłumienie sygnału w wagonie typu 3 jest większe i wpływa na jakość usług głosowych niższą stopę skutecznych połączeń CSSR i częstsze zrywanie połączeń DCR. Widać również gorsze wyniki dla usługi transmisji danych w kierunku do stacji bazowej. str. 40
Relacja Warszawa - Lublin wagony typu 1 i 4 100 80 60 40 20 0 WA2LU WA2LU WA2LU WA2LU WA1LU WA1LU WA1LU Orange Play Plus T-Mobile Orange Play Plus WA1LU T-Mobile Wykres 23. Procentowy rozkład poziomów RxLev 100 Warszawa Lublin 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 24. Główne wskaźniki jakościowe dla relacji WA1LU (wagon typ 1) 100 Lublin Warszawa 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 25. Główne wskaźniki jakościowe dla relacji WA2LU (wagon typ 4) Tłumienie sygnału w wagonie typu 4 jest większe i wpływa na jakość usług głosowych niższą stopę skutecznych połączeń CSSR i częstsze zrywanie połączeń DCR. Widać również gorsze wyniki dla usługi transmisji danych w kierunku do stacji bazowej. str. 41
Relacja Warszawa - Katowice wagony typu 1 i 5 100 80 60 40 20 0 WA2KA WA2KA WA2KA WA2KA WA1KA WA1KA WA1KA Orange Play Plus T-Mobile Orange Play Plus WA1KA T-Mobile Wykres 26. Procentowy rozkład poziomów RxLev 100 Warszawa Katowice 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 27. Główne wskaźniki jakościowe dla relacji WA1KA (wagon typ 5) 100 Katowice Warszawa 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 28. Główne wskaźniki jakościowe dla relacji WA2KA (wagon typ 1) Tłumienie sygnału w wagonie typu 5 (Pendolino) jest większe i wpływa na jakość usług głosowych niższą stopę skutecznych połączeń CSSR i częstsze zrywanie połączeń DCR. Widać również gorsze wyniki dla usługi transmisji danych, szczególnie w kierunku do stacji bazowej. str. 42
Relacja Katowice -Bielsko-Białaa wagony typu 2 i 5 100 80 60 40 20 0 KA2BB KA2BB KA2BBB KA2BB KA1BB KA1BB KA1BB Orange Play Plus T-Mobile Orange Play Plus KA1BB T-Mobile. Wykres 29. Procentowy rozkład poziomów RxLev Nietypowy rozkład poziomu sygnału sieci 2G dla Plusa podczas przejazdu wagonem Typu 2 wynika z małej liczności próby pomiarowej dla technologii 2G. Podczas tego badania jedynie 2% pomiarów było zrealizowanych w tej technologii. 100 Katowice Bielsko-Biała 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 30. Główne wskaźniki jakościowe dla relacji KA1BB (wagon typ 5) 100 Bielsko-Biała Katowice 10 1 CSSR [%] CST [s] DCR [%] MOS_PI < 3.0 [%] DL MDR [Mb/s] UL MDR [Mb/s] Orange Play Plus T-Mobile RTT [ms] Wykres 31. Główne wskaźniki jakościowe dla relacji KA2BB (wagon typ 2) Tłumienie sygnału w wagonie typu 5 (Pendolino) jest większe i wpływa na jakość usług głosowych niższą stopę skutecznych połączeń CSSR i częstsze zrywanie połączeń DCR. Widać również gorsze wyniki dla usługi transmisji danych szczególnie w kierunku do stacji bazowej str. 43