Jan Kondej Dyrektor Techniczny j.kondej@syspab.eu Pomiar wskaźników jakościowych sieci komórkowych zgodnie z zaleceniami Memorandum
Cel pomiaru Zaprezentowanie wyników na Sympozjum Obserwacje dotyczące wartości informacyjnej Porównanie pomiarów naprzemiennych i równoczesnych Uwagi dotyczące zaobserwowanych zjawisk 2
Podsumowanie pomiaru Pomiary wykonywano zgodnie z zaleceniami raportu z prac Zespołu Roboczego Memorandum Pomiary wykonano w dwóch terminach w sierpniu 2014 roku Dla centrum Poznania pomiaru usług transmisji danych dla operatorów Orange i T-Mobile dokonano zarówno metodą równoczesnego pomiaru jak i pomiaru naprzemiennego Dla całego Poznania pomiary wykonano metodą równoczesnego pomiaru usług transmisji danych dla operatorów Orange i T-Mobile Zestawienie wyników wykonano zgodnie z zaleceniami raportu z prac Zespołu Roboczego Memorandum 3
Sprzęt pomiarowy SwissQual Benchmarker: voice Nokia C5, data Huawei E398 Data Server: 1 sztuka centralnie w domenie publicznej Voice Server: 1 sztuka centralnie w lokalizacji Systemics 4
Satystyka pomiaru i mapy Test Orange Play Plus T-Mobile Voice Calls # 1042 1037 1034 1039 HTTP Transfer DL # 373 367 374 373 HTTP Transfer UL # 368 367 365 369
Pomiary równoczesne vs. naprzemienne (1) równoczesne naprzemienne KPI Orange Play Plus T-Mobile Orange Play Plus T-Mobile HTTP DL Transfer Service Success Rate [%] Rate 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% HTTP DL Transfer Mean User Data Rate [kbps] Min 4472,35 6859,94 4053,98 5044,59 10532,30 10931,58 4339,07 6728,67 Max 39387,22 32883,02 88541,62 32562,32 40113,95 33120,36 76682,91 45391,54 Avg 13650,91 19797,32 30062,46 14454,14 20671,10 21085,78 33612,76 22762,99 Wskaźnik prędkości transmisji danych (MDR DL) 30 sec 14,27 19,77 29,29 13,83 18,64 20,63 34,42 21,59 60 sec 12,76 17,93 31,18 13,95 20,22 20,89 33,27 21,77 90 sec 13,76 19,91 31,02 14,80 21,30 20,68 32,32 23,38 HTTP UL Transfer Service Success Rate [%] Rate 100,00% 97,06% 97,14% 100,00% 95,24% 97,30% 100,00% 100,00% HTTP UL Transfer Mean User Data Rate [kbps] Min 9512,54 2732,54 431,37 7367,28 7202,98 7399,37 11929,84 15183,21 Max 21525,70 19896,17 38720,54 20437,79 22112,79 20985,23 43173,66 20941,10 Avg 14411,29 11429,13 13379,12 13000,54 18430,05 14146,08 31014,19 18344,32 Wskaźnik prędkości transmisji danych (MDR UL) 30 sec 15,64 12,56 21,36 11,36 17,01 13,50 27,60 15,68 60 sec 13,86 11,72 13,10 13,35 19,05 13,64 31,41 19,32 90 sec 13,10 10,11 6,95 13,61 18,17 14,44 32,49 19,47 Wskaźnik opóźnienia pakietów [msec] msec 45,73 30,51 35,76 23,56 55,73 31,66 35,85 29,22 Naprzemienność pomiarów nie przekłada się bezpośrednio i proporcjonalnie na wyniki operatora Wpływ mają na to czynniki związane z chwilowym obciążeniem sieci, sposobem zarządzania wspólnymi zasobami Dobrze to widać na przykładzie Plusa w obu przypadkach mierzony tak samo, a wynik bardzo różny
Pomiary równoczesne vs. Naprzemienne (1) Pomiary równoczesne naszym zdaniem lepiej odzwierciedlają odczucia klienta Agregowanie wyników operatorów współdzielących sieć pozwala na uzyskanie wyników łącznych takiej sieci
Wyniki pomiarów - Cały Poznań(voice) Group Service Unit Orange Play Plus T-Mobile Group 1 Wskaźnik skuteczności połączeń telefonicznych % 99,52% 99,61% 99,71% 99,62% Group 2 Wskaźnik połączeń przerwanych % 0,19% 0,10% 0,58% 0,19% Group 3 Wskaźnik jakości mowy % 99,04% 98,65% 97,58% 99,23% Group (100%-90%) <90%-70%> (70%-0%> KPI Orange Play Plus T-Mobile Call Setup Success Rate (CSSR) [%] Rate 99,52% 99,61% 99,71% 99,62% Dropped Call Rate (DCR) [%] Rate 0,19% 0,10% 0,58% 0,19% Call Successful Termination Rate (CSTR) [%] Rate 99,33% 99,52% 99,13% 99,42% Voice Service Access Time [sec] Min 0,97 2,00 1,88 1,56 Max 12,10 14,24 12,30 18,00 Avg 3,80 3,58 3,76 3,20 Voice Speech Quality POLQA on Sample basis Min 1,00 1,00 1,00 1,00 [MOS LQO] Max 4,44 4,44 4,48 4,46 Avg 4,08 4,03 3,89 4,08 Wskaźnik jakości mowy (MOS_PI) Rate 99,04% 98,65% 97,58% 99,23%
Wyniki pomiarów - Cały Poznań(data) Group Service Conditions Unit Orange Play Plus T-Mobile Group 1 WWW browsing Througput > 1 Mb/s DL RTT<200ms % 100,00% 100,00% 100,00% 100,00% Group 2 SD video playback Througput > 2 Mb/s DL RTT<200ms % 100,00% 100,00% 99,71% 100,00% Group 3 HD video playback Througput > 6 Mb/s DL RTT<200ms % 95,19% 99,25% 92,38% 94,09% Group 4 HD video calls Througput > 1,5 Mb/s DL/UL RTT<150ms % 99,72% 94,76% 76,46% 99,82% Group 5 VoIP calls Througput > 0,64 Mb/s DL/UL RTT<150ms % 100,00% 99,91% 98,14% 100,00% Group 6 Multiroom (3x HD video) Througput > 18 Mb/s DL RTT<200ms % 30,83% 59,31% 77,93% 30,13% Group 7 Real Time online gamming Througput > 2 Mb/s DL & 1,5 Mb/s UL RTT<30ms % 15,56% 16,37% 0,00% 63,31% Group 8 Other online gamming Througput > 1 Mb/s DL/UL RTT<200ms % 99,81% 97,19% 85,35% 100,00% KPI Orange Play Plus T-Mobile HTTP DL Transfer Service Success Rate [%] Rate 100,00% 100,00% 100,00% 100,00% HTTP DL Transfer Mean User Data Rate [kbps] Min 4472,35 6859,94 3035,77 5044,59 Max 46980,43 54292,94 88541,62 48732,22 Avg 16338,84 22245,45 32947,15 15951,93 Wskaźnik prędkości transmisji danych (MDR DL) 30 sec 16,17 21,48 32,13 14,82 60 sec 16,08 21,96 33,19 15,94 90 sec 16,02 22,17 33,59 16,17 HTTP UL Transfer Service Success Rate [%] Rate 99,73% 99,73% 98,63% 100,00% HTTP UL Transfer Mean User Data Rate [kbps] Min 3365,64 445,25 88,49 2917,32 Max 22370,66 20732,26 45442,02 21424,57 Avg 15544,62 14442,76 17245,64 14367,37 Wskaźnik prędkości transmisji danych (MDR UL) 30 sec 15,85 15,59 22,50 13,04 Group 1 Group 2 Group 3 (100%-98%) (0%-2%) (100%-90%) <98%-95%> <2%-5%> <90%-80%> (95%-0%> (5%-100%> (80%-0%> 60 sec 15,19 14,49 17,81 15,02 90 sec 14,94 13,19 14,56 14,59 Wskaźnik opóźnienia pakietów [msec] msec 38,10 31,75 36,77 27,36
Komentarze Group Service Unit Orange Play Plus T-Mobile Group 1 Wskaźnik skuteczności połączeń telefonicznych % 99,52% 99,61% 99,71% 99,62% Group 2 Wskaźnik połączeń przerwanych % 0,19% 0,10% 0,58% 0,19% Group 3 Wskaźnik jakości mowy % 99,04% 98,65% 97,58% 99,23% W kategorii usług głosowych wszyscy operatorzy uzyskali zielone noty, prezentowanie ich bez podawania wartości liczbowych nie niesie za sobą żadnych informacji dla klienta. Group Service Conditions Unit Orange Play Plus T-Mobile Group 1 WWW browsing Througput > 1 Mb/s DL RTT<200ms % 100,00% 100,00% 100,00% 100,00% Group 2 SD video playback Througput > 2 Mb/s DL RTT<200ms % 100,00% 100,00% 99,71% 100,00% Group 3 HD video playback Througput > 6 Mb/s DL RTT<200ms % 95,19% 99,25% 92,38% 94,09% Group 4 HD video calls Througput > 1,5 Mb/s DL/UL RTT<150ms % 99,72% 94,76% 76,46% 99,82% Group 5 VoIP calls Througput > 0,64 Mb/s DL/UL RTT<150ms % 100,00% 99,91% 98,14% 100,00% Group 6 Multiroom (3x HD video) Througput > 18 Mb/s DL RTT<200ms % 30,83% 59,31% 77,93% 30,13% Group 7 Real Time online gamming Througput > 2 Mb/s DL & 1,5 Mb/s UL RTT<30ms % 15,56% 16,37% 0,00% 63,31% Group 8 Other online gamming Througput > 1 Mb/s DL/UL RTT<200ms % 99,81% 97,19% 85,35% 100,00% W kategorii usług transmisji danych noty są bardzie zróżnicowane szczególnie tam gdzie występują oceny czerwone. We wszystkich przypadkach brak informacji liczbowej nie pozwala na właściwą ocenę operatora Do zastanowienia wydaje się próg RTT=30ms dla online gamming. Średnie wyniki operatorów wahały się w przedziałach 25-50ms. Nie są to wartości dyskryminujące jak to wynika z tabeli ocen
Podsumowanie We wszystkich kategoriach pomiarów wyniki uzyskiwane przez operatorów można uznać za bardzo dobre Informacja zakodowana jedynie w postaci kolorów może być zbyt uboga dla odbiorców Pomiar równoczesny sieci współdzielonych naszym zdaniem lepiej oddaje odczucia użytkowników niż pomiar naprzemienny Mapowanie wyników pomiarów naprzemiennych na jakość usług z wykorzystaniem transmisji danych może budzić kontrowersje Problemy z jakością usług z wykorzystaniem transmisji danych jakie widać w tabeli ocen wymagają od operatorów podejmowania działań naprawczych przed kolejnymi kampaniami pomiarowymi. Z tego powodu pomiary nie mogą się rozciągać na cały okres pomiędzy kampaniami. Pomiary i publikacja wyników powinna się zamykać w okresie 8-10 tygodni.
Dziękuję za uwagę Cezary Górski Dyrektor Handlowy c.gorski@syspab.eu 12