Come rappresentiamo le prestazioni misurate: i KPI
Le prestazioni che misuriamo sono rappresentate da alcuni parametri
tecnici (detti KPI, Key Performance Indicator), che
consentono di descrivere nel modo più generale ed accurato
possibile, le caratteristiche delle reti mobili di accesso. A
partire poi dai valori misurati di tali parametri tecnici sarà
possibile caratterizzare degli aspetti di qualità inerenti la
fruizione dei servizi su Internet.
Nell’ambito in esame
il nostro interesse è rivolto prettamente alla qualità del servizio
oggettiva, ottenuta appunto attraverso metriche direttamente
misurabili, quali la velocità, il ritardo e la sua variabilità o la
perdita di pacchetti, piuttosto che a quella soggettiva (ossia come
l’utente percepisce il livello di servizio di una certa
applicazione di rete o di un certo servizio). Passare dall’uno
all’altro non è immediato, ma non è nemmeno impraticabile, dovendo
chiarire le dipendenze funzionali dei livelli di qualità delle
applicazioni da queste metriche oggettive.
I servizi
offerti dai sistemi mobili sono di consueto suddivisi in tre
famiglie: servizi voce, servizi SMS e servizi dati. Esiste però una
profonda differenza tra queste tre categorie. Mentre per i servizi
voce e SMS l’intera categoria è sostanzialmente rappresentata da un
unico servizio fondamentale, nel caso dei servizi dati ci troviamo
di fronte ad una molteplicità di servizi (quali browsing,
streaming, e-mail, e così via) ed applicazioni (quali YouTube,
Facebook, Google, ecc.) fruibili da parte dell’utente. Dal punto di
vista di un’osservazione oggettiva, questo ha un notevole impatto
nella costruzione della metodologia per la valutazione della QoS:
risulta difficile infatti individuare parametri comuni che siano al
contempo oggettivi (cioè indipendenti da aspetti soggettivi,
associabili a preferenze dell’utente) e diretti (cioè che sappiano
esprimere con immediatezza l’effetto sulla qualità percepita di
quello specifico servizio). Inoltre il numero e la tipologia di
servizi basati sull’accesso ad Internet è cresciuto in modo
vertiginoso negli ultimi anni e per il futuro sembra sia destinato
a crescere.
Piuttosto che inseguire questa rapida
evoluzione e differenziazione dei servizi, andando a definire
parametri specifici per il singolo servizio, si è preferito
individuare un set di parametri, comuni ed oggettivi, sulla base
dei quali sia possibile dedurre a posteriori una valutazione
qualitativa (buono, accettabile, scadente) del singolo servizio I
KPI individuati sono:
- Velocità di trasmissione (throughput)
- Tasso di insuccesso nella trasmissione dati
- Ritardo (delay)
- Variazione del ritardo (jitter)
- Perdita dei pacchetti (packet loss)
- Tempo di inizio riproduzione (time to first picture)
- Tasso di insuccesso nello scaricamento di un video
- Tasso di interruzione per freezing
- Tasso di insuccesso per eccesso di freezing
Si tratta di KPI misurabili con relativa facilità e con un buon
grado di oggettività; al contempo, riassumono le caratteristiche
fondamentali della rete mobile oggetto di analisi. Sulla base di una
loro accurata descrizione statistica è altresì possibile ricostruire
il comportamento in termini di qualità dei singoli servizi, anche da
un’ottica utente. Ad esempio, allorché si vuole effettuare lo
scaricamento (o il caricamento in rete) di un file, il parametro di
maggiore interesse risulta essere il
throughput. Se invece
siamo interessati a navigare su web, probabilmente quel che
interessa maggiormente è in quanto tempo e con quale ritardo
riusciamo a scaricare una pagina sul nostro terminale. Mentre se
siamo interessati a comunicazioni in tempo reale, quali i servizi
VoIP, è necessario disporre di una certa velocità di trasmissione,
ma un effetto rilevante è giocato dal jitter, cioè dal quanto è
variabile il ritardo di trasmissione. Se vogliamo visualizzare un video
da youtube, il parametro di maggior interesse risulta essere il tempo di
inizio riproduzione (time to first picture), e il tasso di interruzione
per eventi di freezing.
Gli indicatori
finora citati attengono alla qualità del servizio quando il servizio
stesso è in fase di regolare espletamento, ossia durante l’utilizzo
da parte dell’utente, e forniscono perciò un’indicazione del
mantenimento di certi livelli di qualità per quel servizio durante
l’intero arco di tempo in cui l’utente intende utilizzarlo (
Service
Integrity).
La qualità del servizio si completa, comunque,
con altri due aspetti imprescindibili dalla suddetta
Service
Integrity:
Accessibilità del servizio (Service Accessibility)
Superata la fase di accesso alla rete, l’utente
richiede di accedere ad un certo servizio, accesso che gli può
venire negato per svariate cause, come ad esempio la mancanza di
canali radio liberi oppure di collegamenti disponibili fra la
Stazione Base (BS) e la centrale di commutazione della rete mobile
(MSC).
Mantenimento del servizio (Service Retainability)
Descrive se il servizio richiesto è stato mantenuto finché l’utente
stesso ha deciso di concluderlo oppure se la terminazione è stata
forzata dalla rete in modo indipendente dalla volontà dell’utente.
Per quanto riguarda la valutazione della Service Accessibility, sono
disponibili le misure dello specifico indicatore di tale aspetto
(tasso di accessibilità al servizio) e i risultati delle relative
misure.
La Service Retainability è valutata invece dagli
indicatori “Tasso di insuccesso nella trasmissione dati” e “Tasso di
perdita dei pacchetti”.
Per quanto riguarda i KPI di videostreaming,
superata la fase di accesso alla rete, la fase di accesso al servizio
si riferisce al tempo precedente l’effettiva visualizzazione del video,
mentre la fase di retainability a quello che avviene durante la
visualizzazione del video.
Per quanto riguarda la velocità di
trasmissione, sono utilizzati tre diversi indicatori che, come
accennato in precedenza, servono a determinare:
- la velocità di scaricamento di files: in particolare viene
scaricato un file di test MP3 di dimensioni pari a 3 Mbytes,
utilizzando i protocolli http (HTTP Download test)
- la velocità di caricamento di files: in particolare viene
caricato un file di test MP3 di dimensioni pari a 1 Mbyte,
utilizzando il protocollo ftp (FTP Upload test)
- la capacità di WEB browsing, valutando il tempo
necessario, in secondi, per scaricare, con i protocollo http e
https, una pagina web specificata dall’ETSI proprio per essere
utilizzata per motivi di test: la cosiddetta ETSI Kepler WEB Reference
Page, composta opportunamente di testi, immagini, dati
comprimibili e non comprimibili, per una dimensione di 800 Kbytes.
Per misurare il ritardo nella trasmissione dei pacchetti,
viene utilizzata la tecnica del
Ping (Packet internet
groper), realizzata da un programma disponibile sui principali
sistemi operativi che misura il tempo, espresso in millisecondi,
impiegato da uno o più pacchetti ICMP
(Internet Control
Message Protocol) a raggiungere un altro dispositivo di rete (in
questo caso il server utilizzato per il supporto alle misure) e a
ritornare indietro all'origine. I pacchetti ICMP utilizzati hanno
dimensioni di 32 bytes.
A partire dalla prima campagna del
2015 sono state introdotte delle modifiche negli indicatori
utilizzati per calcolare la velocità di trasmissione. In particolare
nel test di
Upload il protocollo
ftp è stato
sostituito dal protocollo
http1. Inoltre i test di
download/upload basati sullo scaricamento/caricamento di un completo
file campione di dimensione fissata sono stati sostituiti da test di
tipo fixed duration ovvero a durata del test fissata. Pertanto per
quanto riguarda la velocità di trasmissione i due nuovi indicatori
servono a determinare:
- la velocità di scaricamento di files: in particolare viene
scaricato un file di test di dimensioni elevate (pari a 2 Gbyte),
utilizzando il protocollo http (HTTP Download test); il
throughput viene calcolato verificando quanti byte vengono
scaricati in 30sec di durata di test
- la velocità di caricamento di files: in particolare viene
caricato un file di test di dimensioni elevate (pari a 1 Gbyte),
utilizzando il protocollo http (HTTP Upload test); il
throughput viene calcolato verificando quanti byte vengono
caricati in 30sec di durata di test
A partire dalla campagna del 2022 sono state introdotte delle modifiche
per calcolare la velocità di trasmissione. In particolare, i test di download/upload
fixed duration ovvero basati sullo scaricamento/caricamento di un file campione di dimensione
elevata a durata del test fissata, sono stati sostituiti con un test di multisessione che
consente di trasmettere più file in parallelo, di opportune dimensioni tali da non essere
interamente trasmessi, per un prefissato periodo di tempo e misurare la quantità di dati trasmessa
nel periodo di osservazione. Il test di multisessione è stato introdotto sia per l’upload sia per il download.
Pertanto, per quanto riguarda la velocità di trasmissione i due nuovi indicatori servono a determinare:
- la velocità di scaricamento di file: in particolare vengono scaricati in parallelo cinque file di
test di dimensioni elevate (pari a 2 Gbyte), utilizzando il protocollo http (HTTP DL multi-stream , Capacity test);
il throughput viene calcolato verificando quanti byte vengono scaricati in 15sec di durata di test;
- la velocità di caricamento di file: in particolare vengono caricati in parallelo cinque file di test di dimensioni
elevate (pari a 1 Gbyte), utilizzando il protocollo http (HTTP UL multi-stream, Capacity test); il throughput viene
calcolato verificando quanti byte vengono caricati in 15sec di durata di test.
Nell’ambito della sottocampagna 3G delle campagne 2015 e 2016,
per il test di downlink, è stato mantenuto un doppio test in
entrambe le modalità (dimensione del file fissata e durata del test
fissata) allo scopo di mantenere una maggiore comparabilità storica
nell’ambito delle campagne 3G, per una delle prestazioni più
rappresentative dal punto di vista della percezione dell’utente.
A partire dalla campagna del 2016 è stato introdotto il test di videostreaming,
e sono pertanto stati definiti e misurati alcuni nuovi KPI. Nell’ambito del test viene richiesta la
visualizzazione da youtube di un video di test di durata 300sec visualizzato per un
tempo pari a 30sec, utilizzando il player di youtube dello smartphone.
Per quanto riguarda il tempo di inizio riproduzione viene utilizzato un indicatore
che serve a determinare il tempo di attesa, in secondi, per l’inizio della visualizzazione
del video, calcolato verificando quanto tempo passa dall’avvio del test alla visualizzazione del video.
Per quanto riguarda il tempo di interruzione per freezing viene utilizzato un indicatore
che serve a determinare il rapporto tra la durata dell’interruzione per freezing rispetto alla
durata totale del test, calcolando la frazione aggregata di tempo affetto da eventi di freezing
(con durata superiore ad una soglia fissata pari a 500ms).
1In conformità con la specifica ETSI ES
202 765-4 QoS and network performance metrics and mesurement
methods; Part 4: indicators for supervision of multiplay services
