Come rappresentiamo le prestazioni misurate: i KPI

Le prestazioni che misuriamo sono rappresentate da alcuni parametri tecnici (detti KPI, Key Performance Indicator), che consentono di descrivere nel modo più generale ed accurato possibile, le caratteristiche delle reti mobili di accesso. A partire poi dai valori misurati di tali parametri tecnici sarà possibile caratterizzare degli aspetti di qualità inerenti la fruizione dei servizi su Internet.
Nell’ambito in esame il nostro interesse è rivolto prettamente alla qualità del servizio oggettiva, ottenuta appunto attraverso metriche direttamente misurabili, quali la velocità, il ritardo e la sua variabilità o la perdita di pacchetti, piuttosto che a quella soggettiva (ossia come l’utente percepisce il livello di servizio di una certa applicazione di rete o di un certo servizio). Passare dall’uno all’altro non è immediato, ma non è nemmeno impraticabile, dovendo chiarire le dipendenze funzionali dei livelli di qualità delle applicazioni da queste metriche oggettive.
I servizi offerti dai sistemi mobili sono di consueto suddivisi in tre famiglie: servizi voce, servizi SMS e servizi dati. Esiste però una profonda differenza tra queste tre categorie. Mentre per i servizi voce e SMS l’intera categoria è sostanzialmente rappresentata da un unico servizio fondamentale, nel caso dei servizi dati ci troviamo di fronte ad una molteplicità di servizi (quali browsing, streaming, e-mail, e così via) ed applicazioni (quali YouTube, Facebook, Google, ecc.) fruibili da parte dell’utente. Dal punto di vista di un’osservazione oggettiva, questo ha un notevole impatto nella costruzione della metodologia per la valutazione della QoS: risulta difficile infatti individuare parametri comuni che siano al contempo oggettivi (cioè indipendenti da aspetti soggettivi, associabili a preferenze dell’utente) e diretti (cioè che sappiano esprimere con immediatezza l’effetto sulla qualità percepita di quello specifico servizio). Inoltre il numero e la tipologia di servizi basati sull’accesso ad Internet è cresciuto in modo vertiginoso negli ultimi anni e per il futuro sembra sia destinato a crescere.
Piuttosto che inseguire questa rapida evoluzione e differenziazione dei servizi, andando a definire parametri specifici per il singolo servizio, si è preferito individuare un set di parametri, comuni ed oggettivi, sulla base dei quali sia possibile dedurre a posteriori una valutazione qualitativa (buono, accettabile, scadente) del singolo servizio I KPI individuati sono:

  1. Velocità di trasmissione (throughput)
  2. Tasso di insuccesso nella trasmissione dati
  3. Ritardo (delay)
  4. Variazione del ritardo (jitter)
  5. Perdita dei pacchetti (packet loss)
  6. Tempo di inizio riproduzione (time to first picture)
  7. Tasso di insuccesso nello scaricamento di un video
  8. Tasso di interruzione per freezing
  9. Tasso di insuccesso per eccesso di freezing
Si tratta di KPI misurabili con relativa facilità e con un buon grado di oggettività; al contempo, riassumono le caratteristiche fondamentali della rete mobile oggetto di analisi. Sulla base di una loro accurata descrizione statistica è altresì possibile ricostruire il comportamento in termini di qualità dei singoli servizi, anche da un’ottica utente. Ad esempio, allorché si vuole effettuare lo scaricamento (o il caricamento in rete) di un file, il parametro di maggiore interesse risulta essere il throughput. Se invece siamo interessati a navigare su web, probabilmente quel che interessa maggiormente è in quanto tempo e con quale ritardo riusciamo a scaricare una pagina sul nostro terminale. Mentre se siamo interessati a comunicazioni in tempo reale, quali i servizi VoIP, è necessario disporre di una certa velocità di trasmissione, ma un effetto rilevante è giocato dal jitter, cioè dal quanto è variabile il ritardo di trasmissione. Se vogliamo visualizzare un video da youtube, il parametro di maggior interesse risulta essere il tempo di inizio riproduzione (time to first picture), e il tasso di interruzione per eventi di freezing.
Gli indicatori finora citati attengono alla qualità del servizio quando il servizio stesso è in fase di regolare espletamento, ossia durante l’utilizzo da parte dell’utente, e forniscono perciò un’indicazione del mantenimento di certi livelli di qualità per quel servizio durante l’intero arco di tempo in cui l’utente intende utilizzarlo (Service Integrity).
La qualità del servizio si completa, comunque, con altri due aspetti imprescindibili dalla suddetta Service Integrity:

Accessibilità del servizio (Service Accessibility)

Superata la fase di accesso alla rete, l’utente richiede di accedere ad un certo servizio, accesso che gli può venire negato per svariate cause, come ad esempio la mancanza di canali radio liberi oppure di collegamenti disponibili fra la Stazione Base (BS) e la centrale di commutazione della rete mobile (MSC).

Mantenimento del servizio (Service Retainability)

Descrive se il servizio richiesto è stato mantenuto finché l’utente stesso ha deciso di concluderlo oppure se la terminazione è stata forzata dalla rete in modo indipendente dalla volontà dell’utente.

Per quanto riguarda la valutazione della Service Accessibility, sono disponibili le misure dello specifico indicatore di tale aspetto (tasso di accessibilità al servizio) e i risultati delle relative misure.
La Service Retainability è valutata invece dagli indicatori “Tasso di insuccesso nella trasmissione dati” e “Tasso di perdita dei pacchetti”.

Per quanto riguarda i KPI di videostreaming, superata la fase di accesso alla rete, la fase di accesso al servizio si riferisce al tempo precedente l’effettiva visualizzazione del video, mentre la fase di retainability a quello che avviene durante la visualizzazione del video.

Per quanto riguarda la velocità di trasmissione, sono utilizzati tre diversi indicatori che, come accennato in precedenza, servono a determinare:
  • la velocità di scaricamento di files: in particolare viene scaricato un file di test MP3 di dimensioni pari a 3 Mbytes, utilizzando i protocolli http (HTTP Download test)
  • la velocità di caricamento di files: in particolare viene caricato un file di test MP3 di dimensioni pari a 1 Mbyte, utilizzando il protocollo ftp (FTP Upload test)
  • la capacità di WEB browsing, valutando il tempo necessario, in secondi, per scaricare, con i protocollo http e https, una pagina web specificata dall’ETSI proprio per essere utilizzata per motivi di test: la cosiddetta ETSI Kepler WEB Reference Page, composta opportunamente di testi, immagini, dati comprimibili e non comprimibili, per una dimensione di 800 Kbytes.

Per misurare il ritardo nella trasmissione dei pacchetti, viene utilizzata la tecnica del Ping (Packet internet groper), realizzata da un programma disponibile sui principali sistemi operativi che misura il tempo, espresso in millisecondi, impiegato da uno o più pacchetti ICMP (Internet Control Message Protocol) a raggiungere un altro dispositivo di rete (in questo caso il server utilizzato per il supporto alle misure) e a ritornare indietro all'origine. I pacchetti ICMP utilizzati hanno dimensioni di 32 bytes.
A partire dalla prima campagna del 2015 sono state introdotte delle modifiche negli indicatori utilizzati per calcolare la velocità di trasmissione. In particolare nel test di Upload il protocollo ftp è stato sostituito dal protocollo http1. Inoltre i test di download/upload basati sullo scaricamento/caricamento di un completo file campione di dimensione fissata sono stati sostituiti da test di tipo fixed duration ovvero a durata del test fissata. Pertanto per quanto riguarda la velocità di trasmissione i due nuovi indicatori servono a determinare:
  • la velocità di scaricamento di files: in particolare viene scaricato un file di test di dimensioni elevate (pari a 2 Gbyte), utilizzando il protocollo http (HTTP Download test); il throughput viene calcolato verificando quanti byte vengono scaricati in 30sec di durata di test
  • la velocità di caricamento di files: in particolare viene caricato un file di test di dimensioni elevate (pari a 1 Gbyte), utilizzando il protocollo http (HTTP Upload test); il throughput viene calcolato verificando quanti byte vengono caricati in 30sec di durata di test

Nell’ambito della sottocampagna 3G delle campagne 2015 e 2016, per il test di downlink, è stato mantenuto un doppio test in entrambe le modalità (dimensione del file fissata e durata del test fissata) allo scopo di mantenere una maggiore comparabilità storica nell’ambito delle campagne 3G, per una delle prestazioni più rappresentative dal punto di vista della percezione dell’utente.
A partire dalla campagna del 2016 è stato introdotto il test di videostreaming, e sono pertanto stati definiti e misurati alcuni nuovi KPI. Nell’ambito del test viene richiesta la visualizzazione da youtube di un video di test di durata 300sec visualizzato per un tempo pari a 30sec, utilizzando il player di youtube dello smartphone.
Per quanto riguarda il tempo di inizio riproduzione viene utilizzato un indicatore che serve a determinare il tempo di attesa, in secondi, per l’inizio della visualizzazione del video, calcolato verificando quanto tempo passa dall’avvio del test alla visualizzazione del video.
Per quanto riguarda il tempo di interruzione per freezing viene utilizzato un indicatore che serve a determinare il rapporto tra la durata dell’interruzione per freezing rispetto alla durata totale del test, calcolando la frazione aggregata di tempo affetto da eventi di freezing (con durata superiore ad una soglia fissata pari a 500ms).

1In conformità con la specifica ETSI ES 202 765-4 QoS and network performance metrics and mesurement methods; Part 4: indicators for supervision of multiplay services