基于U-vMOS視頻體驗(yàn)標(biāo)準(zhǔn)的固定寬帶網(wǎng)絡(luò)評(píng)估建議白皮書

1 U-vMOS重新定義視頻體驗(yàn)評(píng)估標(biāo)準(zhǔn)

視頻已成為網(wǎng)絡(luò)上的最主要流量，視頻業(yè)務(wù)體驗(yàn)已成為衡量網(wǎng)絡(luò)服務(wù)質(zhì)量的關(guān)鍵指標(biāo)。伴隨著視頻分辨率的不斷提升（從720P/1080P逐漸過度至4K/8K），視頻業(yè)務(wù)對(duì)網(wǎng)絡(luò)的要求也越來越高。如何評(píng)價(jià)當(dāng)前網(wǎng)絡(luò)下視頻業(yè)務(wù)的體驗(yàn)，對(duì)用戶和運(yùn)營(yíng)商來說意義越來越重大。

IP承載網(wǎng)是一個(gè)“盡力而為”的網(wǎng)絡(luò)，網(wǎng)絡(luò)視頻業(yè)務(wù)占用帶寬資源較多、實(shí)時(shí)性要求較高，并且對(duì)分組丟失、時(shí)延、抖動(dòng)等網(wǎng)絡(luò)特性非常敏感，尤其是時(shí)變的網(wǎng)絡(luò)特性嚴(yán)重影響網(wǎng)絡(luò)視頻業(yè)務(wù)的質(zhì)量。通過對(duì)網(wǎng)絡(luò)視頻質(zhì)量的監(jiān)控和反饋，可以調(diào)節(jié)編解碼器或信道的參數(shù)，改善傳輸視頻的服務(wù)質(zhì)量。因此，需要實(shí)時(shí)準(zhǔn)確地對(duì)網(wǎng)絡(luò)視頻服務(wù)質(zhì)量進(jìn)行監(jiān)控，獲得反映用戶感受的視頻體驗(yàn)質(zhì)量。

早在2009年ITU-T就啟動(dòng)了針對(duì)視頻業(yè)務(wù)的vMOS標(biāo)準(zhǔn)研究項(xiàng)目，并于2012年參考語音MOS指標(biāo)體系發(fā)布了第一個(gè)基于視頻體驗(yàn)的VMoS指標(biāo)，用于監(jiān)控視頻經(jīng)過網(wǎng)絡(luò)傳輸后的質(zhì)量損失，關(guān)注點(diǎn)在于視頻QoE的檢測(cè)和問題定位。這套指標(biāo)完全參考了語音MOS的定義，先定義影響因素Compression、packet-loss、rebuffering，自下而上地計(jì)算vMOS。出發(fā)點(diǎn)是為了發(fā)現(xiàn)問題，用于視頻質(zhì)量監(jiān)控，只站在技術(shù)視角看問題，沒有考慮消費(fèi)者對(duì)視頻體驗(yàn)優(yōu)劣的評(píng)價(jià)是跨越視頻業(yè)務(wù)的全流程，也沒有站在最終消費(fèi)者體驗(yàn)的角度去橫向比較不同的分辨率帶給用戶的不同體驗(yàn)。因此也無法完整的指導(dǎo)運(yùn)營(yíng)商網(wǎng)絡(luò)的設(shè)計(jì)和優(yōu)化。

華為認(rèn)為在原有vMOS的基礎(chǔ)上，需要根據(jù)以用戶體驗(yàn)為中心的評(píng)價(jià)體系標(biāo)準(zhǔn)，用統(tǒng)一的衡量標(biāo)準(zhǔn)，來評(píng)價(jià)不同網(wǎng)絡(luò)，不同屏幕，不同場(chǎng)景應(yīng)用下的視頻體驗(yàn)的好壞�；�于以上出發(fā)點(diǎn)，華為視頻研究團(tuán)隊(duì)結(jié)合人體工程學(xué)實(shí)驗(yàn)，樣本調(diào)研和深入技術(shù)研究，提煉出適配全場(chǎng)景的視頻體驗(yàn)TOP3影響因子，即視頻質(zhì)量（sQaultiy），互動(dòng)體驗(yàn)(sInteraction)和觀看體驗(yàn)(sView)。華為基于三大核心思想，設(shè)計(jì)了視頻體驗(yàn)衡量體系評(píng)價(jià)標(biāo)準(zhǔn)U-vMOS，使TOP3視頻體驗(yàn)影響因子得以量化，使得視頻體驗(yàn)標(biāo)準(zhǔn)體系實(shí)現(xiàn)可采集、可評(píng)估、可演進(jìn)。

影響視頻質(zhì)量，操作體驗(yàn)和播放體驗(yàn)三個(gè)模塊的主要因素如圖2所示U-vMOS的評(píng)價(jià)模型主要分為三個(gè)部分，即視頻質(zhì)量（sQuality），操作體驗(yàn)（sInteraction）和播放體驗(yàn)（sView），擬合出如下公式。

圖1 U-vMOS建模方法

圖2 sQuality的影響因子

圖3 sInteraction的影響因子

圖4 sView 的影響因子

1 基于U-vMOS的固定寬帶網(wǎng)絡(luò)評(píng)估的流程

對(duì)當(dāng)前固定寬帶網(wǎng)絡(luò)進(jìn)行基于U-vMOS的網(wǎng)絡(luò)評(píng)估，需要達(dá)到如下幾個(gè)目的：

• 體現(xiàn)單個(gè)典型用戶的U-vMOS指標(biāo)
• 體現(xiàn)整網(wǎng)的U-vMOS指標(biāo)
• 識(shí)別當(dāng)前網(wǎng)絡(luò)承載視頻體驗(yàn)與目標(biāo)的差距及根因
• 基于根因制定網(wǎng)絡(luò)優(yōu)化及演進(jìn)方案

基于以上目的，U-vMOS的網(wǎng)絡(luò)評(píng)估的流程可以分為如下3個(gè)步驟：U-vMOS目標(biāo)設(shè)定、差距和根因分析、優(yōu)化方案實(shí)施

1.1U-vMOS目標(biāo)設(shè)定

基于U-vMOS評(píng)估標(biāo)準(zhǔn)，視頻的原始質(zhì)量是U-vMOS的基準(zhǔn)，整體的U-vMOS是在疊加操作體驗(yàn)和播放體驗(yàn)之后得出的。相同分辨率的視頻的基準(zhǔn)體驗(yàn)值在不同的幀率、視頻編碼方式和碼率等條件下所能達(dá)到的U-vMOS基準(zhǔn)不同。因此測(cè)量整體U-vMOS前需對(duì)網(wǎng)絡(luò)視頻的基準(zhǔn)體驗(yàn)進(jìn)行測(cè)量。如下為100英寸屏幕，不同分辨率下所能達(dá)到的基準(zhǔn)質(zhì)量的范圍：

圖5 100英寸屏幕不同分辨率視頻的U-vMOS極限

1.1.1評(píng)估指標(biāo)的定義

基于HTTP的視頻點(diǎn)播業(yè)務(wù)是目前視頻中占比最高的業(yè)務(wù)，它對(duì)網(wǎng)絡(luò)質(zhì)量敏感，定位問題困難。本文的評(píng)估主要針對(duì)基于HTTP的點(diǎn)播業(yè)務(wù)�；�于U-vMOS的評(píng)估體系指標(biāo)采集需要考慮到體驗(yàn)、業(yè)務(wù)及網(wǎng)絡(luò)三個(gè)層次。

l體驗(yàn)KQI指標(biāo)：從用戶視角出發(fā)，對(duì)用戶感知進(jìn)行分解和量化。體驗(yàn)KQI指標(biāo)參考U-vMOS關(guān)鍵要素，如視頻質(zhì)量、操作體驗(yàn)、播放體驗(yàn)。

l業(yè)務(wù)KPI指標(biāo)：以運(yùn)維技術(shù)人員視角，考慮業(yè)務(wù)的交互流程，用于分析影響用戶感知的業(yè)務(wù)流程因素，例如DNS解析時(shí)間，CDN調(diào)度時(shí)間，視頻分片資源分布等。

l網(wǎng)絡(luò)KPI指標(biāo)：直接反映網(wǎng)絡(luò)管道運(yùn)行的關(guān)鍵性能指標(biāo)，如帶寬、RTT、丟包率等。

1.1.2測(cè)試樣本空間的確定

測(cè)量樣本的選擇決定了測(cè)量結(jié)果能否完整全面地反映被測(cè)網(wǎng)絡(luò)的整體體驗(yàn)情況。樣本包含三個(gè)維度的要求。

• 云樣本：即選取哪些視頻內(nèi)容作為被測(cè)對(duì)象。云樣本的選取要考慮覆蓋不同的視頻提供商的TOP熱點(diǎn)節(jié)目的不同清晰度視頻源。
• 管（網(wǎng)絡(luò)）樣本：即選擇何種網(wǎng)絡(luò)場(chǎng)景下的用戶進(jìn)行測(cè)試。管（網(wǎng)絡(luò)）樣本的選擇需要考慮用戶接入類型、用戶套餐、不同區(qū)域、不同的網(wǎng)絡(luò)層次、不同網(wǎng)絡(luò)負(fù)載、不同線路質(zhì)量（如：與基站距離的遠(yuǎn)近、光纖接入/銅線接入等）等因素。
• 測(cè)量時(shí)間段：不同的時(shí)間段，網(wǎng)絡(luò)負(fù)載不同，測(cè)試時(shí)間段需要覆蓋網(wǎng)絡(luò)的忙時(shí)和閑時(shí)。忙時(shí)、閑時(shí)可由用戶數(shù)或者流量大小來決定。寬帶發(fā)展聯(lián)盟認(rèn)為通用場(chǎng)景下19：00～23：00為網(wǎng)絡(luò)忙時(shí)，但不同運(yùn)營(yíng)商的用戶行為可能不同，精確的忙時(shí)、閑時(shí)定義建議提前對(duì)運(yùn)營(yíng)商網(wǎng)絡(luò)進(jìn)行用戶數(shù)及流量的評(píng)估，從而準(zhǔn)確判斷忙時(shí)、閑時(shí)時(shí)間段。

1.1.3U-vMOS評(píng)估指標(biāo)的測(cè)量

U-vMOS的測(cè)量手段，主要有如下三類：

• 視頻播放器集成U-vMOS算法引擎

在機(jī)頂盒、PC、手機(jī)/PAD等終端上集成華為U-vMOS算法引擎，通過視頻播放器獲取加載時(shí)長(zhǎng)、卡頓、花屏等體驗(yàn)參數(shù)，調(diào)用U-vMOS引擎實(shí)時(shí)計(jì)算出結(jié)果并上報(bào)服務(wù)器。

• 網(wǎng)絡(luò)設(shè)備打點(diǎn)分析

中間網(wǎng)絡(luò)設(shè)備可以基于播放器的關(guān)鍵行為特征針，對(duì)每用戶的視頻交互流程進(jìn)行分析打點(diǎn)，判斷加載時(shí)長(zhǎng)、頻道切換時(shí)長(zhǎng)等指標(biāo)進(jìn)行測(cè)量。同時(shí)還能夠基于CDN與終端的實(shí)時(shí)數(shù)據(jù)傳輸速率和傳輸?shù)臄?shù)據(jù)量判斷卡頓指標(biāo)。

• 專用的U-vMOS測(cè)試終端

提供一種基于X86/Android通用硬件盒子，集成各種視頻的客戶端播放器，同時(shí)集成U-vMOS算法引擎，有選擇性地抽樣部署在網(wǎng)絡(luò)的不同位置（基站、接入機(jī)房或者部分用戶家中），對(duì)視頻體驗(yàn)進(jìn)行例行監(jiān)控。

表1 測(cè)量手段比較

1.2差距與根因識(shí)別

差距與根因識(shí)別可以分成結(jié)果可視化、U-vMOS差距分析、根因分析等3個(gè)環(huán)節(jié)，對(duì)被測(cè)網(wǎng)絡(luò)的視頻業(yè)務(wù)體驗(yàn)質(zhì)量做出綜合評(píng)價(jià)，并分析體驗(yàn)的差距及影響體驗(yàn)的瓶頸根因。

1.2.1結(jié)果可視化

體驗(yàn)數(shù)據(jù)的展現(xiàn)可以分為整網(wǎng)統(tǒng)合指標(biāo)，用戶類指標(biāo)，區(qū)域地圖等維度來展現(xiàn)。

• 整網(wǎng)綜合指標(biāo)用于體現(xiàn)運(yùn)營(yíng)商對(duì)視頻的支持情況，便于不同運(yùn)營(yíng)商之間對(duì)比，體現(xiàn)運(yùn)營(yíng)商網(wǎng)絡(luò)的整體競(jìng)爭(zhēng)力。
• 用戶類指標(biāo)是展現(xiàn)的是運(yùn)營(yíng)商網(wǎng)絡(luò)內(nèi)的特定一類用戶的U-vMOS，便于運(yùn)營(yíng)商內(nèi)部對(duì)不同網(wǎng)絡(luò)方案或者套餐對(duì)視頻的滿足度進(jìn)行比較評(píng)估。
• 區(qū)域地圖通過網(wǎng)絡(luò)拓樸與U-vMOS結(jié)合，可以清晰展現(xiàn)網(wǎng)絡(luò)不同位置下的U-vMOS分布情況，便于運(yùn)營(yíng)商內(nèi)部對(duì)不同區(qū)域或者層次的網(wǎng)絡(luò)對(duì)視頻的滿足度的展示。

這些指標(biāo)也可根據(jù)統(tǒng)計(jì)和分析需要，也可按時(shí)間段劃分測(cè)試數(shù)據(jù)記錄，衍生出全時(shí)段指數(shù)、忙時(shí)指數(shù)和閑時(shí)指數(shù)。

1.2.2U-vMOS差距分析

影響用戶體驗(yàn)的瓶頸分析和問題診斷過程，應(yīng)按以下原則順序進(jìn)行：

圖6 U-vMOS差距分析流程

a)確定分析范圍：制定U-vMOS 閾值，篩選出U-vMOS值低于規(guī)定閾值的測(cè)試數(shù)據(jù)記錄進(jìn)行逐條分析（如規(guī)定U-vMOS<3.5的測(cè)試數(shù)據(jù)記錄均納入分析范圍）。

b)云側(cè)瓶頸分析：分析測(cè)試數(shù)據(jù)記錄中的業(yè)務(wù)KPI，判斷是否存在服務(wù)器響應(yīng)速度瓶頸、服務(wù)器負(fù)載能力瓶頸或服務(wù)器出口限速瓶頸。

c)網(wǎng)絡(luò)瓶頸分析：分析測(cè)試數(shù)據(jù)記錄中的網(wǎng)絡(luò)KPI，與網(wǎng)絡(luò)KPI要求基線進(jìn)行對(duì)比，判斷影響體驗(yàn)的具體維度。

1.3.3根因分析

基于網(wǎng)絡(luò)KPI瓶頸可以對(duì)具體網(wǎng)絡(luò)進(jìn)行詳細(xì)評(píng)估，以確定造成網(wǎng)絡(luò)KPI差距（帶寬、時(shí)延、丟包）的具體組網(wǎng)原因。如下為可能的根因示例：

圖7 可能的根因示例

1.4優(yōu)化方案實(shí)施

基于視頻業(yè)務(wù)發(fā)展的不同時(shí)期，可以采用不同的優(yōu)化方案