呼叫中心應(yīng)該如何測(cè)試?
如今,呼叫中心在人們的日常生活中扮演著重要角色。從銀行的信用卡服務(wù)中心、移動(dòng)運(yùn)營(yíng)商的客服呼叫中心,到商旅訂票系統(tǒng)、電子電器產(chǎn)品售后支持,都離不開呼叫中心。而IVR(Interactive Voice Response),即交互式語(yǔ)音應(yīng)答,是呼叫中心的核心部件。當(dāng)IVR系統(tǒng)繁忙或出現(xiàn)異常時(shí),客戶撥打呼叫中心可能面臨多種問題,如:撥不通呼叫中心的接入號(hào)碼,聽不到或聽不清某一級(jí)的自動(dòng)語(yǔ)音應(yīng)答,應(yīng)答延遲明顯增大,不能對(duì)用戶按鍵及時(shí)做出反應(yīng)等。
因此,對(duì)于呼叫中心的性能測(cè)試很大程度上來說是對(duì)IVR的測(cè)試,思博倫通信專業(yè)化測(cè)試服務(wù)團(tuán)隊(duì)則是這方面的專家。在本文后半段,我們以思博倫測(cè)試服務(wù)工程師幫助某知名電腦制造商測(cè)試其呼叫中心為例,介紹思博倫專業(yè)化測(cè)試服務(wù)如何使用基于Abacus的語(yǔ)音測(cè)試解決方案對(duì)呼叫中心進(jìn)行測(cè)試。
如何測(cè)試
(一)測(cè)試內(nèi)容
針對(duì)呼叫中心(IVR)的測(cè)試一般分為兩個(gè)層面,即:1)性能壓力測(cè)試;2)語(yǔ)音匹配測(cè)試。
通過性能壓力測(cè)試,實(shí)現(xiàn):1)最大容量測(cè)試,即:確認(rèn)被測(cè)IVR系統(tǒng)(DUT, Device Under Test)的最大并發(fā)呼叫處理能力(無(wú)差錯(cuò)點(diǎn));2)穩(wěn)定性測(cè)試,即:嘗試找出DUT在其可承受的最大壓力條件下持續(xù)無(wú)故障工作時(shí)間。
語(yǔ)音匹配測(cè)試直接體現(xiàn)用戶撥打呼叫中心的實(shí)際感受,它們可以遍歷所有IVR語(yǔ)音路徑分支或任何重點(diǎn)分支。
此外,語(yǔ)音匹配測(cè)試可分為多個(gè)步驟進(jìn)行,即:1)單呼叫下的功能遍歷;2)指定呼叫量條件下的測(cè)試,指定呼叫量可以是低、中等負(fù)載強(qiáng)度,也可以是在高負(fù)載下測(cè)試最大順暢并發(fā)呼叫數(shù)/最大順暢呼叫速率,還可以是在極限負(fù)載下測(cè)試呼損率和系統(tǒng)異常表現(xiàn)。
(二)測(cè)試拓?fù)?/strong>
如上圖所示,思博倫Abacus語(yǔ)音測(cè)試系統(tǒng)可以模擬終端客戶,以E1/ISDN或以太網(wǎng)/SIP的方式撥入呼叫中心,遍歷IVR的整個(gè)呼叫流程。如,若Abacus 5000中配置僅一塊14口E1 PCG3 單板,即可以模擬并發(fā)420路電話撥入。
(三)測(cè)試指標(biāo)
1.VPM Factor(語(yǔ)音匹配度)
語(yǔ)音匹配度體現(xiàn)著IVR播放的語(yǔ)音與預(yù)先導(dǎo)入到Abacus上的期望語(yǔ)音之間的差異。
比如,VPM Factor的取值空間為1.0到10.0,當(dāng)VPM Factor的值在9.0和10.0之間時(shí),表示匹配度很高,兩個(gè)語(yǔ)音除了個(gè)別音節(jié)外全匹配。
VPM Factor值越小,匹配度越低。當(dāng)該值在1.0到5.0之間時(shí),表示即使有些許匹配之處,但仍可斷定從IVR聽到的語(yǔ)音與Abacus預(yù)存的期望語(yǔ)音完全是不同的內(nèi)容。
2.Voice Matching Delay(語(yǔ)音匹配延遲)
語(yǔ)音匹配延遲,記錄了IVR呼叫流程中執(zhí)行某個(gè)動(dòng)作到匹配到特定語(yǔ)音之前的等待時(shí)間。例如,某銀行信用卡服務(wù)中心流程中,從按“1”選擇“中文”,到聽到下一級(jí)的主菜單語(yǔ)音播報(bào)之間的等待時(shí)間。
在低負(fù)載條件下,這個(gè)時(shí)間一般是短暫且穩(wěn)定的(比如1秒左右),當(dāng)負(fù)載增大到一定程度,語(yǔ)音匹配延遲可能增大且不同的話路間抖動(dòng)厲害。影響用戶的使用感受甚至導(dǎo)致用戶掛機(jī)。
3.最大容量(或最大并發(fā)呼叫數(shù))
屬于壓力測(cè)試范疇,該值體現(xiàn)了在無(wú)差錯(cuò)點(diǎn)的條件下,即呼叫100%成功完成,被測(cè)IVR系統(tǒng)的最大并發(fā)呼叫處理能力。
在最大容量測(cè)試中,允許出現(xiàn)語(yǔ)音匹配延遲較大(如10秒鐘),或VPM Factor小于8的情況。
4.最大順暢并發(fā)呼叫數(shù)
該值體現(xiàn)出在“順暢”條件下,IVR可以承受的最大并發(fā)呼叫數(shù)。
所謂“順暢”,是指語(yǔ)音匹配高、語(yǔ)音匹配延遲小的情況。它直接反映出客戶撥打呼叫中心時(shí)的使用感受。用戶可以根據(jù)不同的應(yīng)用場(chǎng)景來定義自己的“順暢”條件,如:VPM Factor大于8.2,語(yǔ)音匹配延遲小于1.5秒。
5.最大順暢呼叫速率
類似地,該值是在“順暢”條件下每秒呼叫次數(shù)。
6.指定BHCA(Busy Hour Call Attempt)條件下的呼叫成功率
BHCA為忙時(shí)呼叫次數(shù),它表示DUT在一個(gè)小時(shí)內(nèi)最大的呼叫處理次數(shù)。BHCA一般用來表示系統(tǒng)的呼叫處理能力。在指定的BHCA下,記錄呼叫成功率,對(duì)于IVR系統(tǒng)來說,通話異常中斷、語(yǔ)音嚴(yán)重不匹配都可認(rèn)為是呼叫失敗。
了解更多:
如何對(duì)IT系統(tǒng)進(jìn)行綠色功耗測(cè)試?
如何壓力測(cè)試電子商務(wù)網(wǎng)站?
實(shí)際測(cè)試案例分享
測(cè)試案例
某知名電腦制造商采用思博倫Abacus語(yǔ)音測(cè)試解決方案,對(duì)其售后服務(wù)呼叫中心進(jìn)行了測(cè)試。該呼叫中心的呼叫流程如下:
用戶開始撥號(hào),接通后聽到“歡迎”語(yǔ)音,然后用戶被告知按鍵“1”進(jìn)入“語(yǔ)言選擇”,執(zhí)行按鍵后進(jìn)入主菜單,呼叫中心要求用戶朗讀報(bào)修筆記本的產(chǎn)品序列號(hào)。隨著深入呼叫流程中的某條路徑,人工坐席(售后技術(shù)支持工程師)接聽電話并與用戶交流。
整個(gè)呼叫流程持續(xù)10分鐘。
思博倫Abacus測(cè)試儀模擬單個(gè)或指定數(shù)量的用戶(話機(jī))撥入,遍歷上述IVR的呼叫流程,包括撥號(hào)、聆聽(等待)、按鍵、語(yǔ)音宣讀產(chǎn)品序列號(hào)、播放語(yǔ)音模擬與坐席通話等。
(一)測(cè)試需求
1.語(yǔ)音匹配度測(cè)試(VPM)
2.響應(yīng)延遲測(cè)試
包括:
1)T1: 從撥號(hào)接通至聽到“歡迎進(jìn)入…”語(yǔ)音之間的延遲;
2)T2: 按“1”鍵后到聽到某臺(tái)筆記本電腦保修狀態(tài)的“宣讀狀態(tài)”語(yǔ)音的延遲;
3)T3(參數(shù)圖片文章): 按“1”鍵后到人工坐席摘機(jī)的延遲;
注意:測(cè)試中需要使用4條E1,即共120路電話同時(shí)撥入。拓?fù)淙缦聢D所示。
(二)測(cè)試配置
首先要完成基本的120話路的E1/ISDN的呼叫配置,例如針對(duì)E1的物理層參數(shù)配置和ISDN呼叫配置。
然后,需要在Abacus上定制呼叫流程,這個(gè)呼叫流程與呼叫中心IVR系統(tǒng)中的流程相匹配,即順序執(zhí)行:撥號(hào)、聆聽(等待)、語(yǔ)音匹配度衡量、按鍵、語(yǔ)音宣讀產(chǎn)品序列號(hào)、播放語(yǔ)音模擬與坐席通話等操作。如下圖所示。
其中,語(yǔ)音匹配度衡量通過將兩個(gè)聲音文件進(jìn)行比較來完成,即:在單用戶條件下錄制的IVR系統(tǒng)播放的優(yōu)質(zhì)語(yǔ)音(也可由IVR系統(tǒng)提供語(yǔ)音拷貝)與120話路并發(fā)時(shí)聽到的語(yǔ)音進(jìn)行比較。
Abacus模擬的每路通話在一次呼叫中,隨著呼叫流程的深入,可以執(zhí)行多次語(yǔ)音匹配度衡量和響應(yīng)延遲測(cè)試。并且可以配置用戶指定的閾值告警,比如:語(yǔ)音匹配度VPM Factor的值小于8或聽到的語(yǔ)音延遲大于10秒后出現(xiàn)告警。
呼叫及期望得到的結(jié)果配置如下:
并發(fā)呼叫數(shù):120 (E1/ ISDN PRI)
呼叫時(shí)長(zhǎng):600秒
VPM Factor閾值: 8.0
(三)測(cè)試結(jié)果及價(jià)值
1.測(cè)試結(jié)果
在測(cè)試開始后,120部Abacus仿真的話機(jī)撥打呼叫中心號(hào)碼,同時(shí)開始對(duì)某個(gè)呼叫流程的遍歷。
Abacus運(yùn)行過程中的實(shí)時(shí)統(tǒng)計(jì)如下圖所示,可以看到諸如語(yǔ)音匹配度(VPM Factor)和語(yǔ)音匹配延遲的值。
此外,Abacus還可以通過定制化的腳本,按照指定格式將測(cè)試結(jié)果輸出到文件中,包含用戶感興趣的統(tǒng)計(jì)信息,如:語(yǔ)音匹配度(單個(gè)或多個(gè))、匹配延遲(單個(gè)或多個(gè))、呼叫是否成功等。如下表所示:
表格中記錄了120個(gè)話路運(yùn)行20分鐘的結(jié)果(有刪節(jié))。由于每通呼叫持續(xù)10分鐘,因此每個(gè)話路在20分鐘內(nèi)分別完成了2個(gè)回合的呼叫,即從第1路到第120個(gè)話路順序起呼,每路通話完成后隨即發(fā)起第2回合呼叫。
結(jié)果中記錄了每個(gè)話路的起呼時(shí)間、回合數(shù)、話路ID、使用的序列號(hào)、是否接通、指定位置的呼叫延遲和語(yǔ)音匹配度等。
2.結(jié)果分析及價(jià)值
如上表所示,針對(duì)被測(cè)IVR系統(tǒng)(DUT),我們可以幫助用戶獲取以下內(nèi)容:
1)功能遍歷
通過單話路測(cè)試,我們可以驗(yàn)證DUT是否按照預(yù)期工作。
比如:是否可以撥通呼叫中心,在撥通后等待多久聽到“歡迎”語(yǔ)音;“歡迎”語(yǔ)音的匹配度如何;是否通過朗讀待修筆記本電腦的序列號(hào)可以進(jìn)入維修流程;按鍵“1”后用戶等待多長(zhǎng)時(shí)間后模擬的人工坐席摘機(jī)。
2)低負(fù)載條件下的DUT的表現(xiàn)
通過低負(fù)載測(cè)試,可以幫助用戶發(fā)現(xiàn)多用戶測(cè)試(但并發(fā)呼叫少,呼叫速率低)與單用戶條件下DUT表現(xiàn)的不同。
通過對(duì)上述表格中的數(shù)據(jù)分析,可以發(fā)現(xiàn)在初始階段,負(fù)載很輕條件下,DUT的語(yǔ)音延遲小(約1.3秒),語(yǔ)音匹配度高(9.5左右)。進(jìn)而可以與單用戶功能遍歷進(jìn)行比較,以發(fā)現(xiàn)問題。
3)負(fù)載增加對(duì)DUT的影響
隨著負(fù)載增加,DUT的反應(yīng)如何呢?這取決于負(fù)載增加的規(guī)模及DUT自身的性能。
與低負(fù)載相比,隨著負(fù)載增加,有的DUT沒有明顯變化,有的DUT語(yǔ)音反饋延遲明顯增大,還有的DUT則出現(xiàn)了拒絕服務(wù),如新的呼叫不能接通。
如上表所示,當(dāng)并發(fā)呼叫數(shù)達(dá)到120路時(shí),DUT的表現(xiàn)出現(xiàn)了明顯變化,如:語(yǔ)音延遲變大了(增加約1.5秒),語(yǔ)音匹配度降低了(從9.5左右降低至8.3~9.0,但仍屬于匹配度較高的范疇)。
4)DUT的處理極限
Abacus可以幫助用戶了解DUT的處理極限。
Abacus可以模擬大量的E1/ISDN或以太網(wǎng)/SIP呼叫。當(dāng)并發(fā)呼叫數(shù)或呼叫速率到達(dá)一定的高度,DUT將出現(xiàn)呼叫失敗(如不能呼通、語(yǔ)音延遲超常等)。根據(jù)該數(shù)值,結(jié)合現(xiàn)網(wǎng)中的呼叫規(guī)模,用戶可以有針對(duì)性地對(duì)DUT進(jìn)行升級(jí)、優(yōu)化。
注:此部分結(jié)果可以對(duì)上述表格中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)得出,如:記錄接通狀態(tài)出現(xiàn)“No”,語(yǔ)音延遲大于的10秒時(shí)的負(fù)載。
也可降低呼叫失敗的標(biāo)準(zhǔn),得到DUT的順暢處理極限。比如:接通狀態(tài)全部為“Yes”,語(yǔ)音延遲低于4秒時(shí)的最大順暢并發(fā)呼叫數(shù)或最大順暢并發(fā)呼叫速率。
5)DUT的穩(wěn)定性
穩(wěn)定性是DUT在指定負(fù)載條件下長(zhǎng)時(shí)間運(yùn)轉(zhuǎn)時(shí)的表現(xiàn)。這項(xiàng)指標(biāo)對(duì)于一個(gè)即將投入生產(chǎn)環(huán)境的IVR系統(tǒng)來說是非常有借鑒價(jià)值的。
比如,對(duì)DUT以最大順暢呼叫速率施加負(fù)載,評(píng)估DUT在24小時(shí)內(nèi)的性能表現(xiàn)。