作者簡(jiǎn)介
通信技術(shù)中心，主要負(fù)責(zé)攜程呼叫中心日常運(yùn)維，包括配置管理和監(jiān)控平臺(tái)開(kāi)發(fā)，目前主要在呼叫中心運(yùn)維自動(dòng)化方向探索和演進(jìn)。
攜程作為中國(guó)最大的 OTA，和國(guó)內(nèi)外近十家電信運(yùn)營(yíng)商展開(kāi)合作，目前擁有語(yǔ)音線(xiàn)路通道10000+，包括傳統(tǒng)語(yǔ)音線(xiàn)路以及基于軟交換平臺(tái)的 SIP 線(xiàn)路，每天的話(huà)務(wù)量更是以百萬(wàn)計(jì)。從業(yè)務(wù)類(lèi)型來(lái)說(shuō)，又可以分為人工呼入呼出、自動(dòng)呼入呼出和自動(dòng)轉(zhuǎn)呼等等。
面對(duì)不同運(yùn)營(yíng)商、不同線(xiàn)路特性的運(yùn)維管理和靈活多變業(yè)務(wù)需求，基于監(jiān)控精細(xì)化、自動(dòng)化、操作便捷化標(biāo)準(zhǔn)下做到對(duì)故障快速響應(yīng)和處理的目標(biāo)，我們開(kāi)發(fā)了一套針對(duì)呼叫中心話(huà)務(wù)監(jiān)控管理平臺(tái)——Horus 系統(tǒng)。
攜程呼叫中心原先有一套監(jiān)控?cái)y程所有的呼入呼出話(huà)務(wù)的監(jiān)控系統(tǒng)，不過(guò)在使用過(guò)程中，系統(tǒng)存在以下問(wèn)題：
圖1 原有監(jiān)控痛點(diǎn)
Horus 系統(tǒng)對(duì)這些問(wèn)題進(jìn)行了針對(duì)性的處理，目前通過(guò)以下功能可以自動(dòng)發(fā)現(xiàn)并及時(shí)準(zhǔn)確的進(jìn)行告警：
圖2 Horus 系統(tǒng)特點(diǎn)
系統(tǒng)架構(gòu)圖：
圖3 系統(tǒng)架構(gòu)圖
Horus 系統(tǒng)主要由以下模塊組成：
采集模塊：從數(shù)據(jù)源采集數(shù)據(jù)，輸送到消息中間件 Hermes，支持 DB 及 API 方式采集；
存儲(chǔ)模塊：從 Hermes 獲取數(shù)據(jù)，并存儲(chǔ)到文件數(shù)據(jù)庫(kù) Hickwall，將監(jiān)控項(xiàng)索引存儲(chǔ)到 Mysql DB 中；
故障檢測(cè)：從 Hermes 獲取已采集的數(shù)據(jù)并調(diào)用數(shù)據(jù)分析模塊進(jìn)行故障檢測(cè)；
數(shù)據(jù)分析：根據(jù)歷史數(shù)據(jù)分析生成告警規(guī)則，檢測(cè)當(dāng)前數(shù)據(jù)，生成檢測(cè)結(jié)果和告警信息；
告警聚合：將告警進(jìn)行聚合，聚合后的告警信息返回 Hermes；
告警通知：從 Hermes 調(diào)取告警信息，執(zhí)行告警通知，并將告警通知存入 DB；
自動(dòng)測(cè)試：調(diào)用“語(yǔ)音機(jī)器人”功能，執(zhí)行自動(dòng)測(cè)試任務(wù)；
監(jiān)控展示/配置：執(zhí)行用戶(hù)和系統(tǒng)的交互； 系統(tǒng)邏輯圖：
圖4 系統(tǒng)邏輯圖
整體方案主要結(jié)合以下幾個(gè)方式進(jìn)行設(shè)計(jì)：
正態(tài)分布
周期屬性
差分統(tǒng)計(jì)
特征分析
數(shù)據(jù)關(guān)聯(lián)
自動(dòng)測(cè)試
自動(dòng)檢測(cè)
算法原理：
自動(dòng)檢測(cè)是 Horus 系統(tǒng)的核心功能，我們的做法是對(duì)海量歷史數(shù)據(jù)進(jìn)行采集和處理，按照以上幾個(gè)方案形成3種智能化檢測(cè)策略。
1.閾值分析
將歷史數(shù)據(jù)結(jié)合正態(tài)分布生成閾值上下限，再計(jì)算越界次數(shù)，生成閾值分析策略。為了提高閾值準(zhǔn)確性，我們將歷史數(shù)據(jù)區(qū)分工作日、雙休日以及節(jié)假日。同時(shí)考慮周期屬性，將數(shù)據(jù)按時(shí)間片再細(xì)分，對(duì)比每天同時(shí)刻數(shù)據(jù)，縮小偏差。
2.變化率分析
根據(jù)數(shù)據(jù)變化的趨勢(shì)，利用差分統(tǒng)計(jì)計(jì)算前后點(diǎn)之間的變化率，和自身數(shù)據(jù)前后趨勢(shì)作比較，生成變化率分析策略。
3.跌零檢測(cè)
對(duì)當(dāng)前數(shù)據(jù)進(jìn)行跌零檢測(cè)，結(jié)合損失話(huà)務(wù)量和跌零次數(shù)判斷是否告警。
4.自動(dòng)告警邏輯：
根據(jù)以上三個(gè)策略對(duì)實(shí)時(shí)的監(jiān)控?cái)?shù)據(jù)進(jìn)行檢測(cè)：
1）先進(jìn)行跌零檢測(cè)，如判斷數(shù)據(jù)跌零且滿(mǎn)足累計(jì)損失話(huà)務(wù)量或次數(shù)條件，則告警；
2）如果數(shù)據(jù)未跌零，則進(jìn)行閾值分析和變化率分析，部分場(chǎng)景再結(jié)合累計(jì)影響話(huà)務(wù)量以及是否為節(jié)假日判斷，滿(mǎn)足條件則告警，否則不告；
閾值分析&變化率分析示意圖如下：
1、Point-A1 的值超過(guò)閾值下限，且該點(diǎn)與前一點(diǎn)的變化率 C-Rate1 大于變化率門(mén)限，所以該點(diǎn)為異常點(diǎn)。
2、Point-B1 的值超過(guò)閾值上限，但該點(diǎn)與前一點(diǎn) Point-B2 的變化率 C-Rate2 小于變化率門(mén)限，所以該點(diǎn)判斷為正常點(diǎn)。
圖5 閾值分析&變化率分析示意圖
話(huà)務(wù)量監(jiān)控
成功率監(jiān)控
周期性特征取值
小話(huà)務(wù)量的離散數(shù)據(jù)
關(guān)聯(lián)數(shù)據(jù)告警
長(zhǎng)期小幅下跌
話(huà)務(wù)量自動(dòng)檢測(cè)：
某號(hào)碼話(huà)務(wù)量在一個(gè)時(shí)間段數(shù)據(jù)陡降，連續(xù)2個(gè)點(diǎn)低于閾值下限，同時(shí)變化率大于門(mén)限值，觸發(fā)告警。
圖6 話(huà)務(wù)量告警
成功率自動(dòng)檢測(cè)：
成功率的檢測(cè)不僅僅是檢測(cè)是否低于某固定指標(biāo)，也是需要根據(jù)不同業(yè)務(wù)的特性以及不同時(shí)間段進(jìn)行監(jiān)控。針對(duì)容量類(lèi)或成功率等特殊監(jiān)控類(lèi)型，我們基于歷史數(shù)據(jù)進(jìn)行閾值分析，生成動(dòng)態(tài)的閾值上限或下限規(guī)則，即能滿(mǎn)足告警要求。
圖7 外呼成功率告警
周期性特征取值：
因業(yè)務(wù)類(lèi)型不同，部分話(huà)務(wù)數(shù)據(jù)存在陡升陡降情況。針對(duì)此類(lèi)數(shù)據(jù)，我們采用特征分析的方法，自動(dòng)發(fā)現(xiàn)其特征規(guī)律，減少誤告。
例如某監(jiān)控項(xiàng)在每周固定時(shí)間段有一個(gè)數(shù)據(jù)突升，我們通過(guò)特征分析發(fā)現(xiàn)了這個(gè)規(guī)律，作為后期告警檢測(cè)時(shí)的重要參考，避免誤告。
圖8 周期性特征取值
小話(huà)務(wù)量的離散數(shù)據(jù)
小業(yè)務(wù)量監(jiān)控項(xiàng)一直以來(lái)都是業(yè)務(wù)監(jiān)控的盲區(qū)，因?yàn)闃I(yè)務(wù)量小導(dǎo)致告警規(guī)則難以確定。對(duì)此我們采用了數(shù)據(jù)聚合的策略，從數(shù)據(jù)量和業(yè)務(wù)形態(tài)兩方面入手，自動(dòng)分析監(jiān)控項(xiàng)特征并打上標(biāo)簽，通過(guò)不同聚合維度對(duì)監(jiān)控項(xiàng)進(jìn)行檢測(cè)和告警。
圖9的常規(guī)時(shí)間序列圖中，該監(jiān)控項(xiàng)的數(shù)據(jù)是離散的，傳統(tǒng)方法無(wú)法有效監(jiān)控起來(lái)。經(jīng)過(guò)聚合之后，圖10的數(shù)據(jù)被聚合成1小時(shí)維度的，這樣形態(tài)就變得很有規(guī)律，可以進(jìn)行檢測(cè)和告警。當(dāng)然，聚合之后雖然可以解決檢測(cè)和告警的問(wèn)題，但展示和監(jiān)控維度都變成1小時(shí)，從問(wèn)題發(fā)生到告警觸發(fā)時(shí)延有所延長(zhǎng)。
圖9 常規(guī)時(shí)間序列圖
圖10 聚合時(shí)間序列圖
關(guān)聯(lián)告警
話(huà)務(wù)監(jiān)控項(xiàng)之間往往存在著一定的關(guān)聯(lián)性，我們通過(guò)將2個(gè)或多個(gè)相關(guān)的監(jiān)控項(xiàng)自動(dòng)關(guān)聯(lián)，以減少誤告避免漏告。
下圖我們將傳真請(qǐng)求總量、傳真發(fā)送總量進(jìn)行關(guān)聯(lián)。以下紅色圓點(diǎn)請(qǐng)求總量增加，但發(fā)送總量沒(méi)有變化，因此進(jìn)行告警，而后面的請(qǐng)求總量增加，同時(shí)發(fā)送總量也增加，系統(tǒng)關(guān)聯(lián)后，不進(jìn)行告警。
圖11 關(guān)聯(lián)告警
長(zhǎng)期小幅下跌
對(duì)于某些長(zhǎng)期小幅下跌的問(wèn)題，傳統(tǒng)方式無(wú)法有效檢測(cè)，通過(guò)聚合之后閾值和累計(jì)影響話(huà)務(wù)量的檢測(cè)，可以有效發(fā)出告警。
圖12 長(zhǎng)期小幅下跌
告警檢測(cè)依賴(lài)的是歷史數(shù)據(jù)分析，而業(yè)務(wù)也有其隨機(jī)性，因此不可避免的存在誤告的可能。對(duì)此，我們采用自動(dòng)測(cè)試方式對(duì)告警進(jìn)行篩查。
自動(dòng)測(cè)試功能的實(shí)現(xiàn)基于我們的另一款產(chǎn)品“語(yǔ)音機(jī)器人”。針對(duì)話(huà)務(wù)量，成功率等監(jiān)控項(xiàng)，獲取疑似告警發(fā)生后，系統(tǒng)會(huì)調(diào)用“語(yǔ)音機(jī)器人”功能，根據(jù)測(cè)試用例進(jìn)行自動(dòng)測(cè)試，將測(cè)試結(jié)果返回后插入到告警信息中，并告知運(yùn)維負(fù)責(zé)人該告警為誤告。
圖13 自動(dòng)測(cè)試報(bào)告
監(jiān)控系統(tǒng)發(fā)出告警之后，可能會(huì)引申出另一個(gè)問(wèn)題，那就是告警風(fēng)暴。告警風(fēng)暴通常發(fā)生于以下兩種情況：
1、系統(tǒng)發(fā)生大型故障，多個(gè)監(jiān)控項(xiàng)同時(shí)發(fā)生告警
2、單個(gè)監(jiān)控項(xiàng)連續(xù)發(fā)生告警 針對(duì)告警風(fēng)暴，我們的做法是將大量重復(fù)的、或同類(lèi)的告警壓縮為一條真正有意義的告警，為運(yùn)維人員提供甄選之后的最重要的告警。
這里有兩個(gè)規(guī)則：
1、同一通知組，1分鐘內(nèi)同時(shí)發(fā)生的不同告警合并成一個(gè)通知內(nèi)；
2、同一監(jiān)控項(xiàng)，30分鐘內(nèi)的告警只通知一次，不再重復(fù)通知；
用戶(hù)也可以查看聚合之前的告警以及他們的時(shí)間序列關(guān)系。實(shí)際使用中，告警壓縮率可以達(dá)到95%以上。
便捷接入
提供 API、DB 和插件等多種方式，3步完成接入。
Step1：配置采集信息，包括監(jiān)控對(duì)象分類(lèi)、采集名稱(chēng)和采集方式等
圖14 采集配置
Step2：自動(dòng)校驗(yàn)，生成監(jiān)控項(xiàng)
圖15 生成監(jiān)控項(xiàng)
Step3：確定圖表需要接入的菜單名稱(chēng)，同時(shí)完成啟用告警、告警通知組等全局配置
圖16 全局配置
可視化編輯
圖表編輯頁(yè)面，可同時(shí)完成圖表命名、監(jiān)控項(xiàng)選擇、添加上周曲線(xiàn)、添加基線(xiàn)、修改顏色和編輯告警規(guī)則等典型場(chǎng)景下的常用操作
圖17 可視化編輯
運(yùn)維大屏
梳理各類(lèi)運(yùn)維數(shù)據(jù)，投放到大屏上進(jìn)行綜合展示
圖18 運(yùn)維大屏
自動(dòng)語(yǔ)音通知
對(duì)于告警通知，我們?cè)卩]件通知的基礎(chǔ)上增加了電話(huà)通知功能。在告警發(fā)生后，調(diào)用“語(yǔ)音機(jī)器人”模塊向系統(tǒng)負(fù)責(zé)人手機(jī)發(fā)起呼叫，通過(guò)文本轉(zhuǎn)語(yǔ)音模塊將告警內(nèi)容自動(dòng)轉(zhuǎn)化成語(yǔ)音及時(shí)通知應(yīng)用負(fù)責(zé)人。運(yùn)維人員在聽(tīng)取告警內(nèi)容后，如暫時(shí)無(wú)需處理或暫時(shí)無(wú)需關(guān)注，可通過(guò)按鍵進(jìn)行“屏蔽”或“誤告”等操作，避免系統(tǒng)一直告警。
告警通知采用自動(dòng)升級(jí)機(jī)制，如三次系統(tǒng)負(fù)責(zé)人不接聽(tīng)電話(huà)，自動(dòng)升級(jí)至其主管，如主管不接電話(huà)，自動(dòng)升級(jí)至更高級(jí)別管理人員。（升級(jí)機(jī)制可通過(guò)參數(shù)配置）
Horus 系統(tǒng)投入生產(chǎn)后，接入的監(jiān)控項(xiàng) type 已達(dá)17種，不同的業(yè)務(wù)類(lèi)型引出了更多的問(wèn)題和需求。后續(xù)我們會(huì)繼續(xù)通過(guò)大數(shù)據(jù)分析、AI 等人工智能技術(shù)不斷優(yōu)化監(jiān)控平臺(tái),并在用戶(hù)界面提供更多便捷、個(gè)性化的操作體驗(yàn)和展示效果。當(dāng)然從傳統(tǒng)業(yè)務(wù)監(jiān)控到全面自動(dòng)化業(yè)務(wù)監(jiān)控必將是一個(gè)持久的過(guò)程。
