10月28日一早,湖北電力信通公司大數據室主任廖榮濤登錄數據中臺全鏈路監(jiān)測平臺,查看數據中臺當天數據同步情況。平臺提示,智慧供應鏈應用有1張數據表在數據中臺的數據量為0,核查發(fā)現是該數據表在源端系統(tǒng)結構變更造成的。和之前每日由國網大數據中心通知數據質量問題的方式相比,數據中臺全鏈路監(jiān)測平臺大大提高了數據核查的工作效率。
數據中臺全鏈路監(jiān)測平臺是國網湖北電力企業(yè)級數字基礎能力建設重點項目工作成果之一,由湖北電力信通公司承建。該平臺于5月份啟動建設,9月底上線運行,可對數據從源端系統(tǒng)到數據中臺再到業(yè)務應用的流轉通道以及數據資源進行統(tǒng)一監(jiān)測,實現數據鏈路可視、可查、可追溯,推動數據監(jiān)測應用更智能。
細化數據監(jiān)測顆粒度
精準定位異常
數據從源端業(yè)務系統(tǒng)接入到數據中臺后,將經過多層清洗、處理、匯總、輸出等流轉過程,且省級數據中臺和國網大數據中心數據中臺兩級中臺之間數據交互頻繁、數據鏈路復雜,任何一個環(huán)節(jié)出現問題都會造成數據無法使用。
“在前期數據中臺狀態(tài)監(jiān)測專項工作成果的基礎上,平臺研發(fā)人員統(tǒng)籌設計,細化監(jiān)測顆粒度,實現了監(jiān)測對象從數據表到字段的突破?!焙彪娏π磐ü緮祿信_專責王晟瑋介紹。平臺研發(fā)人員梳理各專業(yè)業(yè)務規(guī)則,厘清數據字段從產生、加工融合到流轉應用的上下游依賴關系即數據鏈路,實現了數據字段級監(jiān)測,確保數據中臺字段級數據傳輸的一致、完整與及時。
厘清數據鏈路之后,湖北電力信通公司從數據流與組件兩個維度,設計了涵蓋數據調用任務、中臺組件、數據服務、重點應用4個方面的58項監(jiān)測指標,明確了數據監(jiān)測的標準。之后,該公司多次研究,確定了通過元倉數據、日志信息采集數據,加工計算形成監(jiān)測指標后推送至前端界面,可視化展示全環(huán)節(jié)數據流轉的技術路線,實現數據中臺全鏈路情況在線可視、可查、可監(jiān)測。
基于數據字段級監(jiān)測,平臺還實現了數據異常告警、定位和溯源三大功能。目前,該平臺已監(jiān)測數據中臺接入的59個業(yè)務系統(tǒng)數據,涉及數據表1.68萬張,日均監(jiān)測數據任務超3萬個。上線以來,該平臺發(fā)現接入數據鏈路異常286次,預警兩級中臺異常98次,國網湖北電力數據質量問題分析耗時降低80%。
開放監(jiān)測能力
提高數據調用效率
“網上電網應用申請將營銷業(yè)務應用系統(tǒng)電量電費數據納入監(jiān)測平臺,主要包括302個‘煤改電’等臺區(qū)5.5萬戶客戶的用電量數據?!?0月29日,王晟瑋收到國網湖北電力發(fā)展部專責葉宇軒的郵件。王晟瑋了解情況后,組織技術人員制訂方案,開展電量電費數據鏈路梳理,并在平臺上配置相關信息。當天下午,葉宇軒便可以在數據中臺全鏈路監(jiān)測平臺的應用監(jiān)測模塊看到數據同步情況,省去了數據確認與核查的環(huán)節(jié),數據調用效率大大提升。
隨著數據中臺的深化應用,跨專業(yè)、跨部門的數據調用日益頻繁。以往數據開發(fā)人員申請數據后,一般通過電話、郵件與業(yè)務部門核對確認業(yè)務數據狀態(tài)。這種方式耗時費力,而且當業(yè)務數據狀態(tài)出現變更或錯誤時,沒有預警和定向通知,信息無法自動及時傳達給相關人員,問題處理較為被動。
為了更好地支持業(yè)務部門開展數據分析應用,湖北電力信通公司為數據中臺全鏈路監(jiān)測平臺開發(fā)了應用監(jiān)測模塊,相關人員可查看業(yè)務數據在各環(huán)節(jié)的情況。通過該平臺,跨專業(yè)的數據共享和使用更加便捷,大幅降低了溝通成本,推動數據分析應用的開發(fā)迭代時長縮短20%。
按需聯(lián)動
提供個性化監(jiān)測需求解決方案
10月28日,黃岡供電公司配網故障搶修應用負責人胡歡君在全鏈路監(jiān)測平臺查看數據運行情況。應用后臺數據鏈路運行正常,數據更新頻率為5分鐘,滿足應用開發(fā)需求。配網故障搶修應用需要抽取用電信息采集系統(tǒng)中的實時電流、電壓等數據,并根據時效性調整應用開發(fā)策略,對數據時效性要求較高。此前,全鏈路監(jiān)測平臺常規(guī)的日監(jiān)測模式無法其滿足開發(fā)要求。
收到配網故障搶修應用的數據抽取需求后,全鏈路監(jiān)測平臺技術人員將配網故障搶修應用的接入數據顆粒度由數據表細化到涉及電流、電壓等數據的字段,并設置數據時效性監(jiān)測指標和異常告警規(guī)則,讓應用能夠實時獲取源端數據更新情況。
針對應用開發(fā)中常見的數據變動頻繁、時效性以及優(yōu)先級要求不同等情況,湖北電力信通公司梳理個性化監(jiān)測需求背后的業(yè)務邏輯,找準數據鏈條,并根據應用需求定制化設置監(jiān)測顆粒度,提高數據監(jiān)測與應用開發(fā)實際需求的契合度。
“新建應用及重點應用可按需提高監(jiān)測頻率、配置告警閾值、定制監(jiān)測指標,結合業(yè)務變化靈活調整。”國網湖北電力數據中臺總體負責人周鴻雁說,“目前,全鏈路監(jiān)測平臺重點保障向國網大數據中心報送的507張數據表的傳輸,支撐國網湖北電力243項考核指標的計算,持續(xù)開展本地116條關鍵數據鏈路監(jiān)測,更多的監(jiān)測需求我們還在積極與業(yè)務部門對接中。后續(xù),我們將不斷拓展監(jiān)測范圍及深度,讓監(jiān)測服務流程更加標準化?!?
評論