全康環(huán)保:2019年以來(lái)，深水集團、杭州水務(wù)集團、重慶水務(wù)集團、蘇州水務(wù)集團、鄭州供水等眾多大、中型水務(wù)企業(yè)相繼啟動(dòng)了數據治理和大數據中心建設項目，水務(wù)行業(yè)如此密集地開(kāi)展數據治理和數據中心建設，智慧水務(wù)的建設重心逐步發(fā)展變化：由建設營(yíng)收、GIS、SCADA等MIS系統為主的業(yè)務(wù)數據化，逐步轉變至以數據治理和大數據為主的數據業(yè)務(wù)化；由偏向于數據的生產(chǎn)轉為更注重數據資源的管理和數據資產(chǎn)化，水務(wù)行業(yè)數字化轉型迎來(lái)新的發(fā)展階段。

圖1 數據治理及大數據中心建設是熱點(diǎn)

在杭州水務(wù)集團、鄭州供水、蘇州水務(wù)集團、江蘇中法水務(wù)等多家水務(wù)企業(yè)的數據治理及大數據中心建設工作中，數據倉庫建模方法論是一致的，但由于水務(wù)行業(yè)特性、業(yè)務(wù)場(chǎng)景的不同，在不同的水務(wù)企業(yè)，基于大數據的數據倉庫建設無(wú)法按照統一的項目流程、開(kāi)發(fā)模式進(jìn)行，更多的是需要根據具體的業(yè)務(wù)場(chǎng)景結合新的技術(shù)體系進(jìn)行靈活調整，以滿(mǎn)足水務(wù)企業(yè)的實(shí)際情況和具體需求。

圖2 某水務(wù)集團數據倉庫工作歷程

在實(shí)際數據倉庫建設中，考慮到底層建設的工作量大，過(guò)程時(shí)間長(cháng)，內容比較抽象、不易理解等特點(diǎn)，我們先對水務(wù)企業(yè)現有的數據資源進(jìn)行盤(pán)點(diǎn)和評估，科普大數據中心建設知識，梳理各條業(yè)務(wù)線(xiàn)的大數據應用場(chǎng)景，確定數據入倉的范圍，挑選各部門(mén)需求程度最高的大數據應用場(chǎng)景進(jìn)行優(yōu)先建設，一方面能快速看到數據倉庫建設成果，另一方面也可以及時(shí)發(fā)現和調整建設過(guò)程中出現的問(wèn)題，總結經(jīng)驗，為其他大數據應用場(chǎng)景建設打下基礎，提高數據倉庫建設效率，降低成本。

在數據倉庫建設過(guò)程中，各水務(wù)企業(yè)數據倉庫建設流程也會(huì )有所區別，但主要流程和重點(diǎn)環(huán)節基本一致，主要流程和重點(diǎn)環(huán)節介紹如下：

圖3 數據入倉流程圖

一、元數據采集：制定出各信息化系統的元數據清單

根據前期的需求調研，確定本次入倉的信息化系統，并向系統維護人員收集系統操作手冊、數據字典等文檔以及系統數據庫相關(guān)信息。通過(guò)數據采集工具對各系統數據庫的表和字段進(jìn)行采集，結合各系統文檔，確定數據庫中所有表和字段的中文含義及字段的數據類(lèi)型，形成元數據清單。

以營(yíng)銷(xiāo)管理系統數據入倉為例，需要明確哪張表是客戶(hù)表，哪張是收費表，以及表中每個(gè)字段的中文含義。有些系統文檔由于沒(méi)有及時(shí)更新，與現有系統數據有不一致情況，則需要信息管理部門(mén)與系統開(kāi)發(fā)廠(chǎng)家支持，獲取比較準確的元數據清單。

圖4 數據采集范圍

二、數據篩選：在元數據清單基礎上篩選出需要入倉的數據，制定入倉清單

針對元數據清單進(jìn)行進(jìn)一步的數據篩選，去除臨時(shí)表和空表等無(wú)用表，確定核心數據表和維度表，提供給信息管理部門(mén)進(jìn)行確認，形成最終入倉的數據表清單。

經(jīng)過(guò)第一步元數據采集，形成元數據清單的過(guò)程，可以比較容易的識別出臨時(shí)表和空表，重點(diǎn)放在空表是否確實(shí)為無(wú)用表上即可。

三、數據入倉：根據各數據表實(shí)際情況，制定出入倉方案，通過(guò)專(zhuān)用ETL工具將數據抽取至鏡像數據倉庫

根據待入倉的數據表清單，以及每張表的實(shí)際情況，制定出源數據和鏡像數據倉庫表之間的字段的映射關(guān)系，確定出每張表的入倉策略和抽取規則，是實(shí)時(shí)抽取還是定時(shí)抽取，是全量出抽取還是增量抽取，將規則配置入ETL工具，執行數據入倉。

將數據匯入鏡像數據倉庫時(shí)，因為數據通常來(lái)自多個(gè)系統多個(gè)數據庫最終進(jìn)入同一倉庫中，鏡像數據倉庫對于數據表的命名有專(zhuān)門(mén)的原則和規范，與源數據庫的表名會(huì )有所不同，需要將表名之間的映射關(guān)系做好記錄，同時(shí)制定好每張表的同步規則，如考慮業(yè)務(wù)系統晚上使用較少，數據同步時(shí)間一般放在晚上，錯峰同步；

以營(yíng)銷(xiāo)管理系統為例，系統中的組織機構表、客戶(hù)表等數據不多、變化較小的表可以全量同步，而像抄表數據、收費數據等數據量較大的表可以使用增量同步。

四、數據質(zhì)量檢查：制定數據質(zhì)量檢查規則，定時(shí)進(jìn)行數據質(zhì)量檢核，提升企業(yè)數據質(zhì)量

根據元數據清單以及業(yè)務(wù)含義，定義出數據質(zhì)量檢查規范、評分標準、及每個(gè)字段檢查規則，如戶(hù)號是否唯一，手機號是否為11位數字，身份證號是否為國家規定的15位和18位規則，抄表讀數是否為合理的數字范圍等。

經(jīng)過(guò)數據質(zhì)量檢核清洗，形成數據質(zhì)量報告，并將報告結果和未通過(guò)檢核的明細記錄反饋至源系統，形成閉環(huán)，PDCA持續提升源數據庫的數據質(zhì)量。通過(guò)數據質(zhì)量檢核的數據，進(jìn)入標準化數據倉庫，供主數據管理和數據集市使用。

五、建立數據集市：從業(yè)務(wù)角度對入倉數據進(jìn)行梳理，制定數據資產(chǎn)目錄以及主數據和業(yè)務(wù)模型等數據標準，最終形成數據集市

對數據入倉清單進(jìn)行專(zhuān)題數據識別，劃分數據分類(lèi)與主題，形成數據資產(chǎn)目錄，制定出主數據和業(yè)務(wù)模型等相關(guān)數據標準。

制定數據資產(chǎn)目錄主要是為了讓非技術(shù)人員了解企業(yè)有哪些數據，因此在制定過(guò)程中一般從業(yè)務(wù)角度進(jìn)行分類(lèi)制定，方便業(yè)務(wù)人員理解。制定數據標準時(shí)，一方面需要考慮與現有系統的兼容性，另一方面應重點(diǎn)考慮未來(lái)的擴展性和統一性，方便企業(yè)對數據的應用，也為新系統建設提供指導。

六、數據應用：建設數據倉庫最終是為了更好的應用數據，充分發(fā)揮數據在生產(chǎn)運營(yíng)、營(yíng)銷(xiāo)客服、管理管控中的最大價(jià)值

通過(guò)數據倉庫，水務(wù)企業(yè)可以拆掉“煙囪”，打破各系統中的數據壁壘，實(shí)現真正全面數據共享，同時(shí)也讓水務(wù)企業(yè)的分析統計維度獲得全面的提高，為企業(yè)管理帶來(lái)新的視角和手段。

數據共享不僅讓水務(wù)企業(yè)內部與外部、部門(mén)與部門(mén)間的數據獲取與共享更方便更快速，也讓每一位員工能夠獲取更全面的信息，提高工作效率，如客服人員不再只能查詢(xún)營(yíng)銷(xiāo)管理系統內的用戶(hù)信息，還能知道用戶(hù)所屬的二次加壓泵房的工作狀態(tài)、最近一次水箱清洗的時(shí)間、最近一次水質(zhì)檢查結果、附近管網(wǎng)情況、是否有搶修停水情況發(fā)生、當天附近是否還有其他用戶(hù)來(lái)電反應相同事件、用水由哪幾個(gè)水廠(chǎng)提供、附近是否有工作人員可以快速上門(mén)、用水由哪幾個(gè)水廠(chǎng)提供等，真正實(shí)現從水源到龍頭的管理。

同時(shí)通過(guò)基于A(yíng)I算法的客戶(hù)畫(huà)像功能，可以識別出更多客戶(hù)特征，方便業(yè)務(wù)人員為客戶(hù)提供更為精細化有針對性的服務(wù)，如獨居老人關(guān)懷、重點(diǎn)用戶(hù)識別、異常用水分析、工作質(zhì)量分析、客戶(hù)服務(wù)分析等，支撐精準服務(wù)、個(gè)性化和主動(dòng)服務(wù)，持續提升客戶(hù)體驗和獲得感。

隨著(zhù)《關(guān)于加快推進(jìn)國有企業(yè)數字化轉型工作的通知》、《關(guān)于加快構建全國一體化大數據中心協(xié)同創(chuàng )新體系的指導意見(jiàn)》等眾多利好政策的推出，數據作為重要的生產(chǎn)要素將逐步成為水務(wù)企業(yè)的經(jīng)營(yíng)理念――憑數據工作、憑數據決策、憑數據指揮。