傳統(tǒng)的動環(huán)監(jiān)控系統(tǒng)體系架構(gòu)包含三個組成部分:監(jiān)控對象(SO)、現(xiàn)場監(jiān)控單元(FSU),、集中監(jiān)控中心(SC),，體系結(jié)構(gòu)如下:
傳統(tǒng)動環(huán)監(jiān)控系統(tǒng)架構(gòu)

        以上架構(gòu)設計適合小規(guī)模的應用場景，難以解決大規(guī)模采集數(shù)據(jù)場景下的動環(huán)監(jiān)控業(yè)務應用，本文提出一種集群大數(shù)據(jù)平臺技術(shù)架構(gòu),，以滿足動環(huán)監(jiān)控系統(tǒng)對大規(guī)模測點實時性采集和處理,、大數(shù)據(jù)高效存儲和查詢、分布式容錯處理等要求,，同時為第三方SC,、SC、大數(shù)據(jù)分析,、其它應用提供共享服務,。另外，還制定測點和設備編碼規(guī)范,、測點和設備命名規(guī)范,、事件和轉(zhuǎn)臺字典規(guī)范以及服務接口標準化規(guī)范等。技術(shù)架構(gòu)設計包括數(shù)據(jù)采集,、分布式消息隊列(Kafka集群),、在線實時處理(Storm集群)、數(shù)據(jù)存儲中心,、共享服務,、配置管理等部分。技術(shù)架構(gòu)如下圖所示:

動環(huán)監(jiān)控系統(tǒng)大數(shù)據(jù)架構(gòu)設計

       1,、面向不同層次的數(shù)據(jù)采集,。支持面向第三方集中監(jiān)控中心(SC)和第三方現(xiàn)場監(jiān)控單元(FSU)數(shù)據(jù)采集;同時，支持面向動力系統(tǒng)和環(huán)境系統(tǒng)的現(xiàn)場監(jiān)控單元數(shù)據(jù)直采(一體式或主從式FSU),。依據(jù)不同的規(guī)約協(xié)議定制開發(fā)采集程序,，底層采集數(shù)據(jù)統(tǒng)一匯聚至分布式消息隊列(Kafka集群),。定制ETL單元采集數(shù)據(jù)推送至分布式消息隊列(Kafka集群),，由在線實時處理(Storm集群)應用，基于配置管理預先定義的點表映射關(guān)系進行處理,，轉(zhuǎn)換成動環(huán)監(jiān)控平臺自定義編碼;而現(xiàn)場監(jiān)控單元,，基于配置管理預先定義的點表映射關(guān)系，將底層動力和環(huán)境系統(tǒng)產(chǎn)生的測量數(shù)據(jù),，直接轉(zhuǎn)換成動環(huán)監(jiān)控平臺自定義編碼,，無需在線實時處理(Storm集群)應用進行點表映射處理。

       2,、集群式消息隊列,。在支持各個子系統(tǒng)本身業(yè)務應用要求的前提下，采集數(shù)據(jù)集中匯總到消息中間件(Kafka)緩沖,，每一個采集服務器在消息隊列中采用唯一標識的主題(Topic)存儲,，消息中間件中的數(shù)據(jù)存儲格式采用JSON格式;集中存儲的優(yōu)勢在于:平臺級應用方無須關(guān)注實現(xiàn)各個廠家不同的通訊方式和交互流程，在數(shù)據(jù)匯總的方式上基于互聯(lián)網(wǎng)的公開標準進行了統(tǒng)一，數(shù)據(jù)格式可以不統(tǒng)一,。傳統(tǒng)做法是要求數(shù)據(jù)格式的統(tǒng)一,，將復雜的數(shù)據(jù)格式處理轉(zhuǎn)嫁給了數(shù)據(jù)采集方，增加了數(shù)據(jù)采集方的工作量,，另外,，所謂的統(tǒng)一格式，也不能得到廣泛認可,，消息隊列的通訊方式是公認的技術(shù),。

       3、實時高并發(fā)數(shù)據(jù)處理機制,。統(tǒng)一業(yè)務數(shù)據(jù)格式(設備編號,、測點編號、測點數(shù)值,、測點類型,、采集時間等)，預先定義映射關(guān)系,，將不同數(shù)據(jù)格式的底層采集數(shù)據(jù),，統(tǒng)一格式化成標準的業(yè)務數(shù)據(jù);對于模擬量、計算量,、開關(guān)量實時數(shù)據(jù)的處理和存儲,。

       4、混合數(shù)據(jù)存儲模式,。針對不同類型數(shù)據(jù),，依據(jù)業(yè)務應用實際要求，選擇合適的存儲模式進行數(shù)據(jù)持久化處理,，并對外提供數(shù)據(jù),。對于文件、圖像,、視頻以文件方式存儲;實時測點數(shù)據(jù)存儲在內(nèi)存數(shù)據(jù)庫(Redis集群),，事件狀態(tài)數(shù)據(jù)局域(Redis)的消息訂閱機制，及時向外部應用推送;歷史測點數(shù)據(jù)存儲在時間序列數(shù)據(jù)庫(OpenTSDB集群),，配置管理,、基礎(chǔ)信息、業(yè)務數(shù)據(jù),、主題分析數(shù)據(jù)存儲在關(guān)系數(shù)據(jù)庫(MySQL集群),。

       5、開放式共享服務接口,。事件,、狀態(tài)、告警等即時消息，通過消息隊列訂閱機制對外推送;提供RESTful Web服務共享接口,，為遠程控制操作,、實時數(shù)據(jù)和歷史數(shù)據(jù)查詢提供應用基礎(chǔ);同時，平臺對外開發(fā)時間序列數(shù)據(jù)庫,、內(nèi)存數(shù)據(jù)庫,、消息隊列訪問方式。

       6,、可拓展業(yè)務應用,。共享服務支持第三方集控中心(SC)、SC,、大數(shù)據(jù)分析應用,、其它應用等二次開發(fā)。

       7,、標準化,、規(guī)范化。動環(huán)監(jiān)控平臺制定規(guī)范化和標準化的編碼,、命名,、字典、接口定義,，基于標準化,、規(guī)范化基礎(chǔ)，提供可視化的配置管理工具,。

來源：機房監(jiān)控 http://rupm.cn