經(jīng)過長時間的實習(xí)和總結(jié),，咱們發(fā)現(xiàn)效勞器運營的大數(shù)據(jù)有以下四個特色,，由淺入深，分別是：1）Volume數(shù)據(jù)體量無窮,，特別是騰訊有海量的效勞器,，歸納起來，數(shù)據(jù)量能夠到PB等級,，需要大容量,、高性能的存儲技能,，剖析的算法也需要最優(yōu)化,；2）Variety數(shù)據(jù)類型眾多，觸及許多的運轉(zhuǎn)日志,、部件狀況,、出產(chǎn)鏈運營、環(huán)境變量等,，常常要抽絲剝繭,，才干找到有用的數(shù)據(jù)；3）Value 價值無窮,，但并不是每個數(shù)據(jù)都有價值,，需要經(jīng)過清潔和加工處置后，其發(fā)作的作用才干閃現(xiàn),，以機房環(huán)境溫度告警為例,，數(shù)百萬條溫度的信息，經(jīng)過剖析比照后,，才有能夠發(fā)現(xiàn)溫度反常,；4）Velocity數(shù)據(jù)需要疾速處置，特別是告警類的運用,，時效性是十分重要的,。

下面講講咱們是怎樣搜集和存儲效勞器運營數(shù)據(jù)的，給我三分鐘,，給你一個英俊又有養(yǎng)分的答案,！

運營體系架構(gòu)

關(guān)于海量效勞器的辦理，咱們建立了一套功用強壯的運營剖析體系,，從效勞器的帶內(nèi)和帶外搜集了悉數(shù)的靜態(tài)屬性和動態(tài)運轉(zhuǎn)數(shù)據(jù),，對效勞器的每個關(guān)節(jié)進行的全方位的數(shù)據(jù)搜集和監(jiān)控,。猶如咱們平常體檢，把心,、肝,、脾、肺,、腎,，乃至每個毛孔，都進行了查看,。體系架構(gòu)如下圖所示,。

存儲和剖析

數(shù)據(jù)搜集起來后，除了一部分實時的數(shù)據(jù)存在本地數(shù)據(jù)庫,，簡直悉數(shù)的歷史數(shù)據(jù)都會存儲在公司級的數(shù)據(jù)渠道中,。這個數(shù)據(jù)渠道供給了豐富的東西體系，功用悉數(shù),，涵蓋了數(shù)據(jù)存儲,、剖析、實時核算等,。例如,，TPG是依據(jù)postgreSQL的數(shù)據(jù)庫，用于寄存TDW（Tencent distributed Data Warehouse騰訊分布式數(shù)據(jù)倉庫）離線剖析后的成果數(shù)據(jù),，便于體系調(diào)用（如效勞器利用率剖析,毛病剖析,、效勞器生命周期等出產(chǎn)數(shù)據(jù)）；Hbase依據(jù)No SQL,，萬億級的分布式,、有序數(shù)據(jù)存儲，用于寄存剖析后的成果數(shù)據(jù)（如溫度功耗剖析成果數(shù)據(jù)）,。全體的架構(gòu)如下圖所示,。

大數(shù)據(jù)的四個實習(xí)

大數(shù)據(jù)的規(guī)劃剖析，決議計劃者和開發(fā)者首要要從事務(wù)驅(qū)動的視點,，挑選數(shù)據(jù)出產(chǎn)的事務(wù)場景,，即要估計數(shù)據(jù)剖析得到的成果能帶來哪些效益。依據(jù)公司效勞器運營的特色,，咱們在以下四個場景做了大數(shù)據(jù)的剖析和運用,，給實踐的運營帶來的實實在在的好處。

硬盤毛病猜測

硬盤是效勞器硬件毛病率最高的一個部件,，假如能提早猜測到硬盤毛病,，對事務(wù)體會、完善備件辦理都有莫大的收益。這也是根底架構(gòu)運營在經(jīng)歷主動化,、流程化后,，需要進一步進步運營功率、下降運營本錢的天然需要,。

觸及硬盤的運營數(shù)據(jù)包含事務(wù)IO數(shù)據(jù),、硬盤內(nèi)部的SMART和硬盤運轉(zhuǎn)的環(huán)境變量數(shù)據(jù)(溫度和濕度)。當(dāng)前,，運營體系對IO數(shù)據(jù)是每小時搜集一次,，SMART數(shù)據(jù)每三小時搜集一次，溫度和濕度每半小時搜集一次,，這些數(shù)據(jù)算計起來每天的記載數(shù)上億條,。硬盤毛病猜測，適宜運用分類算法,，咱們運用了當(dāng)前較為盛行的SVM分類算法,，輔以適宜的核函數(shù)來加快學(xué)習(xí)核算的功率。

經(jīng)過了一年多時間的實習(xí),，走了不少彎路,，也碰到了許多坑，在硬盤毛病標(biāo)準(zhǔn)斷定,、事務(wù)IO分類定義等方面吃了不少的虧,，咱們在依據(jù)SMART數(shù)據(jù)做的毛病猜測，到達了令人滿意的作用,。在實踐運營環(huán)境中驗證的成果如下：準(zhǔn)確率precision到達98%，猜測時間leadtime的全體偏差不超越2天,。

需要要點指出的是,，咱們做的猜測成果，除了training期間用歷史數(shù)據(jù)外,，驗證的進程是用現(xiàn)網(wǎng)的實時數(shù)據(jù)來進行的,。即是說，經(jīng)過SVM算法得到的猜測模型后,，咱們是用最新搜集的實時數(shù)據(jù)輸入到模型中,，得到的ok和fail兩種猜測成果，在3天,、7天,、14天后再對猜測的成果進行驗證。這個比傳統(tǒng)的猜測方法（練習(xí)和驗證都是運用歷史數(shù)據(jù)）,，對現(xiàn)網(wǎng)運用的價值大大進步了,。當(dāng)前在現(xiàn)網(wǎng)環(huán)境中，首要的落地場景包含：1）猜測出來的成果,，經(jīng)過運營流程,，對BG事務(wù)提早宣布預(yù)警,，以進步事務(wù)運維功率 2）依據(jù)猜測出來的大規(guī)模硬盤毛病，對備件進行有用辦理,。

效勞器利用率剖析

騰訊的事務(wù)類型和機型都相當(dāng)多,，機器分配給事務(wù)后，運用的狀況如何,？咱們需要盯梢效勞器的利用率狀況,，下圖是某事務(wù)某機型磁盤IO的利用率核算剖析圖。剖析進程如下：存儲類機型,，看到一段時間核算出來的IO的利用率并不高,，并且是寫少讀多的運用，是不是能夠考慮運用IOPS相對不高的賤賣硬盤,？仍是事務(wù)的架構(gòu)存在優(yōu)化的空間,？

效勞器利用率剖析給運營帶來的好處在于：1）聯(lián)絡(luò)事務(wù)模型，發(fā)現(xiàn)事務(wù)運用效勞器的短板,，在發(fā)現(xiàn)并批改體系架構(gòu)缺點的一同,，進步全體利用率；2）對機型選型的優(yōu)化,，例如關(guān)于磁盤容量運用率不高的機型,，在后續(xù)的機型定制中削減硬盤的數(shù)量。

毛病率剖析

效勞器毛病剖析對效勞器的各個部件的毛病率都做了剖析和監(jiān)控,，包含1）生成月度毛病率報表,；2）毛病率反常的實時監(jiān)控和主動告警；3）剖析外部條件與毛病率的聯(lián)絡(luò),；4）與OS的軟件告警信息聯(lián)動起來,，及時發(fā)現(xiàn)效勞器的亞健康狀況。

上圖是某效勞器硬件近來幾周的毛病率核算信息,。按部件給出各個機型的毛病率狀況,，及時發(fā)現(xiàn)批次性毛病并給出告警

環(huán)境監(jiān)控

2013年8月，華東地區(qū)遭受稀有的高溫氣候,，許多機房空調(diào)制冷扛不住了,，頻頻發(fā)作效勞器高溫重啟的事情。假如能把機房環(huán)境溫度有用的監(jiān)控起來,，咱們就能在發(fā)現(xiàn)反常時宣布高溫告警,，提早采納措施。對效勞器入風(fēng)口溫度進行搜集和監(jiān)控是一個較為有用的計劃,。

上圖顯現(xiàn)效勞器入風(fēng)口溫度改變的反常狀況,，經(jīng)過數(shù)據(jù)的規(guī)整和誤差批改，發(fā)作了高溫告警。經(jīng)過主動化流程,，及時知會到機房現(xiàn)場負(fù)責(zé)人,。

一些考慮

不要被數(shù)據(jù)誤導(dǎo)

人們很簡單被大數(shù)據(jù)忽悠。在許多場合咱們都談了大數(shù)據(jù)強壯的功用和夸姣的將來,，以為能夠處理許多社會問題,，乃至猜測將來。不管大數(shù)據(jù)如何奇特,，若試圖用大數(shù)據(jù)引領(lǐng)將來只會誤入歧途,，由于大數(shù)據(jù)背后本就存在著“先天不足”：從本質(zhì)上看，大數(shù)據(jù)最大的缺點就在于試圖以斷定去“推翻”混沌與不斷定性,。之前咱們做硬盤毛病猜測,，直觀的以為硬盤的讀寫壓力對硬盤老化和毛病是有直接聯(lián)絡(luò)的，但經(jīng)過剖析,，發(fā)現(xiàn)事務(wù)運用硬盤的隨機性太大了,，硬盤呼應(yīng)IO的形式也許多變，關(guān)于事務(wù)的IO讀寫份額,、塊巨細(xì)等,，有太多的不斷定性，即是前面說的混沌,，致使前面依據(jù)IO做的猜測成果十分差勁,。本來這兒要說的即是，當(dāng)前這個期間,，依托大數(shù)據(jù)來輔導(dǎo)效勞器運營,，不靠譜，效勞器運營智能化遠(yuǎn)遠(yuǎn)沒有到達,。這兒仍是要靠運營和開發(fā)人員的思想和腦筋,，把主動化運營先做好。

數(shù)據(jù)質(zhì)量的把控

數(shù)據(jù)的質(zhì)量和字段規(guī)范性對后面剖析作用的影響很大,。但事務(wù)開發(fā)所設(shè)計的數(shù)據(jù)不是為了運營剖析而效勞的，許多狀況下都是為了功用開發(fā)而存在,，假如能夠在體系構(gòu)建初期進行介入,，本來可用避免許多清潔作業(yè)，數(shù)據(jù)可直接投入剖析運用,。這兒開發(fā)人員和數(shù)據(jù)剖析的人員存在一個gap,，假如對數(shù)據(jù)在體系設(shè)計中遇上各種束縛的話，開發(fā)人員會覺得很苦楚,，開發(fā)功率十分低,；而數(shù)據(jù)剖析人員卻覺得假如數(shù)據(jù)能做到東西級定制，即是連數(shù)據(jù)的表字段的名稱，注釋,，連內(nèi)部聯(lián)絡(luò),，都是由體體系一生成，這樣搜集完滿的,。

后來,，咱們內(nèi)部經(jīng)過一段時間的評論和磨合，構(gòu)成的一致,。咱們做的是運營體系,，歸根到底是為運營效勞的，而數(shù)據(jù)剖析是運營的一個重要功用,。所以沒有辦法,，這個問題仍是需要開發(fā)期間來處理，開發(fā)人員只能克服了,。

對大數(shù)據(jù)將來的想象

精細(xì)化的傳感器

關(guān)于效勞器上傳感器的設(shè)計,，互聯(lián)網(wǎng)公司有特別的需要，對上游硬件廠商的依靠是比較高的,。騰訊有許多的效勞器運營數(shù)據(jù),，十分期望能夠跟業(yè)界一同在數(shù)據(jù)、資本,、算法等各個維度能夠同享,，尋求更多進步運營功率的途徑。這兒的傳感器也能夠從廣義上來打開,，除了效勞器物理上的sensor不斷增加,，在效勞器各個運營環(huán)節(jié)都能夠在流程中加入各種搜集代碼，把效勞器布置,、搬家,、退役等每個細(xì)小的過程都照實的記載下來。運營體系的不斷優(yōu)化將使“傳感器”體積微型化,，它將出現(xiàn)在出產(chǎn)的每一個旮旯,，為運營決議計劃供給更科學(xué)的數(shù)據(jù)支持。

數(shù)據(jù)效勞即開即用

跟著數(shù)據(jù)的逐步完善和開放,，互聯(lián)網(wǎng)和公司都將建立起完善的大數(shù)據(jù)效勞根底架構(gòu)及商業(yè)化形式,，從數(shù)據(jù)的存儲、發(fā)掘,、辦理,、核算等方面供給一站式效勞，將各行各業(yè)的數(shù)據(jù)孤島打通互聯(lián),。并且數(shù)據(jù)運用的生態(tài)體系也將變得十分老練,，乃至出現(xiàn)用戶與數(shù)據(jù)效勞商之間的算法供給商,，他們有專業(yè)領(lǐng)域內(nèi)的高手人才，經(jīng)過數(shù)據(jù)發(fā)掘的方法,，尋覓事物間的聯(lián)絡(luò),。用戶只需將其原始數(shù)據(jù)導(dǎo)入，供給商很快的就能在線的將剖析成果回來,，如水和電相同,，即開即用。
          TAG :機房監(jiān)控 機房監(jiān)控系統(tǒng) 機房環(huán)境監(jiān)控 來源：http://rupm.cn