| 公司新聞 |
| 行業(yè)新聞 |
 |
| 您當(dāng)前的位置：網(wǎng)站首頁(yè) ->> 行業(yè)新聞 |
| 業(yè)內(nèi)資深人士：新浪微博機(jī)房宕機(jī) 人為原因可能性最大 | |
| 發(fā)布時(shí)間：2017-06-21 08:40:39 點(diǎn)擊：1625 次 | |
6月17日下午16點(diǎn)30分左右開(kāi)始，新浪微博經(jīng)歷了“黑色一小時(shí)”，幾乎全平臺(tái)癱瘓，微博CIO王巍在事后回應(yīng)稱(chēng)，這次故障的原因是“外部機(jī)房整層掉電”。作為業(yè)內(nèi)人士，很難想象，支撐著上億用戶的新浪微博數(shù)據(jù)中心會(huì)出現(xiàn)因電力保障問(wèn)題而宕機(jī)的事故。 對(duì)此，中國(guó)IDC圈第一時(shí)間聯(lián)系到擁有20多年數(shù)據(jù)中心建設(shè)運(yùn)維搶修經(jīng)驗(yàn)的資深專(zhuān)家張洋，請(qǐng)他分析一下此次新浪微博機(jī)房斷電宕機(jī)的可能原因。 1.人為原因方面——互鎖機(jī)制流程是否順暢？值班狀態(tài)有待確認(rèn)
“武裝到牙齒的現(xiàn)代化部隊(duì)，也可能存在管理漏洞，在某種情形下，被‘?dāng)橙恕p易攻陷。自動(dòng)化程度很高的數(shù)據(jù)中心，在運(yùn)營(yíng)維護(hù)上的一點(diǎn)小瑕疵，就可能導(dǎo)致整個(gè)數(shù)據(jù)中心宕機(jī)。新浪微博機(jī)房掉電宕機(jī)，有可能是設(shè)計(jì)上存在問(wèn)題，但更大的可能，則是運(yùn)行維護(hù)時(shí)人為因素造成�！痹陔娫捓�，張洋開(kāi)門(mén)見(jiàn)山，認(rèn)為人為原因可能性最大。 張洋向中國(guó)IDC圈記者分析說(shuō)，即使數(shù)據(jù)中心有雙路市電的保障，但如果一路市電失電，配電系統(tǒng)互鎖機(jī)制方面出現(xiàn)問(wèn)題，那么所謂雙路市電只是形同虛設(shè)。正常情況下，一路市電斷電，UPS將自動(dòng)啟用，隨后另一路市電及時(shí)切入。所謂互鎖機(jī)制，就是為了防止人為誤操作造成兩路市電之間發(fā)生短路的保障機(jī)制。 新浪微博機(jī)房這種等級(jí)的機(jī)房，一般只有兩路市電都中斷，才會(huì)啟用發(fā)電機(jī)。如果一路市電斷電時(shí)，值班人員或電力運(yùn)維工程師技術(shù)能力有限，或由于其他原因應(yīng)對(duì)不足，則可能直至UPS電力耗盡，仍未能切入另一路市電，最終造成數(shù)據(jù)中心電力中斷。 張洋說(shuō)，通常情況下，市電中斷后，UPS自動(dòng)啟用，一般可以維持?jǐn)?shù)據(jù)中心繼續(xù)運(yùn)行10分鐘以上，在這期間，系統(tǒng)會(huì)發(fā)出報(bào)警警示，如果技術(shù)人員沒(méi)有及時(shí)注意到系統(tǒng)報(bào)警，就可能造成另一路市電未能及時(shí)切入，或發(fā)電機(jī)未能及時(shí)啟動(dòng)，造成掉電宕機(jī)。是否存在這樣的情況，還有該數(shù)據(jù)中心下一步披露的調(diào)查結(jié)論。 2.機(jī)房設(shè)計(jì)方面——辦公區(qū)是否為普通市電？雙路市電真?zhèn)未?/STRONG>
張洋認(rèn)為，還有一種可能，就是設(shè)計(jì)上的瑕疵。如果機(jī)房運(yùn)行維護(hù)辦公區(qū)也使用普通市電供電。市電斷電時(shí)，電腦、辦公系統(tǒng)全部失靈，工作人員之間無(wú)法交流、操控，數(shù)據(jù)中心就會(huì)全面癱瘓，報(bào)警信息無(wú)法及時(shí)處理，值班搶修人員無(wú)法及時(shí)到崗開(kāi)展應(yīng)急工作，最終導(dǎo)致數(shù)據(jù)中心掉電宕機(jī)。 在設(shè)計(jì)上，大型數(shù)據(jù)中心對(duì)每年斷電時(shí)間、頻率有著非常嚴(yán)格的要求，比一般的工業(yè)用電要求供電等級(jí)更高，而且還需要雙路以上（最高等級(jí)要求四路）來(lái)源于不同區(qū)域、不同變電站的市電接入，更高一級(jí)要求上兩級(jí)電力接入不允許是同一路變電站或者供電回路。 “如果不是數(shù)據(jù)中心場(chǎng)地高壓開(kāi)關(guān)房及周邊事故，一般不會(huì)出現(xiàn)兩路市電同時(shí)停電的情況。但如果兩路市電同屬一個(gè)上級(jí)電站，那么，當(dāng)該變電站出現(xiàn)問(wèn)題時(shí)，所謂的‘雙路市電’會(huì)同時(shí)中斷，這也就是業(yè)內(nèi)所說(shuō)的‘偽雙路市電’�！睆堁笙蛑袊�(guó)IDC圈強(qiáng)調(diào)。 3.回應(yīng)網(wǎng)友猜測(cè)——發(fā)電機(jī)故障可能性很低 高溫天氣無(wú)需背鍋
針對(duì)一些網(wǎng)友提出的“發(fā)電機(jī)故障或機(jī)房方面為降低成本而延遲發(fā)動(dòng)機(jī)啟用”的猜測(cè)，張洋認(rèn)為可能性不大。 張洋告訴中國(guó)IDC圈，對(duì)于新浪微博機(jī)房這種高等級(jí)機(jī)房來(lái)說(shuō)，往往都是多臺(tái)發(fā)電機(jī)并機(jī)運(yùn)行，發(fā)電機(jī)采用N+1配置，即使一臺(tái)發(fā)電機(jī)故障，也可以完全滿足系統(tǒng)正常運(yùn)行。一般情況下，發(fā)動(dòng)機(jī)啟動(dòng)運(yùn)行1分鐘內(nèi)，就能正常供電，保障數(shù)據(jù)中心的運(yùn)行。啟動(dòng)發(fā)動(dòng)機(jī)的成本并不高，只需要燃油方面的花費(fèi)。即使電力供應(yīng)正常，數(shù)據(jù)中心每個(gè)月都要啟動(dòng)發(fā)電機(jī)至少一次，每次加載運(yùn)行不低于十五分鐘，使發(fā)電機(jī)內(nèi)部潤(rùn)滑等部件保持狀態(tài)良好，可以隨時(shí)投入應(yīng)急使用。 還有網(wǎng)友猜測(cè)，近期北京氣溫上升過(guò)高，達(dá)到歷史同期最高水平，炎熱天氣會(huì)增加數(shù)據(jù)中心負(fù)荷，導(dǎo)致宕機(jī)概率上升。張洋認(rèn)為，該種猜測(cè)也不正確。 張洋說(shuō)，天氣炎熱，室外溫度上升，在IT負(fù)載方面不會(huì)有任何變化，變化的就是空調(diào)部分的制冷效率。溫度上升，導(dǎo)致室外冷凝器的熱交換溫差降低，進(jìn)而降低冷凝器熱轉(zhuǎn)化效率，使數(shù)據(jù)中心PUE值上漲。 一般的數(shù)據(jù)中心PUE會(huì)在1.5至2.0之間，這主要就是冬季夏季因氣溫引起的制冷供電功率的變化，數(shù)據(jù)中心用電設(shè)計(jì)都會(huì)保留最大用電負(fù)荷的冗余設(shè)計(jì)，所以溫度高了，只會(huì)影響到用電成本的增加，不會(huì)因此宕機(jī)。 發(fā)電機(jī)啟動(dòng)一分鐘后，就能發(fā)電供數(shù)據(jù)中心機(jī)房使用，為什么這次此次新浪微博宕機(jī)時(shí)間卻長(zhǎng)達(dá)一個(gè)多小時(shí)？ 張洋解釋說(shuō)，掉電后，發(fā)電機(jī)一分鐘發(fā)電供電是沒(méi)問(wèn)題的，但如果數(shù)據(jù)中心路由器、核心交換機(jī)部分沒(méi)有配備機(jī)柜內(nèi)備用UPS的話，掉電恢復(fù)時(shí)間可能從三五分鐘達(dá)到乃至十幾分鐘，抑或需要從根本上人工重新恢復(fù)數(shù)據(jù)再運(yùn)行。一般的服務(wù)器都會(huì)設(shè)置掉電重啟，這個(gè)重啟時(shí)間也會(huì)從三五分鐘至十幾分鐘不等。如果部分服務(wù)器因掉電引起數(shù)據(jù)丟失、損壞，而需要通過(guò)其他手段進(jìn)行恢復(fù)才能運(yùn)行，就需要更長(zhǎng)的時(shí)間了。 來(lái)源：中國(guó)IDC圈 石家莊服務(wù)器托管 石家莊服務(wù)器租用 石家莊機(jī)柜租用 石家莊機(jī)房 |
|
| 上一條： 12個(gè)IT應(yīng)該不惜一切代價(jià)避免的陷阱 下一條： 工信部將開(kāi)展寬帶接入服務(wù)行為專(zhuān)項(xiàng)整治 | |
| 【關(guān)閉窗口】 |
