大家好，我是運維部DCIN小組的莫江成，主要負責網絡、數據中心、基礎設施的維護和EP工程生產力。今天給大家帶來的是關于數據中心的分享。

數據中心存在的意義

數據中心是非常底層的東西，它存在的時間相對較短暫。

WIKI上面有對數據中心非常有意思的定義，叫做Server Farm，從字面上理解就是“數據農場”，一個擁有大量服務器并且面積很大的地方。數據中心的意義，就是為服務器提供存放的場所。 ?????????????????

通過又拍云舉例——將數千TB的數據，以及數不清多少TB的客戶源數據和上T帶寬的CDN邊緣節點的訪問請求數據統一的管理起來的地方，就是數據中心。

再形象些的舉例，如果我每天只為幾十個人提供服務，一臺電腦就完全可以滿足要求。但是當用戶體量增大之后，帶寬不夠了，需要拉一條專線進來。用戶量再提升的時候，你又發現電力、網絡的可靠性會有問題，這就要對現有的一些設施做大量的改造，再加上一些散熱、制冷的附加設施。因為服務器當堆積到一起工作的時候，產生的熱量是非常巨大的。五千個機柜左右的機房每天工作產生的廢熱能夠給一個大學校園供暖。所以這種散熱、制冷的附屬設備也會提高整個數據中心的運作成本，一般叫做TCO，即總體擁有成本。

目前世界上有大概幾十萬個數據中心一起支撐起來整個互聯網。沒有這些數據中心的話，互聯網是不可能發展成這樣規模的。規模增大之后也會帶來規模效應，規模越大，能夠產生的效益和支出的比例就會越優，單位的成本就越低。

數據中心需要是高可靠的，這是數據中心的生命線，因為數據中心需要為所有的服務器提供及時可靠的保障。電力、網絡、冷卻系統都要冗余，并且需要加上環境控制方面的建筑自動系統（BMS）。另外數據中心的安保系統也尤為重要，當公司員工增加的時候，你并不能夠認識每一個人，什么人能夠進入數據中心，什么人能去管理服務器，就變成了一個現實問題。數據中心能夠幫助企業去做人員權限控制的事情，完成人員成份的認證，授以相應的進入或操作權限。

數據中心的構成

數據中心主要構成部分是比較簡單的，但會涉及到建筑結構。

數據中心最重要的就是為整個機房的設施提供動力的部分，包括UPS、發電機，還有外部的市電接入。

服務器會對工作溫度和濕度有一定的要求，不同的服務器可能有不同的最優工作環境。數據中心要調控整個環境，并且維持在適合服務器的最佳環境。

數據中心還有安全、消防和安保方面的要求。安全主要是涉及到人員權限的控制。消防會有針對火災的前期預警、煙感探測等，級別比較高的機房，一般都能夠做到在幾分鐘之內清空機房里面的所有人，通過釋放惰性氣體來滅火。

數據中心涉及到的人員，包括高壓電工程師、低壓工程師、暖通空調、排水工作人員、消防安保人員，以及負責BMS自動化、動力環境的監控、網絡工程師、網絡的監控人員，IT軟硬件的維保人員。此外還包括設備供應商，比如說UPS、發電機之類的支撐人員。

數據中心的任務就是在任何情況下，提供盡可能安全、穩定、良好的服務器運營條件。有些機房甚至還會針對暴亂、恐怖入侵等做出應急預案；比如說谷歌的數據中心，會在正門的位置安裝汽車的阻攔網，避免汽車沖卡之類的事情。

數據中心機房的建筑和選址

1.倉庫式：平鋪結構，比較低矮，一般來說最多三層，這種結構比較容易建造；

2.大樓式：國內大樓式的機房，通常是寫字樓改建而來。

機房的選址通常要避開不穩定的因素，比如說自然災害、炎熱地區和熱點地區。當然很多時候機房的選址并不是絕對可控的，比如在日本很難找到絕對不會發生地震的地點。

由于數據中心對功能的追求，會針對某些功能選擇特殊的地點建設機房。典型的例子是又拍云的CDN節點，CDN節點肯定越靠近用戶越好，所以又拍云在每個省份主要的一二線城市放置自己的服務器。在這些地點選擇數據中心，主要原因就是在物理位置上靠近所服務的目標。

數據中心對資源方面的需求

△ 微軟選擇把數據中心“建在”水中

這是微軟數據中心的選址，這個實踐就是一個極端追求冷卻水資源的案例，他們把機柜放在密封罐里面，直接沉入水底，再通過水冷循環為內部的服務器降溫。

數據中心的能源保障

機房在建立的初期，一般就會和當地電網去協商，看能否在周圍提供電力接入和至少兩座變電站的電力保障。一些高級別的數據中心可能會接入三線市電，比如像杭州的聯通省樞紐一號樓機房，建在聯通的樞紐樓，所以那邊的電力保障條件特別高，會有三個不同位置的變電站，直接接入機房，為它供電。這種情況下它的電力保障等級就非常高了，不太可能發生所有市電和所有后備電力全部失效的情況。

△ 35KVA高壓電接入設備

這是一個35KVA高壓電接入設施。高壓電接入主要就是來自于變電站，基本上分10KVA、35KVA和110KVA，主要是取決于機房的規模和負載量。

△ 數據中心發電機

接下來講講發電機，有的數據中心一臺發電機就價值六七百萬元，并且會配置了十幾臺。安全標準最高的是發電機、UPS全部都做到100%的雙倍冗余，也就是說任意一套系統整體宕機、整體失效以后，另外一套還能夠提供全量的負載能力。歐洲土豪國家盧森堡有一個Tier4級別的數據中心叫做 Data Hub，就是采用完全相同的兩套發電機設備，任意一套都能為數據中心提供全功率的負載能力。

說起發電機，一個很有趣的故事。美國某次颶風肆虐的時候，有機房因為市電斷掉，不得不切換到了發電機供電，當時颶風還沒有結束，石油公司沒有辦法及時的補充備用油。因為多數數據中心發電機通常在全功率的情況下只能為機房提供8到10個小時的電力保障，超出這個時間的話機房就會完全停擺。一個VPS提供方發了一封郵件給所有的用戶，告知并希望用戶去選用其他的線路。然而那個機房的線路就爆滿，就是因為大家都很好奇用柴油發電機供電到底是一種什么樣的感覺。

△ 一個數據中心的UPS中的電池系統

數據中心內的電池非常多，上圖這個數據中心總共有3萬多塊這樣的電池，能夠為這個機房提供大約兩小時左右的電力保障。

相比發電機的話，UPS能夠堅持的時間特別短。所以數據中心并不會把UPS作為一個長時間的電力保障，現實中UPS通常完全承擔整個機房供電的時間不會超過一分鐘。基本上級別較高的機房，都會在UPS接手供電的時候，自動把電源切換到柴油發電機。因為柴油發電機需要15到20秒的時間，才能夠正式啟動，并網發電，所以UPS主要是在這短時間里面工作，但是它提供的儲備能源不能低于半小時，否則的話就會有風險。

△?一個簡單的機房電源結構

分析一下機房的電源結構：

一個ATS開關，是自動切換電力控制開關，它會在市電中斷的時候自動把輸入的電力切換到發電機，高壓電到低壓電柜之后，再轉化成低壓的直流電，供給到UPS，UPS再給到服務器。

每一排機柜最前面會有一個機柜是專門用于電力的排頭柜的，這個機柜是專門用來放強電設備。

UPS再到排頭柜，排頭柜下面再接服務器，也就是負載。UPS是一直在網內運行的，就是給服務器供電其實始終都要通過UPS，這就是為什么數據中心在斷電切換的時候不會發生閃斷。因為ATS是有切換時間的，一般在15到30毫秒。如果是特別敏感的機器，會感知到閃斷，從而導致業務的故障。中間串了一個UPS之后，就不會再發生問題了，因為它在切換的閃斷發生時UPS依然在供電。

好一點的機房UPS通常會有四套，因為每個機柜的電路一般分為AB兩路，AB兩路是完全獨立的兩套UPS供電。只要服務器設備有冗余的電力（一般我們稱為“雙電”），就算是其中一路斷電，或者說閃斷，也不會影響到服務器的運行。 又拍云將來要使用的數據中心，UPS全部都是四套，A路對應兩套，B路對應兩套。

機房冷卻系統

機房的冷卻系統通常分為風冷和水冷。風冷就是傳統意義上的空調，和家里空調的原理一樣，只是這種空調叫做精密空調，它能夠非常精確的控制環境溫度和濕度，為服務器創造最好的運行條件。

△ 水冷系統

水冷的原理和風冷相差很大，水冷的成本相當高，體積也非常大，因為它會有冷水機組，就是傳統空調意義上的壓縮機、換熱器，還有外部的散熱風扇；服務器的熱量會通過水管傳遞到外部，再由冷水機組或者是板式換熱器把熱量交換到外面的散熱器上面排除掉。

兩種系統的優缺點

△ 對機柜內部散熱

這是常規機房散熱的模式，就是在機房里面對于機柜進行散熱，在早期的時候機房是沒有冷熱空氣區分這種說法的，就像早期的PC機，很少有人說要控制一下機箱內的風道。但是隨著時代在進步，出現了風道預先設計過的跡象，還有在機箱里面用各種擋板，去規范空氣的流量，強制冷空氣流經需要散熱的設備和散熱的區域，變成熱風再從機箱后口排出。

其實數據中心散熱類似于這樣的原理，起初沒有區分冷熱空氣的情況下，空調能耗非常高，空調強制進行散熱，但空調機吸入的是冷空氣還是熱空氣，就無法控制了。后來在機房設計的時候，會通過規劃冷通道的方式，對冷熱空氣的流動進行規范。

△ 冷空氣轉換示意圖

這一個盒子是兩排面對面的機柜，紅色的是廢熱，藍色的是冷氣。冷氣通過旁邊的空調機組排入地下，在地下通過預制風道，走到冷通道下向上排出。服務器的正面，也就是吸風的那一面吸進的是冷氣，等到從后部排出的時候已經變成熱空氣。這時候空調再把熱空氣吸入，把熱空氣冷卻，完成一個冷卻循環，這就是目前使用最多的冷通道模式。

現在比較新機房還常見一種簡潔的散熱的方式，它不再規劃兩個機柜之間的冷通道，而是直接在機柜下面開辟一個口子，把冷風從下面排出來，然后冷風上升到服務器的正面，再被吸出去。也就是把冷通道固化到單個機柜中。這種方式保障了把冷空氣從下面吸上來，后面排出去的就是熱空氣。這種機柜的前面板是密封的。

對冷空氣的規劃越是精細，價格會越高昂。比如說在這種結構下還可以做一件事情，通過在機柜上方布置管道下來，直接把熱空氣點對點渡到空調機組里面，保證空調機組獲得的全部都是需要冷卻的熱空氣。在這種情況下就能得到更高的散熱效率，能夠有效降低能耗。

但是企業追求的是一個總體擁有成本，而不是在單個子系統上面能達到多大的效果。所以具體選擇什么制冷方式是要看情況的，而不是越先進，就非得要用它。

谷歌在建數據中心的時候也發現了這個問題，因為通過隔離冷通道用大量板件或者金屬成型件會產生很高的成本。谷歌直接到便利店買透明的門簾、透明的塑料片，直接把門簾、塑料片從機房的頂上掛下來，通過塑料片去組成冷熱通道的隔離區，來完成冷熱的隔離。這種成本就非常低，而且效果還非常好，據谷歌自己說是降低了一半以上的PUE（整個設施運行所要消耗的能量，去除服務器自身所需要消耗的總能量的比例）。這種思路很好，遇到并不是很復雜的問題的時候，完全可以用簡單的方法解決。

關于PUE，一般國內機房PUE在2到2.5的樣子，海外比如說谷歌、facebook，一般會把POE控制在1.3以下，所以差距還是挺大的。

數據中心需要抵御自然災害

雖然說地震、洪水、海嘯、颶風、暴風、雷電、火山噴發的可能性非常低，對某個機房來說，這種事件可能永遠也不會發生。但是當機房數量很多時，或者擁有一個機房時間足夠長時，一切都有可能。我在實際工作中，就遇到過被水淹掉的機房，還有被雷劈斷電的機房

我們著重說一下地震，我之前去日本的時候，參觀一下NTT的機房，我的印象就特別深刻。

要抵御地震的話有兩點：

1. 選址避開地震帶;

2. 提高建筑物抗震和機柜的抗震等級。

在數據中心抗震方面，通常會采用框架結構進行抗震。其實最安全的方式是把機柜給建到地下去，因為地震的傷害主要來自于地震的面波，也就是它在地面上傳遞的導致建筑物左右晃動的力。所以建在地下是最安全的抗震方式，當然建在地下的價格極其昂貴。

著重解釋一下框架結構，框架結構就是指通過建筑物的框架承重，而不是墻面去承重，在框架上面進行減震和結構加強的處理，框架結構一般能夠提供對八級地震的抵抗力。汶川地震的時候就有電信機房采用框架結構，當時并沒有坍塌，只是墻體開裂了。

日本在抗震上的黑科技很多，因為日本很難找到沒有地震帶的地點，再者他們的土地價格昂貴，沒有辦法通過建大面積的框架結構建筑來抵御地震，所以日本的大城市機房普遍都是大樓。十幾層的機房，在地震的時候就特別危險。日本的做法就是把地基打的非常深，打到非常深的花崗巖石層，能夠承受極高的地震而不斷裂。

真正體現日本黑科技的地方，在于他們把整個機房大樓蓋在一個類似于汽車懸掛的系統上。

△ 橫向減震

日本機房吸收橫向運動的懸掛，它是液壓結構，可以在地震的時候不跟隨地面的趨勢而運動，這樣的設計可以保證建筑物的穩定性。通過吸震橡膠，在遇到地震的時候吸收縱向的震動。

△ 縱向減震

又拍云的機房選擇

對于核心的數據中心來說，又拍云會綜合考慮到前面提到的所有因素，再通過技術評估的方式來綜合考慮安全性、穩定性、可靠性，還有網絡連通性。做出嚴格的評審之后，才能確定這個機房能不能滿足又拍云的需求，是否可以被又拍云使用。 ??

△ 又拍云在紐約的數據中心

海外的數據中心會把設備擺放的非常密集，這也涉及國內外數據中心的布置習慣和能源條件。海外數據中心通常的每個機柜能夠提供4.5千瓦甚至更高的電力支撐。國內的話一般是3千瓦左右。

△ 又拍云在紐約的數據中心

從紐約數據中心的圖片中，我們可以看到有阻攔物體掉落的網，這是國內外目前來看差異比較大的地方。

國外數據中心在設計規劃的時候會更多的考慮到人的因素，或者說交互體驗，會使你在使用的時候感覺非常順手，這些都是有專門評估的。國外的數據中心非常注重美觀，會考慮到視覺方面的因素。在建造機房的時候，他們都會考慮到很多硬指標以外的東西。

在國內的話這方面目前還有所欠缺，國內數據中心在電力、安保等硬指標方面相對優異。但是在細節化的東西上，還有所欠缺。

△又拍云在香港的數據中心

國外的數據中心所使用的東西確實特別靠譜，但是當你遇到一些需要人員支持，或者需要靈活變通問題的時候，他可能會收取你200美元一個小時的服務費。在國內免費的上架、安裝、安裝系統之類的事情。跑到國外的話，可能要收你200美元一個小時。這就體現我們中國人的偉大，因為中國人在國外開的機房，這種服務也都是全免費的。