一、背景描述

隨著社會(huì)信息化水平的快速發(fā)展，政府、經(jīng)濟(jì)及社會(huì)領(lǐng)域的各個(gè)行業(yè)對(duì)信息系統(tǒng)的依賴程度越來越高，信息產(chǎn)業(yè)的能耗越來越高。同時(shí)，近年來，計(jì)算設(shè)備和資源數(shù)量仍在持續(xù)快速增長(zhǎng)以滿足云計(jì)算、大數(shù)據(jù)等新興技術(shù)發(fā)展需要，計(jì)算能耗以及IT產(chǎn)業(yè)對(duì)環(huán)境的影響問題日益突顯，以數(shù)據(jù)中心為例，其每年用電量可占到全社會(huì)用電量的1.8%左右，能源消耗巨大。

因此，提升數(shù)據(jù)中心綠色發(fā)展水平，加快技術(shù)產(chǎn)品創(chuàng)新和應(yīng)用，走高效、清潔、集約、循環(huán)的綠色發(fā)展道路，實(shí)現(xiàn)數(shù)據(jù)中心持續(xù)健康發(fā)展顯得尤為必要。本文主要從綠色計(jì)算在數(shù)據(jù)中心的應(yīng)用及其節(jié)能效果展開。

二、綠色計(jì)算的定義

早期對(duì)于綠色計(jì)算的研究主要是從功耗問題開始的，關(guān)于綠色計(jì)算完整的研究與分析，迄今文獻(xiàn)還比較少，目前仍然沒有公認(rèn)的定義。綠色的含義可分為三層，即能源和資源的節(jié)約，能源和資源的高效利用與循環(huán)利用，對(duì)人和環(huán)境的友好，即低碳與無(wú)害。計(jì)算可理解為終端設(shè)備、計(jì)算機(jī)、服務(wù)器和相關(guān)子系統(tǒng)。所以，綠色計(jì)算的內(nèi)涵可以具體有以下三層：采用高效, 節(jié)能和低功耗的計(jì)算設(shè)備和配套設(shè)施；在保證信息服務(wù)可靠性的前提下, 合理分配計(jì)算資源；保障可持續(xù)發(fā)展的低成本, 低能耗的新型系統(tǒng)與應(yīng)用。

綠色計(jì)算的主要載體是終端設(shè)備、計(jì)算機(jī)、服務(wù)器和相關(guān)子系統(tǒng)數(shù)據(jù)中心機(jī)柜、配電單元及制冷系統(tǒng)。綠色計(jì)算的目的是優(yōu)化計(jì)算資源的設(shè)計(jì)、建設(shè)、使用及回收過程，消除計(jì)算機(jī)系統(tǒng)對(duì)環(huán)境的不利影響，實(shí)現(xiàn)節(jié)能、環(huán)保和節(jié)約的目的。綠色計(jì)算的手段主要為計(jì)算機(jī)軟件優(yōu)化，計(jì)算機(jī)硬件優(yōu)化制冷方案優(yōu)化，空間布局優(yōu)化及回收與循環(huán)利用。

三、綠色計(jì)算的研究對(duì)象

綠色計(jì)算的研究對(duì)象廣泛，我們對(duì)研究綠色計(jì)算的相關(guān)文獻(xiàn)進(jìn)行梳理，提取關(guān)鍵詞，制作與綠色計(jì)算有關(guān)的知識(shí)圖譜，發(fā)現(xiàn)目前研究綠色計(jì)算的學(xué)術(shù)資料中，大部分主要針對(duì)數(shù)據(jù)中心、云計(jì)算、和服務(wù)器，關(guān)于這三者的研究占據(jù)綠色計(jì)算相關(guān)研究的70%。另有少部分將研究重點(diǎn)放在CPU、GPU、算法調(diào)度和能耗優(yōu)化上，除此之外，還包括了資源管理、空間利用，二氧化碳、噪聲、輻射等。

圖1  綠色計(jì)算的研究對(duì)象

四、綠色計(jì)算在數(shù)據(jù)中心的應(yīng)用及節(jié)能效果淺析

本文從IT系統(tǒng)、供配電系統(tǒng)、空調(diào)系統(tǒng)、以及數(shù)據(jù)中心整體架構(gòu)四個(gè)層面分析了計(jì)算過程中的節(jié)能技術(shù)，包含動(dòng)態(tài)電壓頻率調(diào)整技術(shù)、基于GPU加速的異構(gòu)計(jì)算技術(shù)、液冷服務(wù)器技術(shù)、整機(jī)柜服務(wù)器技術(shù)、市電直供+UPS/HVDC 高可靠節(jié)能供電技術(shù)、熱管背板冷卻技術(shù)、氟泵空調(diào)技術(shù)。并對(duì)以上關(guān)鍵技術(shù)進(jìn)行逐一分析。

1、動(dòng)態(tài)電壓頻率調(diào)整

對(duì)于芯片的功耗，降低供電電壓是最有效的方法，但是降低電壓時(shí)，電路的翻轉(zhuǎn)速度將會(huì)降低，這意味著系統(tǒng)必須以較低的時(shí)鐘頻率運(yùn)行，但是單純的降低工作頻率并不能降低能量消耗。因?yàn)閷?duì)于一個(gè)給定任務(wù)，頻率和時(shí)間的乘積為定值，因此就出現(xiàn)了同時(shí)降低供電電壓與時(shí)鐘頻率的方法降低功耗，這就是DVFS（動(dòng)態(tài)電壓頻率調(diào)整）技術(shù)。

DVFS系統(tǒng)主要流程為：

· 

采集與系統(tǒng)負(fù)載有關(guān)的信號(hào)，計(jì)算當(dāng)前的系統(tǒng)負(fù)載。

· 

· 

根據(jù)系統(tǒng)的當(dāng)前負(fù)載，預(yù)測(cè)系統(tǒng)在下一時(shí)間段需要的性能。

· 

· 

將預(yù)測(cè)的性能轉(zhuǎn)換成需要的頻率，從而調(diào)整芯片的時(shí)鐘設(shè)置。

· 

· 

根據(jù)新的頻率計(jì)算相應(yīng)的電壓。通知電源管理模塊調(diào)整給CPU的電壓。對(duì)于應(yīng)用處理器來說,需要可靠的電壓-頻率的對(duì)應(yīng)關(guān)系；升頻率時(shí)先升電壓，降頻率時(shí)后降電壓。

· 

目前，DVFS技術(shù)已經(jīng)被主流處理器廠商推出的主流處理器支持。例如：英特爾推出的Speedstep和EIST技術(shù)；AMD推出PowerNow技術(shù)和Cool&Quiet模式。

2、異構(gòu)計(jì)算技術(shù)

計(jì)算單元可以分成：通用計(jì)算單元（CPU），專用計(jì)算單元（GPU/DSP）等，由一個(gè)或若干個(gè)通用計(jì)算單元加一個(gè)或若干個(gè)專用計(jì)算單元構(gòu)建的系統(tǒng)就是異構(gòu)計(jì)算系統(tǒng)，由兩者協(xié)同起來共同執(zhí)行通用計(jì)算任務(wù)就是異構(gòu)計(jì)算，目前在PC上最常見的組合就是CPU+GPU。CPU擅長(zhǎng)處理不規(guī)則數(shù)據(jù)結(jié)構(gòu)和不可預(yù)測(cè)的存取模式，計(jì)算通用性強(qiáng)，計(jì)算復(fù)雜度高，但計(jì)算性能一般。

GPU擅于處理規(guī)則數(shù)據(jù)結(jié)構(gòu)和可預(yù)測(cè)存取模式，如圖形處理計(jì)算，更適用于計(jì)算強(qiáng)度高、多并行的計(jì)算。異構(gòu)計(jì)算APU的設(shè)計(jì)理念則正是讓CPU和GPU完美合作，達(dá)到整體性能的最佳化，讓CPU的更多資源用于緩存，GPU更多資源用于數(shù)據(jù)計(jì)算。CPU+GPU 平臺(tái)是目前較成熟的異構(gòu)平臺(tái)，除此之外還有CPU+MIC、CPU+FPGA等異構(gòu)計(jì)算技術(shù)，目前英特爾、IBM都在進(jìn)行異構(gòu)計(jì)算開發(fā)，facebook、微軟和百度等企業(yè)也通過異構(gòu)計(jì)算來提升計(jì)算性能。

3、液冷服務(wù)器技術(shù)

液冷技術(shù)，顧名思義，與空氣冷卻相對(duì)立的，指的是將高比熱容的液體作為傳輸介質(zhì)，液體傳熱冷卻技術(shù)。液冷技術(shù)由于成本問題，主要應(yīng)用于高性能計(jì)算領(lǐng)域。目前常見的液冷服務(wù)器主要有三種，沉浸式液冷服務(wù)器、冷板式液冷服務(wù)器、噴淋式液冷服務(wù)器。

沉浸式服務(wù)器，簡(jiǎn)單說，就是將服務(wù)器主板完全浸泡在冷卻液之中，通過冷卻液的外部循環(huán)，將熱量帶走；冷板式液冷通過嵌入服務(wù)器主板上的冷卻板，冷卻液流經(jīng)冷卻板后，循環(huán)將熱量帶走；噴淋式液冷服務(wù)器多安裝在整個(gè)機(jī)架上，自上而下，直接將冷卻液噴淋在服務(wù)器主板上，反復(fù)循環(huán)，達(dá)到冷卻的效果。

目前，生產(chǎn)液冷服務(wù)器的主要廠商有中科曙光，華為，聯(lián)想，惠普，思科，3M，富士通等。據(jù)調(diào)研，液冷技術(shù)可以減少2/3容量的空調(diào)機(jī)設(shè)備投入，傳統(tǒng)風(fēng)冷空調(diào)的高能耗的問題，可以通過液冷服務(wù)器得到有效解決。

4、整機(jī)柜服務(wù)器技術(shù)

整機(jī)柜服務(wù)器，顧名思義，就是將原有機(jī)架+機(jī)器分離的架構(gòu)進(jìn)行融合，打包成為一個(gè)獨(dú)立的產(chǎn)品，以一個(gè)整機(jī)柜為最小顆粒度進(jìn)行交付的服務(wù)器。其主要結(jié)構(gòu)在于將原先單個(gè)服務(wù)器的電源和風(fēng)扇整合為一體。

整機(jī)柜服務(wù)器優(yōu)勢(shì)主要體現(xiàn)在三個(gè)方面：

首先在散熱方面，單機(jī)配置獨(dú)立風(fēng)扇進(jìn)行散熱。單臺(tái)機(jī)器一般配置6個(gè)系統(tǒng)風(fēng)扇來保障散熱，48臺(tái)服務(wù)器所需要的風(fēng)扇數(shù)量將達(dá)到288個(gè)，通過集中散熱，將每個(gè)服務(wù)器節(jié)點(diǎn)的散熱風(fēng)扇移除，整合成一個(gè)散熱風(fēng)扇墻，布局在整個(gè)機(jī)柜的后部，48個(gè)節(jié)點(diǎn)僅需18個(gè)風(fēng)扇，數(shù)量減少93%以上，散熱功耗降低25%以上。

其次在電源方面，以單機(jī)作為服務(wù)器的最小組成單元，考慮系統(tǒng)的供電冗余，需要配置雙電源模塊以支撐。按照48臺(tái)傳統(tǒng)機(jī)架服務(wù)器來計(jì)算，需要96個(gè)電源模塊來實(shí)現(xiàn)雙路供電，供電配置過高造成電源負(fù)載率過低，使得電源轉(zhuǎn)換效率僅能達(dá)到85%左右，集中供電，單個(gè)機(jī)柜僅需8個(gè)2400W電源模塊，即可滿足48節(jié)點(diǎn)的供電，轉(zhuǎn)換效率高達(dá)94%，減少90%的電源數(shù)量，供電系統(tǒng)效率提升9%。

在次在空間利用方面，一個(gè)42U的標(biāo)準(zhǔn)機(jī)架，考慮交換機(jī)，散熱等必要外設(shè)，一般配置16臺(tái)1U服務(wù)器一個(gè)42U的整機(jī)柜服務(wù)器，最低可保證32個(gè)節(jié)點(diǎn)部署密度，最多可布置80個(gè)節(jié)點(diǎn)，空間利用率提升1-2倍。

目前，國(guó)內(nèi)從事整機(jī)柜服務(wù)器開發(fā)項(xiàng)目主要有浪潮信息，整機(jī)柜服務(wù)器的標(biāo)準(zhǔn)化參數(shù)也是BAT主導(dǎo)的中國(guó)信通院深度參與的天蝎項(xiàng)目的重要組成部分。

5、市電直供+UPS/HVDC供電技術(shù)

幾十年來，為解決數(shù)據(jù)中心內(nèi)IT設(shè)備的供電間斷和供電波動(dòng)等電能質(zhì)量問題，數(shù)據(jù)中心一直采用UPS+后備電池方案，這種方式在世界范圍內(nèi)得到了廣泛而成熟的應(yīng)用。但實(shí)際項(xiàng)目中通常會(huì)根據(jù)不同可用性的需求，大量采用N+1或2N系統(tǒng)配置，因冗余度較高而導(dǎo)致實(shí)際負(fù)載率較低，直接導(dǎo)致了實(shí)際系統(tǒng)效率僅約80%-90%。近年來，由于市電穩(wěn)定性提升，市電+ups或市電+hvdc可以匹配雙路UPS的可靠性水平，但效率可以大大提升。

目前部分?jǐn)?shù)據(jù)中心運(yùn)營(yíng)商開始嘗試采用1路市電+1路（AC）UPS同時(shí)供電的方案。隨著HVDC的逐步成熟，部分用戶也開始嘗試采用1路市電+1路HVDC同時(shí)供電的方案。這個(gè)方式將成為未來的發(fā)展趨勢(shì)。

6、背板空調(diào)制冷技術(shù)

背板空調(diào)是由冷卻盤管、提供冷源的制冷機(jī)組和冷卻水系統(tǒng)三部分組成。機(jī)房冷空氣在機(jī)柜內(nèi)部設(shè)備風(fēng)扇的作用下，被吸入機(jī)柜并對(duì)設(shè)備進(jìn)行降溫，吸熱后的空氣流向安裝在機(jī)柜背部的冷卻盤管，熱空氣與冷卻盤管進(jìn)行熱交換，將熱量傳遞給換熱器內(nèi)的制冷劑，溫度降低后的冷空氣從背板吹出，完成機(jī)房空氣循環(huán)。首先背板空調(diào)的冷卻盤管更貼近熱源，機(jī)柜內(nèi)設(shè)備排風(fēng)口的溫度更高，提高冷熱溫差，強(qiáng)化傳熱。其次避免了局部熱點(diǎn)。背板空調(diào)由于緊挨著機(jī)柜，安裝在每個(gè)機(jī)柜的背面，一對(duì)一冷卻設(shè)備，直接對(duì)局部熱點(diǎn)進(jìn)行降溫，達(dá)到消除局部熱點(diǎn)的目的。第三背板空調(diào)占用空間小，不需要放置空調(diào)，也取消架空地板節(jié)省數(shù)據(jù)中心內(nèi)部的空間。

7、氟泵雙循環(huán)空調(diào)系統(tǒng)技術(shù)

所謂的氟泵雙循環(huán)空調(diào)系統(tǒng)，是采用智能雙循環(huán)設(shè)計(jì)，在冬季或過渡季室外溫度較低時(shí)，利用制冷劑泵（氟泵）對(duì)制冷劑進(jìn)行室外循環(huán)換熱，充分利用室外自然冷源；在夏季或過渡季室外溫度較高時(shí)，采用壓縮機(jī)對(duì)制冷劑進(jìn)行壓縮循環(huán)換熱；此種智能雙循環(huán)設(shè)計(jì)能夠在全年一定時(shí)間內(nèi)不必開啟壓縮機(jī)制冷，大大降低空調(diào)能耗，也稱之為智能雙循環(huán)氟泵節(jié)能空調(diào)，依據(jù)其特點(diǎn)，簡(jiǎn)稱為“氟泵空調(diào)”，在同一套制冷系統(tǒng)中實(shí)現(xiàn)壓縮機(jī)制冷、泵系統(tǒng)制冷以及壓縮機(jī)和泵混合制冷三套循環(huán)系統(tǒng)。雙冷源空調(diào)在北京地區(qū)的全年能效比AEER為7.37；普通空調(diào)運(yùn)行壓縮機(jī)的全年能效比AEER為3.91；AEER計(jì)算滿負(fù)荷運(yùn)行全年節(jié)約約46.9%，節(jié)能效果明顯。

五、小結(jié)

隨著工信部相繼出臺(tái)《信息通信產(chǎn)業(yè)節(jié)能減排工作指導(dǎo)意見》《加強(qiáng)綠色數(shù)據(jù)中心建設(shè)的指導(dǎo)意見》《工業(yè)綠色發(fā)展規(guī)劃》，綠色計(jì)算技術(shù)目前在國(guó)內(nèi)新建的數(shù)據(jù)中心已開始部分或批量應(yīng)用，目前數(shù)據(jù)中心在互聯(lián)網(wǎng)企業(yè)和第三方IDC企業(yè)的帶動(dòng)下，PUE已可以達(dá)到1.5左右的水準(zhǔn)，我國(guó)的綠色數(shù)據(jù)中心發(fā)展趨勢(shì)呈現(xiàn)出定制化、模塊化、虛擬化的發(fā)展趨勢(shì)；新建的數(shù)據(jù)中心以超大型為主，逐步向高功率密度、低PUE發(fā)展。

作者：付培良，中國(guó)信息通信研究院泰爾系統(tǒng)實(shí)驗(yàn)室能源與環(huán)境測(cè)評(píng)部工程師，2006年畢業(yè)于哈爾濱工程大學(xué)，南京理工大學(xué)MBA。

來源： 中國(guó)信通院CAICT