2019年7月24日，阿里云峰會開發(fā)者大會在上海開啟。在IT基礎(chǔ)設(shè)施云化專場上，阿里云高性能計算總監(jiān)何萬青向開發(fā)者們分享了阿里云高性能計算技術(shù)產(chǎn)品的發(fā)展歷程和生態(tài)模式，對阿里云高性能計算的核心性能、場景應(yīng)用以及在加速計算、資源節(jié)約上做出的一系列系統(tǒng)優(yōu)化做了精彩介紹。

何萬青指出，當(dāng)高性能計算上云之后，真正帶來性能的是云計算資源的調(diào)配、安排怎么有效使用，阿里云E-HPC與SCC雙劍合璧，云超算應(yīng)用開發(fā)者需兼顧云計算彈性和神龍裸金屬并行性能做雙向性能優(yōu)化。

以下為何萬青現(xiàn)場分享全文實(shí)錄：

何萬青：今天的會議假設(shè)在座的都是高性能計算的編程者、使用者，我今天以使用者的角度，使大家看阿里云高性能計算2017年上線兩年多來現(xiàn)在的一個技術(shù)和產(chǎn)品的情況。

E-HPC，整個彈性計算的專場，我們知道ECS主要講彈性，彈性的根源就是虛擬化?，F(xiàn)在在高性能計算行業(yè)，這幾年阿里云帶動以來有一種說法叫超算云，各大超算中心，第三方軟件中心提供二次租賃，基石是超算云，不具備彈性，力度是一臺主機(jī)，沒有做虛擬化。云超算和超算云是兩件事情，我們經(jīng)?？吹皆朴嬎愠鰜鞽X公司，XX政府部門搞一個云，把數(shù)據(jù)中心的牌子揭下來改成云計算，XX云，在技術(shù)上來講這是完全兩碼事情。

高性能計算，這個行業(yè)做了15、16年，之前實(shí)際上從05年開始做，原來在英特爾做高性能計算的優(yōu)化，也做過天河1、天河2。中國每次兩次的SCC，超級計算大會，每年評兩次世界TOP500，這些技術(shù)的發(fā)展，超計算是所有技術(shù)的峰頂，會往下進(jìn)行技術(shù)的擴(kuò)散。特別在05年以后，基本上是用通用服務(wù)器，通過高速互聯(lián)的網(wǎng)絡(luò)，并行的系統(tǒng)連成超計算機(jī)。TOP500全部都是計算集群。

后來出現(xiàn)一個事件，大家叫做網(wǎng)格計算，最早是亞馬遜，接著是微軟，接下來是阿里云。高性能計算的算法，模式上云是有障礙的，這來自幾個方面。高性能計算或者超算用戶，第一是存量用戶，不管是做有倉模擬，地震資料模擬，氣象模擬，所有的資料是跟互聯(lián)網(wǎng)公司、云公司的基礎(chǔ)結(jié)構(gòu)完全不一樣，互聯(lián)網(wǎng)公司或者云公司計算架構(gòu)是出自大數(shù)據(jù)，包括阿里云剛開始做大數(shù)據(jù)的處理，是分步式計算，異步計算，每個節(jié)點(diǎn)上由當(dāng)?shù)氐臄?shù)據(jù)互聯(lián)網(wǎng)上，當(dāng)?shù)赝瓿捎嬎?，異步通信，高性能計算由于解方程，每個時間迭代上算完所有的節(jié)點(diǎn)，才能進(jìn)行下一步，所以有幾個核心要求：

第一，單個節(jié)點(diǎn)的性能非常高，高主頻，多核，還有一點(diǎn)是有很大的心理障礙，就是說虛機(jī)是有損失的，所以不愿意用云。

第二，同步通信帶來的對延遲的極致的要求。在阿里云用RDMA跟它同一個延遲數(shù)量級兩個微妙之間完成點(diǎn)對點(diǎn)。另外一點(diǎn)就是，RDMA的網(wǎng)絡(luò)對大量的互聯(lián)網(wǎng)應(yīng)用，會有大量普惠性，而高性能計算具有垂直和分多個行業(yè)，每個行業(yè)有頭部應(yīng)用，有汽車碰撞或者渲染。

第三，高吞吐并行軟件系統(tǒng)?；ヂ?lián)網(wǎng)上云公司做的最好的是數(shù)據(jù)的保護(hù)和穩(wěn)定，弱點(diǎn)在與沒有并行運(yùn)動，沒有辦法做幾十個GB的吞吐，國家氣象級需要幾十GB的吞吐。阿里云要做的就是近似裸金屬的性能，但是具備云的彈性，才能叫云超算。二是網(wǎng)絡(luò)，還要把并行軟件系統(tǒng)做到盤古上去。

面對大計算，大家聽過神龍，在神龍?zhí)摂M化出現(xiàn)之前，我們說的Znn的KPI都需要一部分的CPU拿來做High Performance。云公司之間的底層之間的差距在于，誰能把更多的水賣出去，你總要喝水，這是虛擬化的開銷。我們做的神龍就是把High Performance通過軟硬件的方式實(shí)現(xiàn)了。

一方面如果實(shí)現(xiàn)了HP?High Performance之后，整個的輸出是彈性的，可以連上VPC、云盤，連上阿里云所有的存儲產(chǎn)品，IO網(wǎng)絡(luò)。剩下的計算部分，剛剛講到的整倍速輸出，高性能計算最大的問題，一是需要裸金屬的性能，二需要隔離性，這可以都做到。每一代的處理器的推出，像英特爾不會所有的新的feature馬上虛擬化，沒有辦法通過完全虛擬化的方式得到feature。這一部分跟超算中心是一樣的東西，提供頂級超算的配置，如果喜歡，就可以用8K的GPU再加上48核，我們會算成倍，這樣就可以達(dá)到頂級超算的性能。云計算，當(dāng)高性能計算上云之后，真正帶來性能的是我們剛剛說的，云計算資源的調(diào)配、安排怎么有效的使用。

三年前的測試數(shù)據(jù)，全國的超算中心CPU使用率30%以下，沒有辦法做更小的切割。在計算過程中，伸縮是沒有辦法釋放和擴(kuò)展的。

在做高性能計算的時候有幾種選擇。一種是亞馬遜把實(shí)例做出來，上云維出一個超算，這叫松耦合。還有微軟起步晚，就干脆買來克雷機(jī)器用。阿里采用一種native cloud的模式。線下超算是這樣子，計算節(jié)點(diǎn)，文件存儲、圖形節(jié)點(diǎn)、頭節(jié)點(diǎn)。阿里云上百種instance用高速互聯(lián)的racky而連在一起，形成網(wǎng)絡(luò)之后，可以跟我其他的文件存儲產(chǎn)品登錄節(jié)點(diǎn)。所有的超算都是這樣，立項(xiàng)、OEM應(yīng)標(biāo)，最后下來只有一套配置，沒法再變了，只能拿應(yīng)用對它優(yōu)化。

另外一種是在云上提交，使用這份資源的時候，這一部分的機(jī)器是公共的。但是在你的VPC你是私有的，你不用的時候別人在用，這才是真正攤平成本最重要的事情。不能說我用別人不能用，那你就不要買便宜貨，你就不能省錢。這一部分是專線連上公有云讓你用，整個使用方式是一樣的，怎么樣部署集群，提交任務(wù)，我后面大概講一下。

在阿里云上去做高性能計算，實(shí)際上它是在基礎(chǔ)上做了一個PaaS平臺，把所有的計算節(jié)點(diǎn)、登錄節(jié)點(diǎn)、軟件存儲，通過軟件站變成一個并行計算的環(huán)境和編程的環(huán)境。和超算中心很不一樣的地方是第一個要買，按量付費(fèi)，一般來講大型的行業(yè)知道自己的工作的模式，他會按年包月。但是我們看到很多的基金用戶使用安量付費(fèi)，因?yàn)樗目蒲泻腿蝿?wù)是變動的，這個時候需要能夠自動伸縮保證它每次用的是正好夠用的，像每次買電一樣。

還有就是在阿里云和公共云上都有一種競價實(shí)例，這個適合搞科研的同學(xué)。因?yàn)椴荒鼙ＷC每天算多少，是腦袋來靈感才運(yùn)算，所以競價實(shí)例正好跟高性能計算行業(yè)長期形成的東西，叫斷點(diǎn)續(xù)算。大部分的預(yù)算，氣象預(yù)算，他們的超算中心硬件故障率蠻高，算上幾天突然間有一個節(jié)點(diǎn)壞了，不可以從頭開始算的，就不預(yù)報了。其實(shí)隔一定的時間，隔兩分鐘再往下算，這個跟阿里云競價實(shí)例在一起，這樣成本基本上沒有什么損失。其他的功能，大家會后可以看到材料。通過幾個鍵的點(diǎn)擊就可以在公共云上形成自己一套超算，最大的好處對于搞科研和工程人來講，真的不需要學(xué)習(xí)怎么樣構(gòu)建集群等這一套東西。

我剛剛來的時候做了一個實(shí)力演示，發(fā)現(xiàn)我們只能用工作人員的，不能用自己的。在公共云平臺上，通過硬件配置、軟件配置、基礎(chǔ)配置，最后形成類似你點(diǎn)開有一個拓?fù)?，這是標(biāo)準(zhǔn)的拓?fù)?，我單個節(jié)點(diǎn)，單個實(shí)力，兩臺加上三臺計算節(jié)點(diǎn)，計算過程中可以變配，形成這樣一個集群。還有一點(diǎn)，會把你在上面的文件導(dǎo)入導(dǎo)出，可以動作阿里云通過計算流數(shù)據(jù)流的方式在自己的集群上。我自己編程是兩種模式，我這個腳本可以通過內(nèi)部給弄上去，然后提交就可以了。

高性能計算里面，又不可或缺，又容易被忽視的是調(diào)度器。調(diào)度器在物理集群上發(fā)揮不了多少作用，對你來說它就是把一個job發(fā)出去，規(guī)定多少進(jìn)程，然后排隊(duì)。因?yàn)楸旧硭挠布]辦法做伸縮或者細(xì)顆粒度的切片。在云上高性能計算，大家發(fā)現(xiàn)所有的好處都來自調(diào)度器，我們在上面調(diào)度，最常用的PBS、SLURM、SGE、OpenGrid、CUBE。我們可以在切片的力度上追蹤每一個job排隊(duì)有多少，現(xiàn)在有多少節(jié)點(diǎn)，有多少節(jié)點(diǎn)等待，通過資源編排和自動伸縮可以實(shí)現(xiàn)高密度的調(diào)度。我們有車廠的客戶，上汽、吉利集團(tuán)，吉利集團(tuán)是最大用阿里云的集團(tuán)，公共云，一萬七千核，90%以上的利用率。上汽在擴(kuò)容，90%以上的利用率已經(jīng)用了一年多，靠的是底層的非常靈活的切片和調(diào)度。

在用云上做計算的時候，老師包括開發(fā)者會忘記一件事情，上傳數(shù)據(jù)的時候，永遠(yuǎn)是保密的，是免費(fèi)的。數(shù)據(jù)停留的時間和最后下拉還是有一點(diǎn)費(fèi)用，這個是通過類似云盤的方式，把數(shù)據(jù)通過商戶上OSS上門去，導(dǎo)入并行系統(tǒng)再做計算。好多老師算完以后，忘記往下拉，過一段時間想起還有數(shù)據(jù)在那挪用，他在那放了一個月，它肯定還在那，我們一般是保留的?，F(xiàn)在的方式就是一方面數(shù)據(jù)是可以用私有云，因?yàn)榭梢越ê芏嗟募?，互相可以分享，也可以自己用。模式是這樣的，可以用控制臺。

后面講很重要的技術(shù)，在高性能計算領(lǐng)域大部分的軟件工程師其實(shí)是做性能優(yōu)化和并行工作的，我做了十多年，我們發(fā)現(xiàn)很有意思的事情，針對一個應(yīng)用，針對某一平臺的優(yōu)化只能用在自己機(jī)器。作為公共云，大量的用戶跑同樣特征的應(yīng)用的時候，我們沒有業(yè)務(wù)數(shù)據(jù)，不觸碰客戶的數(shù)據(jù)，但是CPU利用怎么樣，我是可以偵測到的。我可以通過優(yōu)化和搜集底層的行為，去優(yōu)化系統(tǒng)配置應(yīng)用。

簡單來講，像智能手機(jī)一樣，你越用越聰明，其實(shí)集群也應(yīng)該這樣，阿里云通過機(jī)器學(xué)習(xí)優(yōu)化什么時候做熱遷移。在云上有不同的偵測工具，這些工具就是一個試撥器。試撥器在并行過程中，跟進(jìn)程綁定，和進(jìn)程起始和線程綁定，會找TOP的進(jìn)程，會把所去選擇的指標(biāo)進(jìn)行時間對齊。很有意思的是，跑一遍之后，隨時可以調(diào)出數(shù)據(jù)進(jìn)行解剖，驗(yàn)試程序，看到底能不能跑更快。它跟高性能計算的領(lǐng)域長期發(fā)展的一套優(yōu)化的方法論是相關(guān)的。

高性能計算的優(yōu)化是分層的，最上面的都是大尺度的，而且相對容易一點(diǎn)。優(yōu)化到底層需要一些工具，每一層的優(yōu)化，處理器發(fā)展到現(xiàn)在，英特爾處理器大概幾年前有四百個以上的PMU測試指標(biāo)。真正關(guān)心的是頭部幾個，這幾個是工程師的知識儲備。我們把這種基于工程師的技術(shù)產(chǎn)品化，它會一層一層的，一開始看集群，整個大盤上是不是均衡，進(jìn)入節(jié)點(diǎn)級，然后做時間對齊，然后進(jìn)入時間進(jìn)程，到函數(shù)一級。這些我們會選TOP指標(biāo)，這些分布在四個象限，所有的性能，單節(jié)點(diǎn)，多節(jié)點(diǎn)，在四個象限上面，該選哪些指標(biāo)是真正見功夫的。如果拿這個看搜索引擎，該選的指標(biāo)不一樣。搜索引擎在8毫秒IPOS多大，這個叫頂級指標(biāo)。所以形成在云上面一個應(yīng)用有什么樣的一個特征，完了之后通過它來知道你該選什么樣的集群。

云上的超算，最大可以做的地方就是彈性伸縮。做高性能計算現(xiàn)在為止十多年來，圈子里有一個特點(diǎn)，都是性能優(yōu)化的高手，每次講完大家感覺就是這人很牛，但是他做的我學(xué)不來，優(yōu)化高手提高三倍，好牛，但是沒有用。原因是，它沒有辦法轉(zhuǎn)化成產(chǎn)品或者知識。

在云上看似覺得沒有門檻，但是真正給你帶來性能和資源的是這個。我在進(jìn)去的時候，任務(wù)提交是四個節(jié)點(diǎn)，接著提交四個節(jié)點(diǎn)，它會自動增加，這么簡單的事情在線下是做不了的。我現(xiàn)在畫的是節(jié)點(diǎn)，我可以做到VCPU。怎么做？彈性伸縮做成什么樣，在十個節(jié)點(diǎn)，現(xiàn)在發(fā)八個節(jié)點(diǎn)工作上去，然后再兩個四個節(jié)點(diǎn)上去，每兩分鐘，看頭節(jié)點(diǎn)上放有調(diào)度器偵測，在計算節(jié)點(diǎn)偵測它的使用率，它有兩個控制。我現(xiàn)在增加八個，我只要增加六個就可以了。甚至可以做到額外節(jié)點(diǎn)，總會有一些調(diào)度出問題，所以會增加一些水位，包括會有一個擴(kuò)容比例，不希望每個進(jìn)去都不用排隊(duì)馬上做到，擴(kuò)40%。其實(shí)就是排排隊(duì)，這些做法完全在云上全部自動。

你可以設(shè)置這種policy，比如說你是學(xué)生，我就這么點(diǎn)錢，我想算一個東西，我不在乎時間多長，我想起來就算算，那就買便宜的資源，但是我規(guī)定好多少個節(jié)點(diǎn)。有些老師讓后天馬上交論文，那就找云，因?yàn)檎胰魏纬阒行亩家抨?duì)，每個上面的工作都不敢剔掉。縮容，如果老是檢測，連續(xù)幾個節(jié)點(diǎn)一直沒有工作，我就把它放棄掉，這一部分就不用付錢了。我們很多的算法都是圍繞著彈性伸縮來做的，這是云彈性計算產(chǎn)品的核心。

閑時計算，大量超算應(yīng)用和開源都有Check-point的功能，國家氣象局只用兩家公司IBM和ICI。原因只有他們兩個做Check-point。今天要預(yù)報24小時三公里，我要算8個小時，算到6個小時的時候，存儲出問題了，如果重新算，新聞聯(lián)播就播不了了。那怎么做呢？正好跟阿里云搶占式資源，我們現(xiàn)在很多的資源放在一個大池子里，你搶到以后，一個小時自動釋放掉，這樣搞下去，就很便宜，一折。每次放掉以后，馬上搶到下一個，搶到下一個之后從上次計算的斷點(diǎn)算，這是可以的。這是分子動力學(xué)GROMACS，設(shè)置每兩分鐘把計算狀態(tài)存到BT里面去，把每次計算的結(jié)果放到一個文件里面，我們算的時候就會發(fā)現(xiàn)閑時計算的成本比常規(guī)計算低了不止一半。

大家可以看一個視頻，現(xiàn)在生成它的集群了，我作為用戶登進(jìn)去，這是自動伸縮的模式定下來，我把作業(yè)提交上去，它是一個壓縮的，上去之后展開。這是在分析它計算過程中，節(jié)點(diǎn)1被搶占釋放，稍后擴(kuò)容到節(jié)點(diǎn)2運(yùn)行，我們可以看進(jìn)程的方式，就是這個模式。第一個進(jìn)程在算的過程中，一個小時被搶斷，搶斷之后，迅速搶到另外一個資源繼續(xù)算。這個方式特別適合大的調(diào)研組或者學(xué)院，就用這個方式算。

高性能計算還有一個很重要的環(huán)節(jié)，基本上做科學(xué)和工程計算，很重要的一點(diǎn)有大量的錢處理網(wǎng)格。第二一定要有可視化，無論做流場、壓力場等磁場，里面有一大類計算需要GPU或者遠(yuǎn)程桌面要求。現(xiàn)在由于背后的計算資源越來越大，石油公司會用幾十臺的渲染集群去做，然后逐層解釋，解釋之后改回再算。這個過程是完全可以上云，阿里云上除了做GPU加速計算，還有云圖站。

我們怎么做呢？先去創(chuàng)建graph集群，這個集群和存儲和計算節(jié)點(diǎn)輸出綁定，之后可以調(diào)用渲染的APP，或者在直接在上面進(jìn)行物理計算再輸出，這都是可以的。使用也是一樣，把它看成一種計算資源，它是拿來做可視化的，它要交互。最重要的問題是，這臺機(jī)器和你的辦公室連線的延遲，問題不在它有多強(qiáng)，而在延遲。一般來看，超過幾十毫秒，就感覺到不爽?，F(xiàn)在有很多的公共超算在延遲上，這是阿里云為什么在全世界，在中國建立這么多可用區(qū)，可用區(qū)建在哪里都是可以的，如果很在乎交互，延遲是很重要的。

剛剛看到在阿里云超算的時候，這個過程，首先按賬戶上傳到OSS上。石油中心用閃電立方一下傳過去，通過OSS下載在云上的并行文件系統(tǒng)，然后計算，可視化，這是一個流程，數(shù)據(jù)流和控制流的關(guān)系。在用的時候要轉(zhuǎn)化思維，不是用旁邊的機(jī)器，你在使用一個付費(fèi)的資源。

阿里云過去是做IaaS為主，隨著場景越來越復(fù)雜，高性能計算分成多個行業(yè)的場景，每個場景都不一樣，有并行調(diào)度。就把PaaS做出來，基本上不碰SaaS。大量的應(yīng)用本身是付費(fèi)的，而且特別貴，我們是和底層資源調(diào)度，尤其彈性伸縮綁定再生一起，怎么把license能夠用得更高效。像石油行業(yè)，一套license可以上千萬，整個系統(tǒng)都是它的。阿里云把我們的調(diào)度和我們整個的PaaS能力輸出給第三方合作伙伴，他們根據(jù)我們最終用戶做出他們的業(yè)務(wù)系統(tǒng)，這個業(yè)務(wù)系統(tǒng)調(diào)動的都是高性能計算并行的公益軟件。

作為開發(fā)者，你們看到的EHPC是什么樣的？這是阿里云的高性能計算的生態(tài)模式，我講的是這一部分。謝謝！

您也可以關(guān)注我們的官方微信公眾號（ID：ctoutiao），給您更多好看的內(nèi)容。