文|陳根
20世紀(jì)70年代末，一位阿拉貢國(guó)家實(shí)驗(yàn)室的年輕研究員參與編寫了名為“Linpack”的計(jì)算機(jī)代碼，這段代碼也讓那些被后世稱為超級(jí)計(jì)算機(jī)的系統(tǒng)可以運(yùn)行復(fù)雜的數(shù)學(xué)計(jì)算。
20世紀(jì)90年代初，這位研究員和他的同事們利用“Linpack”，又創(chuàng)造出了一種用于衡量超級(jí)計(jì)算機(jī)能力的測(cè)試，也就是測(cè)試超算每秒能進(jìn)行多少次計(jì)算。
當(dāng)?shù)貢r(shí)間3月30日，還是這位研究員，獲得了2021年計(jì)算機(jī)領(lǐng)域的最高獎(jiǎng)項(xiàng)——圖靈獎(jiǎng)，他就是美國(guó)計(jì)算機(jī)科學(xué)家 Jack J. Dongarra。根據(jù) ACM 的介紹，Dongarra 的算法和軟件推動(dòng)了高性能計(jì)算的發(fā)展，對(duì)人工智能、計(jì)算機(jī)圖形學(xué)等多個(gè)計(jì)算科學(xué)領(lǐng)域均產(chǎn)生了重大的影響。
Dongarra和高性能計(jì)算
圖靈獎(jiǎng)通常被稱為計(jì)算機(jī)領(lǐng)域的“諾貝爾獎(jiǎng)”，圖靈獎(jiǎng)是以英國(guó)數(shù)學(xué)和計(jì)算機(jī)科學(xué)的鼻祖阿蘭·圖靈的名字命名的，著名的圖靈測(cè)試（測(cè)試機(jī)器是否智能）就是由圖靈提出，圖靈獎(jiǎng)獲獎(jiǎng)?wù)咭矊⒌玫?00萬美元的資金支持。此次Dongarra 之所以被授予無上榮譽(yù)的圖靈獎(jiǎng)，就在于其對(duì)于高性能計(jì)算做出的巨大貢獻(xiàn)。
要知道，對(duì)于已經(jīng)到來的數(shù)字時(shí)代，計(jì)算就是引擎，數(shù)據(jù)則是燃料。小到智能電腦、智能手機(jī)、平板等電子產(chǎn)品，大到天氣預(yù)報(bào)、邊界出行、醫(yī)療保障、清潔能源等民用領(lǐng)域拓展應(yīng)用，都離不開計(jì)算的賦能支撐。計(jì)算已經(jīng)成為人類能力的延伸，賦能數(shù)字經(jīng)濟(jì)各行各業(yè)的數(shù)字化轉(zhuǎn)型升級(jí)。
正如美國(guó)學(xué)者尼葛洛龐帝（Nicholas Negroponte）在《數(shù)字化生存》一書的序言中所言“計(jì)算，不再只是與計(jì)算機(jī)有關(guān)，它還決定了我們的生存”。
其中，高性能計(jì)算（HPC）也就是我們通常所說的“超級(jí)計(jì)算機(jī)”，高性能計(jì)算機(jī)概念出現(xiàn)在20世紀(jì)80年代末至90年代初，隨著大規(guī)模并行處理的出現(xiàn)，超級(jí)計(jì)算機(jī)開始由數(shù)十萬個(gè)處理內(nèi)核組成。
高性能計(jì)算機(jī)具有極高計(jì)算能力，能夠高速解決非常復(fù)雜的問題。由于超級(jí)計(jì)算機(jī)運(yùn)行成本很高，主要由國(guó)家主導(dǎo)其發(fā)展，也主要應(yīng)用于國(guó)家安全領(lǐng)域（如核模擬）、科學(xué)與醫(yī)學(xué)研究以及氣候建模等方面。
具體來看，Dongarra通過對(duì)線性代數(shù)操作的高效數(shù)值算法、并行計(jì)算編程機(jī)制和性能評(píng)估工具的貢獻(xiàn)，引領(lǐng)了高性能計(jì)算的世界。近四十年來，摩爾定律使硬件性能呈指數(shù)級(jí)增長(zhǎng)。在同一時(shí)期，雖然大多數(shù)軟件未能跟上這些硬件進(jìn)步的步伐，但高性能數(shù)值軟件卻做到了。這在很大程度上正是得益于Dongarra的算法、優(yōu)化技術(shù)和生產(chǎn)質(zhì)量的軟件實(shí)現(xiàn)。
這些貢獻(xiàn)奠定了一個(gè)框架，使科學(xué)家和工程師在大數(shù)據(jù)分析、醫(yī)療保健、可再生能源、天氣預(yù)測(cè)、基因組學(xué)和經(jīng)濟(jì)學(xué)等領(lǐng)域做出了重要的發(fā)現(xiàn)和改變游戲規(guī)則的創(chuàng)新。Dongarra的工作還幫助促進(jìn)了計(jì)算機(jī)架構(gòu)的跨越式發(fā)展，并支持了計(jì)算機(jī)圖形和深度學(xué)習(xí)的革命。
Dongarra的主要貢獻(xiàn)在于創(chuàng)建了開源軟件庫和標(biāo)準(zhǔn)，這些軟件庫采用線性代數(shù)作為中間語言，可供各種應(yīng)用使用。這些庫已經(jīng)為單處理器、并行計(jì)算機(jī)、多核節(jié)點(diǎn)和每個(gè)節(jié)點(diǎn)的多個(gè)GPU編寫。Dongarra的庫還引入了許多重要的創(chuàng)新，包括自動(dòng)調(diào)諧、混合精度算術(shù)和批量計(jì)算。
Dongarra在說服硬件供應(yīng)商優(yōu)化這些方法，以及說服軟件開發(fā)者在他們的工作中使用他的開源庫方面處于領(lǐng)先地位。最終，這些努力使得基于線性代數(shù)的軟件庫在從筆記本電腦到世界上最快的超級(jí)計(jì)算機(jī)的高性能科學(xué)和工程計(jì)算中幾乎被普遍采用。
計(jì)算是數(shù)字時(shí)代的引擎
1970 年，Intel 4004處理器每秒可以處理 92000 條指令，而現(xiàn)在，人們的普通手機(jī)就可以達(dá)到每秒處理 10 億條指令，電腦也越來越強(qiáng)大，能夠存儲(chǔ)越并處理這些龐大的數(shù)據(jù)。但這對(duì)于處理更加龐大的數(shù)據(jù)來說還是遠(yuǎn)遠(yuǎn)不夠的，而基于高性能計(jì)算，卻能夠遠(yuǎn)超傳統(tǒng)計(jì)算機(jī)的計(jì)算速度。
根據(jù)ACM主席Gabriele Kotsis的解釋，今天最快的超級(jí)計(jì)算機(jī)在一秒鐘內(nèi)進(jìn)行四百萬億次計(jì)算，這令人難以置信。而除了打破新記錄以外，高性能計(jì)算還一直是科學(xué)發(fā)現(xiàn)的一個(gè)主要工具。
實(shí)際上，人類文明的發(fā)展從來都離不開計(jì)算力的進(jìn)步。在原始人類有了思考后，才產(chǎn)生了最初的計(jì)算。從部落社會(huì)的結(jié)繩計(jì)算到農(nóng)業(yè)社會(huì)的算盤計(jì)算，再到工業(yè)時(shí)代的計(jì)算機(jī)計(jì)算。
計(jì)算機(jī)計(jì)算也經(jīng)歷了從上世紀(jì)20 年代的繼電器式計(jì)算機(jī)，到40年代的電子管計(jì)算機(jī)，再到 60年代的二極管、三極管、晶體管的計(jì)算機(jī)，其中，晶體管計(jì)算機(jī)的計(jì)算速度可以達(dá)到每秒幾十萬次。集成電路的出現(xiàn)，令計(jì)算速度實(shí)現(xiàn)了80年代，幾百萬次幾千萬次，到現(xiàn)在的幾十億、幾百億、幾千億次。
人體生物研究顯示，人的大腦里面有六張腦皮，六張腦皮中神經(jīng)聯(lián)系形成了一個(gè)幾何級(jí)數(shù)，人腦的神經(jīng)突觸是每秒跳動(dòng)200次，而大腦神經(jīng)跳動(dòng)每秒達(dá)到14億億次，這也讓14 億億次成為計(jì)算機(jī)、人工智能超過人腦的拐點(diǎn)?？梢姡祟愔腔鄣倪M(jìn)步和人類創(chuàng)造的計(jì)算工具的速度有關(guān)。
從這個(gè)意義來講，算力是人類智慧的核心。當(dāng)我們把計(jì)算用以解決實(shí)際問題時(shí)，算力便改變了現(xiàn)有的生產(chǎn)方式，增強(qiáng)了存在者的決策能力和信息篩選能力。
比如，尋找MH370航班殘骸中，大量的衛(wèi)星雷達(dá)將集中對(duì)準(zhǔn)南印度洋，當(dāng)這些高科技眼睛采集到信息后，一個(gè)必經(jīng)的環(huán)節(jié)是雷達(dá)數(shù)據(jù)處理，擔(dān)當(dāng)這一環(huán)節(jié)的角色即是超級(jí)計(jì)算機(jī)。清華大學(xué)地球系統(tǒng)科學(xué)研究中心副教授黃小猛認(rèn)為“只要有足夠精確的相關(guān)數(shù)據(jù)，超算就能找到失事飛機(jī)”。
此外，在環(huán)境監(jiān)測(cè)放面，超級(jí)計(jì)算可以幫助進(jìn)行污染物擴(kuò)散的模擬。通過超算模擬，可以根據(jù)目前污染物的情況，計(jì)算出未來一段時(shí)間的大氣污染物濃度和分布，進(jìn)行空氣質(zhì)量預(yù)報(bào)。從預(yù)報(bào)結(jié)果還可以計(jì)算出哪些污染源影響貢最大，了解污染的來龍去脈，為污染防控提供決策指導(dǎo)。
醫(yī)療領(lǐng)域，模擬血流、模擬心臟、模擬人體任何一個(gè)部分，都離不開超級(jí)計(jì)算機(jī)。美國(guó)科學(xué)家曾利用世界前十的超級(jí)計(jì)算機(jī)，選取一名真人掃描其血管系統(tǒng)，通過3D建模技術(shù)建立動(dòng)脈系統(tǒng)模型，成功地再現(xiàn)了整個(gè)人體的動(dòng)脈系統(tǒng)。任何直徑或?qū)挾仍?毫米以上的動(dòng)脈血管都會(huì)出現(xiàn)在模型中，而且模型的分辨率達(dá)到了9微米。
比如，對(duì)一個(gè)可能發(fā)生腦梗塞病人，醫(yī)院難以判斷是否要進(jìn)行支架手術(shù)，一般都會(huì)通過從大腿動(dòng)脈處放進(jìn)測(cè)壓導(dǎo)絲進(jìn)行測(cè)量，但這種方式既危險(xiǎn)又痛苦。而如果在超級(jí)計(jì)算機(jī)的幫助下，經(jīng)過模擬計(jì)算，只要血流儲(chǔ)備分?jǐn)?shù)如果小于0.8，就可以進(jìn)行手術(shù)。也就是說，只要運(yùn)算核夠多、速度夠快，醫(yī)療工作者的診斷和治療水平將大大提升，而科學(xué)的治療手段更容易讓患者接受。
推動(dòng)人工智能的發(fā)展
高性能計(jì)算的創(chuàng)新還溢出了許多不同的計(jì)算領(lǐng)域，推動(dòng)了算力時(shí)代的發(fā)展，尤其是在人工智能方面。
眾所周知，數(shù)據(jù)、算法和算力是人工智能三大核心要素，數(shù)據(jù)是人工智能發(fā)展的基石和基礎(chǔ)，算法是人工智能發(fā)展的重要引擎和推動(dòng)力，算力則是實(shí)現(xiàn)人工智能技術(shù)的一個(gè)重要保障。人工智能除了訓(xùn)練需要算力，其運(yùn)行在硬件上也需要算力的支撐，可以說，算力構(gòu)筑了人工智能的底層邏輯。
當(dāng)前，人工智能的發(fā)展還在智能感知階段，在智能認(rèn)知方面還沒有很成熟的研究。從這個(gè)角度而言，人工智能對(duì)計(jì)算能力的需求可以說是潛力非常大。無疑，人工智能有大量的數(shù)據(jù)、訓(xùn)練任務(wù)需要超級(jí)計(jì)算的支持，同時(shí)高性能計(jì)算也可以把人工智能應(yīng)用到新的領(lǐng)域，比如利用人工智能更精準(zhǔn)地完成天氣預(yù)報(bào)等。
其中，在混合精度算術(shù)領(lǐng)域，在Dongarra2006年超級(jí)計(jì)算會(huì)議的論文《利用32位浮點(diǎn)算術(shù)的性能獲得64位精度》中，Dongarra開創(chuàng)了利用浮點(diǎn)算術(shù)的多個(gè)精度來更快地提供精確的解決方案。這項(xiàng)工作在機(jī)器學(xué)習(xí)應(yīng)用中發(fā)揮了重要作用，最近的HPL-AI基準(zhǔn)測(cè)試就展示了這一點(diǎn)，它在世界頂級(jí)超級(jí)計(jì)算機(jī)上達(dá)到了前所未有的性能水平。
并且，從長(zhǎng)遠(yuǎn)來看，人工智能與高性能計(jì)算可能還存在更深層的關(guān)系——畢竟，轉(zhuǎn)變?nèi)斯ぶ悄艿某踔跃褪菑娜说闹悄芟蛴?jì)算轉(zhuǎn)變的一個(gè)啟發(fā)。當(dāng)前，高性能計(jì)算與人工智能的深度融合，已經(jīng)是大勢(shì)所趨。自2018年6月以來，新上榜TOP500的超級(jí)計(jì)算機(jī)，前十名都聲稱有支持人工智能的能力。
比如，Summit超級(jí)計(jì)算機(jī)就是“非常典型支撐AI”的高性能計(jì)算機(jī)。Summit胖節(jié)點(diǎn)的設(shè)計(jì)使其單節(jié)點(diǎn)存儲(chǔ)容量相當(dāng)大，GPU的訪存也非?？捎^。綜合下來，一個(gè)胖節(jié)點(diǎn)的計(jì)算能力相當(dāng)強(qiáng)，基本可滿足大多人工智能“一個(gè)模型放在里邊做”的需求。
當(dāng)前，Summit支撐AI的能力已經(jīng)達(dá)到3.3E，高性能的胖節(jié)點(diǎn)設(shè)計(jì)使系統(tǒng)總節(jié)點(diǎn)數(shù)減少，從而降低了應(yīng)用擴(kuò)展難度，大容量的多級(jí)高效存儲(chǔ)及其間的硬件一致性支持，加之高速好用的本地存儲(chǔ)等的綜合作用下，使其局部的計(jì)算能力非常強(qiáng)，非常適合深度神經(jīng)網(wǎng)絡(luò)（DNN）這類人工智能應(yīng)用的提升。
可以說，Jack Dongarra的工作從根本上改變和推進(jìn)了科學(xué)計(jì)算，正如谷歌高級(jí)研究員Jeff Dean所稱贊的那樣：“他在世界最大量使用的數(shù)值庫的核心所做的深入而重要的工作是科學(xué)計(jì)算的每一個(gè)領(lǐng)域的基礎(chǔ)，幫助推動(dòng)了從藥物發(fā)現(xiàn)到天氣預(yù)報(bào)、航空航天工程和其他幾十個(gè)領(lǐng)域的發(fā)展，他對(duì)描述各種計(jì)算機(jī)性能的深入關(guān)注帶來了非常適合數(shù)值計(jì)算的計(jì)算機(jī)架構(gòu)的重大進(jìn)展。”
高性能計(jì)算技術(shù)是趨勢(shì)，也是未來，在量子計(jì)算技術(shù)沒有獲得徹底的突破之前，基于當(dāng)前的物理性能與人工智能的融合路徑將會(huì)是接下來一段時(shí)間的突破方向。而未來的高性能計(jì)算技術(shù)，或許將會(huì)是基于量子計(jì)算與人工智能融合的真正超級(jí)計(jì)算技術(shù)。