正在閱讀:

黃仁勛對(duì)話Arm CEO:預(yù)言AI每年成本砍半,自曝演講靠“硬著頭皮”

掃一掃下載界面新聞APP

黃仁勛對(duì)話Arm CEO:預(yù)言AI每年成本砍半,自曝演講靠“硬著頭皮”

“我們未來要做的,是物理AI,教會(huì)AI物理法則,理解物理定律?!?/p>

編譯 | 芯東西 尹明順

編輯 | 漠影

芯東西10月16日?qǐng)?bào)道,今天在聯(lián)想創(chuàng)新科技大會(huì)上,英特爾和AMD宣布一個(gè)震圈消息:聯(lián)合成立x86生態(tài)系統(tǒng)顧問小組,以“確保x86架構(gòu)作為開發(fā)者和客戶首選的計(jì)算平臺(tái)持續(xù)發(fā)展和演進(jìn)”為目標(biāo),要“在未來數(shù)十年延續(xù)x86卓越成就。”

這堪稱是歷史性的一次聯(lián)手。兩家當(dāng)了彼此40多年老對(duì)家的x86 CPU龍頭,此時(shí)并肩而立,為了共同的目標(biāo)——捍衛(wèi)x86架構(gòu)榮耀!

好巧不巧,這兩家芯片巨頭共同的勁敵——x86敵對(duì)陣營(yíng)的半導(dǎo)體IP巨頭Arm和憑借AI計(jì)算平步青云的GPU巨頭英偉達(dá),上周剛剛奉送了一場(chǎng)深度對(duì)話——Arm CEO瑞內(nèi)·哈斯(Rene Haas)的新播客節(jié)目開播,首期對(duì)話嘉賓便是英偉達(dá)創(chuàng)始人兼CEO黃仁勛。黃仁勛在交談期間特意提到自家基于Arm架構(gòu)的Grace CPU,夸它的能效是“世界上最好的CPU的4倍”。

這場(chǎng)千億市值與萬(wàn)億市值半導(dǎo)體公司掌舵者之間的深度對(duì)談亮點(diǎn)紛呈,從英偉達(dá)怎么建立人才梯隊(duì)、如何搞定巨額收購(gòu)和轉(zhuǎn)型,聊到對(duì)AI發(fā)展風(fēng)向的判斷,以及英偉達(dá)面向未來的投資。

本周英偉達(dá)股價(jià)再破歷史高位,市值超過3.3萬(wàn)億美元,距離超越蘋果重返全球第一只差臨門一腳。黃仁勛的身價(jià)也水漲船高,總資產(chǎn)達(dá)1150億美元,超過英特爾總市值(969億美元)。英偉達(dá)的老搭檔Arm近幾個(gè)月股價(jià)同樣走勢(shì)上揚(yáng),最新市值達(dá)到1579億美元。

在與哈斯的對(duì)談中,黃仁勛聊到要建立偉大的公司,就要找到偉大的人才。他透露說英偉達(dá)的員工流失率很低,有很多“有趣的人”,信息透明化做得很不錯(cuò)。

他不僅分享了英偉達(dá)在招聘時(shí)考察面試者能力和適配性的策略,而且詳細(xì)回顧了如何順利收購(gòu)美國(guó)網(wǎng)絡(luò)芯片廠商Mellanox并實(shí)現(xiàn)其產(chǎn)品組合的4倍增長(zhǎng)。黃仁勛說,英偉達(dá)的新愿景是構(gòu)建AI超級(jí)集群,把整個(gè)數(shù)據(jù)中心變成計(jì)算單元。

談到對(duì)AI未來的預(yù)測(cè),他更是不掩野心,稱AI發(fā)展速度比摩爾定律快得多,每年有望將AI成本降低到原來的1/3~1/2,而英偉達(dá)正通過給每個(gè)系統(tǒng)設(shè)計(jì)6~7款芯片,試圖重塑整個(gè)系統(tǒng)。他還解釋了CUDA的架構(gòu)理念,說行業(yè)軟件投資大約是硬件投資的千倍。

在他看來,降低成本是AI發(fā)展的關(guān)鍵,AI未來要做的是一些新事情,包括推理和物理AI,也就是教AI理解物理法則。

黃仁勛也聊到一些生活和工作插曲,比如他早上剛問過ChatGPT,還有他每天都在為發(fā)表主題演講做準(zhǔn)備,沒時(shí)間練習(xí)時(shí)只能硬著頭皮上。

以下是對(duì)該播客內(nèi)容的完整編譯(為提高可讀性,芯東西調(diào)整了部分問答的順序,并在不違背原意的前提下進(jìn)行了一定的增刪修改)。

01.揭秘英偉達(dá)招人策略,黃仁勛會(huì)找前雇主做背調(diào)

哈斯:非常榮幸可以與英偉達(dá)的CEO黃仁勛先生對(duì)話,他是一個(gè)真正具有遠(yuǎn)見的人,也是我的曾經(jīng)的老板和個(gè)人導(dǎo)師。我們將深入探討他的職業(yè)旅程,關(guān)于AI未來的暢想,探討英偉達(dá)獨(dú)特的創(chuàng)新意識(shí)以及推動(dòng)技術(shù)邊界擴(kuò)展的雄心壯志,我們?cè)谑タ死挠ミ_(dá)總部進(jìn)行這場(chǎng)對(duì)談?,F(xiàn)在英偉達(dá)已經(jīng)發(fā)展得如此龐大,我一直對(duì)招聘方面的事情感到好奇。英偉達(dá)具有獨(dú)一無二的文化,工作的方式方法也與眾不同,您是如何為英偉達(dá)篩選人才的?

黃仁勛:我們并不能經(jīng)常做到這一點(diǎn),比如你就離開。人們都可以在面試中展現(xiàn)出自己最好的狀態(tài),也都極力展現(xiàn)出自己非常合適這個(gè)崗位的樣子,通過對(duì)話也可以建構(gòu)一個(gè)近乎完美的個(gè)人形象。

現(xiàn)在人們還可以在YouTube學(xué)習(xí)到面試技巧。此外,人們也可以提前預(yù)測(cè)一些技術(shù)性難題并準(zhǔn)備好自己的答案。

我們盡可能讓面試過程變得嚴(yán)格、嚴(yán)謹(jǐn),但依然難以準(zhǔn)確對(duì)面試者進(jìn)行評(píng)估。因此,我自己的方法是會(huì)進(jìn)行回溯查證,會(huì)問前雇主一些關(guān)于應(yīng)聘者的問題。

人可以“預(yù)制”一個(gè)精彩表現(xiàn)來欺騙別人,但卻無法改變過去,所以我覺得回溯查證是有效的。我也喜歡提出一個(gè)深入的問題,并去看一下他們?nèi)绾芜M(jìn)行推理。

歸根結(jié)底,我覺得英偉達(dá)總體還是成功的。如你所說,我們的人員流失率很低,這是一個(gè)多元化的環(huán)境,幕后也有很多有趣的人。我們的員工來自世界各地各大公司,但在這里他們?nèi)〉昧顺晒Α?/p>

因此,我認(rèn)為,建立一個(gè)偉大的公司就需要找到一些偉大的人才。另外一方面,公司也要?jiǎng)?chuàng)造一些條件,讓這些人做得能夠比他們想象中更好。

我們會(huì)花很多時(shí)間向應(yīng)聘者解釋公司的愿景以及戰(zhàn)略。公司也一直以清晰表述自身面臨的挑戰(zhàn)、機(jī)遇、戰(zhàn)略而被廣泛知曉。英偉達(dá)在信息透明化方面做的一直不錯(cuò)。

我認(rèn)為,公司有太多的“信息孤島”時(shí),其實(shí)并不利于公司發(fā)展。大家知道的越多反而越能夠?yàn)楣咀龀鲋匾獩Q定,我傾向于進(jìn)行信息公開化而不是限制信息。

所以,英偉達(dá)也常常被認(rèn)為是一個(gè)“最小”的大型公司。

我也傾向于向員工賦權(quán),我們大約有3萬(wàn)多的員工,他們每天大約要做上百個(gè)決策,如果所有員工都在做一些對(duì)公司有利的模糊性決策,那聚合起來將會(huì)非常有效的。

哈斯:有一件事也讓我很驚訝,我不知道是您精心篩選到了人才,還是因?yàn)榕既贿x擇...總之高層管理層非常能夠適應(yīng)各種不確定性,領(lǐng)導(dǎo)者會(huì)深入到不同的組織層面去確認(rèn)項(xiàng)目的重要性是嗎?這個(gè)過程究竟是什么樣的呢?在公司成長(zhǎng)過程中,你們是如何獲得這些志同道合的伙伴的?

黃仁勛:我沒過問他們這些事,因?yàn)閷?duì)于那些顯而易見的事情,你不需要得到所謂的許可。我們之所以這樣說,是因?yàn)橛ミ_(dá)從一開始就被設(shè)計(jì)為一家全棧計(jì)算公司,我們的目標(biāo)是打造GPU、CPU、網(wǎng)絡(luò)芯片和交換機(jī),我們還要進(jìn)行芯片架構(gòu)的設(shè)計(jì)、開發(fā)系統(tǒng)軟件、創(chuàng)建算法,甚至開發(fā)求解器。

那么,該如何組織這樣一個(gè)既需要所有部門協(xié)同工作,又要分部分進(jìn)行工作的公司呢?

我們的解決方案就是,不設(shè)立組織壁壘,而是將組織視為領(lǐng)導(dǎo)者,培養(yǎng)員工、為員工創(chuàng)造條件以取得成功、為員工服務(wù)、幫助員工排除障礙等的場(chǎng)所。

重要的,領(lǐng)導(dǎo)者要堅(jiān)守使命,這樣使命才會(huì)貫穿每個(gè)部門。使命可以跨越系統(tǒng)、芯片、網(wǎng)絡(luò)、軟件和算法,也可以跨越各種領(lǐng)域。

這樣的組織方式,需要我們提升信息透明度。組織之間的交流變多反而是能夠幫助我們獲得更多別人的意見與建議,可以幫助我們?nèi)ヲ?yàn)證設(shè)想。所以我喜歡這樣的高透明度的運(yùn)作方式,每個(gè)人都在幫助我讓公司的氛圍變得更好。而不是讓一切都封鎖在黑色的壁壘中。

02.英偉達(dá)如何無縫收購(gòu)Mellanox?黃仁勛解釋轉(zhuǎn)型策略與目標(biāo)

哈斯:你們差點(diǎn)就收購(gòu)了我們(Arm),但最終你們卻收購(gòu)了Mellanox。這不僅是一次出色的戰(zhàn)略性收購(gòu),從外部來看,它也非常順利的融入你們公司。就像你說的,使命高于一切。整個(gè)收購(gòu)過程看起來十分順利,這是如何實(shí)現(xiàn)的呢?

黃仁勛:實(shí)際上還是很困難的,文化融合上很困難。Mellanox管理團(tuán)隊(duì)有十幾個(gè)人,十二個(gè)人已經(jīng)成為英偉達(dá)以色列管理團(tuán)隊(duì)E-staff的重要人員,我們現(xiàn)在要研究架構(gòu)、軟件系統(tǒng)、芯片、網(wǎng)絡(luò)架構(gòu)以及NVLink交換機(jī)等,此前我們只有InfiniBand產(chǎn)品線,但現(xiàn)在有了整個(gè)以太網(wǎng)的產(chǎn)品線。

合并后,Mellanox的產(chǎn)品組合增長(zhǎng)了四倍。它們整合到了英偉達(dá)的方方面面,這次的轉(zhuǎn)型也讓我們回顧起上次收購(gòu),我們意識(shí)到,計(jì)算單元不再僅僅是GPU這樣的外設(shè)。

事實(shí)上,Arm也在幫助我們向一家SoC(片上系統(tǒng))公司做轉(zhuǎn)型。此處要解釋一下SoC是什么,它基本上是一個(gè)完整的計(jì)算機(jī)系統(tǒng)。傳統(tǒng)計(jì)算機(jī)系統(tǒng)中,GPU是其中的一個(gè)部分,CPU先啟動(dòng),然后是ROM,再然后是操作系統(tǒng),GPU是最后啟動(dòng)的。但在SoC中,整個(gè)系統(tǒng)是一起啟動(dòng)的。

因此英偉達(dá)從算法公司過渡到計(jì)算公司,是一次嘗試,也是一次轉(zhuǎn)型。最開始去做SoC對(duì)我們而言是很不容易的,但現(xiàn)在我們做出一些不錯(cuò)的產(chǎn)品,未來就是去構(gòu)建一個(gè)系統(tǒng),而DGX-1是我們的第一個(gè)系統(tǒng)。

我依然也很喜歡Shield,它是一個(gè)Android TV電腦,也是英偉達(dá)創(chuàng)建的第一個(gè)完整的系統(tǒng),從中我們學(xué)到了許多東西。在那時(shí),它是一個(gè)帶有顯示屏的PlayStation或者是Xbox控制器,我們當(dāng)時(shí)就在想應(yīng)該如何把它做好。時(shí)至今日,我們也依然對(duì)那個(gè)軟件進(jìn)行著更新。

Shield是由塑料制成的,而DGX-1重達(dá)600磅,這樣的轉(zhuǎn)變其實(shí)并不是什么大事。重要的是,我們現(xiàn)在能夠構(gòu)建系統(tǒng),而在我們收購(gòu)Mellanox之后,更大的愿景是計(jì)算機(jī)將不再僅僅是一個(gè)節(jié)點(diǎn),而是整個(gè)數(shù)據(jù)中心,它將成為計(jì)算單元。

如果你無法將GPU、CPU、網(wǎng)絡(luò)接口、交換機(jī)等所有設(shè)備連接在一起,啟動(dòng)整個(gè)系統(tǒng),并在它們之間分配工作負(fù)載,那么你就無法真正理解如何建構(gòu)AI超級(jí)集群。

這個(gè)愿景如此清晰,對(duì)于激勵(lì)團(tuán)隊(duì)來說也至關(guān)重要。想要鼓勵(lì)團(tuán)隊(duì)需要非常清晰的愿景,而我們恰好擁有。那就是建構(gòu)超級(jí)集群,它的建構(gòu)需要兩家公司的共同努力,這個(gè)愿景非常具體。

作為CEO,你必須要把抽象的東西變得具體,然后公司才能夠?qū)嵺`。

03.預(yù)言AI發(fā)展速度:每年成本砍半,比摩爾定律快得多

哈斯:你和我在這個(gè)行業(yè)里待的時(shí)間差不多長(zhǎng),AI正在發(fā)生許多讓我們意想不到的事情,我本以為這種變革會(huì)在幾代人中逐步發(fā)展,但現(xiàn)在的一切是我從未預(yù)料到的,對(duì)我來說這好像進(jìn)入到了一個(gè)突破邊際的時(shí)候,我不知道除了AI領(lǐng)域外還會(huì)有哪些發(fā)展?或者說我們正在進(jìn)入一個(gè)什么樣的時(shí)代?

黃仁勛:我想我一直都期待計(jì)算機(jī)能夠執(zhí)行一些智能行為,我們編寫出如此出色的軟件,通過編寫算法讓計(jì)算機(jī)變得智能。

但我并未料想這會(huì)導(dǎo)致一場(chǎng)工業(yè)革命。AI首次超越傳統(tǒng)計(jì)算機(jī)行業(yè),它可能不再是一個(gè)工具、儀器,而是制造業(yè)。

可以這樣來理解,我們?cè)谡勗挼臅r(shí)候口袋里有手機(jī),如果不使用它,那它就不會(huì)為我做任何事情。大多數(shù)計(jì)算機(jī)都是這樣的,比如筆記本電腦。

然而我們正在建設(shè)的AI工廠,它時(shí)時(shí)刻刻都在運(yùn)行,無論你是否運(yùn)用它,它都在生產(chǎn)token,它們都在接收數(shù)據(jù),過去的計(jì)算機(jī)如今變成了一個(gè)工廠,一個(gè)可以主動(dòng)制造東西的地方,并且在大規(guī)模地生產(chǎn)有價(jià)值的東西,我們的行業(yè)正步入一個(gè)全新時(shí)代,我們正處于工業(yè)革命的開端。

哈斯:它的發(fā)展速度是否比你想的要快?你參與到了AlexNet和DGX-1等項(xiàng)目中,親眼目睹了創(chuàng)新發(fā)展的步伐,據(jù)我所知,自我接管Arm以來,我們深入研究了AI的發(fā)展,它的發(fā)展速度似乎比我兩年半前所想象的發(fā)展得更快。

黃仁勛:我們正努力讓它運(yùn)行得更快。我們已經(jīng)將周期縮短到了一年,原因是技術(shù)正在快速發(fā)展。而且,我們現(xiàn)在不僅僅是在制造芯片方面提速,我們也很了解芯片技術(shù)的進(jìn)步速度,如果幸運(yùn)的話,采用一個(gè)新的工藝,性能可能就會(huì)提升幾個(gè)百分點(diǎn)。

這太不可思議了,那么我們是如何做到每一代產(chǎn)品上都可以實(shí)現(xiàn)x倍的性能提升?我們主要的解決辦法是給每個(gè)系統(tǒng)設(shè)計(jì)6~7款芯片,然后我們使用協(xié)同設(shè)計(jì)的方法來對(duì)整個(gè)系統(tǒng)進(jìn)行重塑,并發(fā)明像NVLink交換機(jī)和新型系統(tǒng)機(jī)架這樣的新事物,它們可以幫助我們通過背板的銅線將所有GPU相連,并將它們放在一個(gè)非常大的封裝或者3D封裝中。目前我們也在開發(fā)新的技術(shù)來實(shí)現(xiàn)這個(gè)目標(biāo)。

我們每年能夠?qū)I的開發(fā)成本降低到原來的1/3~1/2,發(fā)展速度比摩爾定律快得多。所以,如果將這種進(jìn)展進(jìn)行復(fù)合計(jì)算,五年、六年、十年,我們就能讓AI成本降低到驚人的程度。

我們之所以這樣做,也是因?yàn)榇蠹乙庾R(shí)到了AI的重要性。如果我們能夠極大降低成本,那么我們就可以做一些新的事情,比如推理。

就像ChatGPT這個(gè)偉大的服務(wù),我早上還用了它,輸入你的問題,只需要按下回車,稍許加載就會(huì)生成回復(fù)。在未來,它也可以用于迭代推理,從而輸出結(jié)果,也可能會(huì)經(jīng)過成百上千次的推理,那時(shí)候答案質(zhì)量也會(huì)好很多。

04.行業(yè)軟件投資是硬件的千倍,極度重視架構(gòu)兼容性

哈斯:我曾看過OpenAI模型的一個(gè)推理演示,誠(chéng)如你所說,它會(huì)通過一個(gè)邏輯樹進(jìn)行決策的權(quán)衡,就像人類做決策一樣,但是速度非???。讓我吃驚的是,你引入全數(shù)據(jù)集和基礎(chǔ)設(shè)施的速度在業(yè)界也是前所未有的。CPU兩到三年通常都會(huì)更新一次,最終走向貶值。而現(xiàn)在,你們每年都在構(gòu)建新的系統(tǒng),人們都在為盡快部署這些系統(tǒng)而買單。

黃仁勛:說起來比較容易,我們每年都在交付像這個(gè)房間這么大的新計(jì)算機(jī),包括所有的布線、網(wǎng)絡(luò)、交換機(jī)和軟件等等。

哈斯:你怎么看?我不是想讓你預(yù)測(cè)未來,這更多是一個(gè)技術(shù)問題。它能以當(dāng)前的速度繼續(xù)發(fā)展下去嗎?

黃仁勛:我認(rèn)為可以,但是需要系統(tǒng)化的方式進(jìn)行,也就是說我們所做的一切都是有據(jù)可循的。這意味著,你為以前的集群開發(fā)的軟件,比如Hopper,這些軟件還可以在Blackwell、Rubin上運(yùn)行。而為Rubin創(chuàng)建的軟件,也可以在Hopper上運(yùn)行,架構(gòu)的兼容性很重要。

行業(yè)軟件上的投資比硬件大致千倍,軟件永遠(yuǎn)不會(huì)過時(shí)。所以你開發(fā)或者發(fā)布了某個(gè)軟件,你就要用一生去維護(hù)它。所以說,CUDA架構(gòu)理念并不是有數(shù)百萬(wàn)人在為它編程,而是有數(shù)百萬(wàn)乃至幾億個(gè)可與它兼容的GPU存在著。

哈斯:軟件不會(huì)過時(shí)。

黃仁勛:是的,因此你在一個(gè)GPU上的投資,都可以延續(xù)到其他GPU上,今天你所編寫的軟件,明天會(huì)變得更好。我們將來編寫的所有軟件都將在現(xiàn)有安裝基礎(chǔ)上運(yùn)行,所以首先,我們必須要有非常強(qiáng)烈的架構(gòu)意識(shí)。其次,即便是在系統(tǒng)層面,我們也非常重視架構(gòu),我們會(huì)改變技術(shù)某些部分來推進(jìn)系統(tǒng)設(shè)計(jì),而無需推翻之前的努力。

比如說,當(dāng)我們第一次進(jìn)入數(shù)據(jù)中心業(yè)務(wù)中時(shí),一個(gè)超大規(guī)模數(shù)據(jù)中心的配電是每個(gè)機(jī)架12千瓦,而到了Blackwell時(shí)代,每個(gè)機(jī)架的配電已經(jīng)達(dá)到了120千瓦。密度提高了十倍,它節(jié)省了數(shù)百萬(wàn)美元的服務(wù)器成本,節(jié)省了資金、能源和空間,真是太驚人了。

哈斯:與我們的故事很像,Arm架構(gòu)已經(jīng)存續(xù)30年了,我們的軟件有幾十年的編寫歷史。這也是人們總是不能理解的一點(diǎn)。

黃仁勛:我們關(guān)心每一塊Arm芯片上做的每一件事,前幾天還有人做了一些基準(zhǔn)測(cè)試,結(jié)果顯示,Grace的性能每瓦能量消耗是世界上最好的CPU的四倍。

這顯示出能源效率的重要性,能效是至關(guān)重要的,能效是一切。

05.從500兆瓦到5000兆瓦數(shù)據(jù)中心,怎么解決架構(gòu)升級(jí)挑戰(zhàn)?

哈斯:當(dāng)你從500兆瓦的數(shù)據(jù)中心升級(jí)到5000兆瓦的數(shù)據(jù)中心時(shí),你是否關(guān)注到架構(gòu)上的問題是何時(shí)開始出現(xiàn)的?從高層物理角度來看都有哪些問題?

黃仁勛:一切都會(huì)失效,不會(huì)背離物理定律,這也是問題之所在。我們正在以非??斓乃俣仍诠β拭芏惹€上攀升,呈現(xiàn)出指數(shù)增長(zhǎng)態(tài)勢(shì)。從12千瓦到40千瓦,再到120千瓦、200千瓦,并且這個(gè)數(shù)值還會(huì)提升。我們正在盡可能提高計(jì)算密度、壓縮體積,通過這種做法,液體冷卻變得更加高效,從而可以更長(zhǎng)時(shí)間使用銅來供給電信號(hào)。

長(zhǎng)時(shí)間使用銅來導(dǎo)電也是好的,這樣就不必從電信號(hào)轉(zhuǎn)向光信號(hào)。雖然我們最終不得不轉(zhuǎn)向光信號(hào),但我們還是盡可能堅(jiān)持用電信號(hào)。

所以我們擁有的大多數(shù)數(shù)據(jù)中心都在采用電信號(hào),電信號(hào)更具成本效益,更加節(jié)能也更加可靠。

此外,提高密度的另一個(gè)好處是,特定機(jī)架或相鄰機(jī)架中的所有GPU都可以作為一個(gè)巨型GPU來工作。這真的非常神奇。

06.時(shí)刻都在為演講做準(zhǔn)備,沒時(shí)間練習(xí)只能硬著頭皮上

哈斯:有一件事我很好奇,我記得在Computex上看過你做的主題演講,那是在一個(gè)周日的晚上,你講述的內(nèi)容量之大令人難以置信,我非常好奇你是如何做到的,你是否進(jìn)行了大量的排練?記得我們一起工作的時(shí)候,在演講前一天晚上你還在修改,最后你做得很好。包括現(xiàn)在你講述深入程度也在提升,特別是你在談?wù)摂?shù)據(jù)中心架構(gòu)時(shí),可以展開非常詳細(xì)的分享。你是如何準(zhǔn)備這些事的?

黃仁勛:我們每天都在為此(演講)做準(zhǔn)備,你知道的,我們的工作不是演員。所以說,我們?cè)谶@一個(gè)領(lǐng)域內(nèi)每天都要做這些事,很多事情說到底其實(shí)就是教學(xué)。為塑造一個(gè)行業(yè)、市場(chǎng)、引入我們的新想法,但這并不是廣告。

作為一家公司,我們不能單獨(dú)完成一些工作,需要合作伙伴,所以我們要專注于教學(xué)、啟發(fā)、展示或者是演示。并且希望一步步地讓更多人了解并相信CUDA。今天越來越多的人相信英偉達(dá)的加速計(jì)算,并愿意與我們共同步入AI之旅。

我們未來要做的,是物理AI,教會(huì)AI物理法則,理解物理定律。這個(gè)旅途十分漫長(zhǎng),GTC和Computex都是我們的機(jī)遇,在那里,我們慶祝生態(tài)系統(tǒng)的成功建構(gòu),展示所做的工作,并要啟發(fā)更多人思考下一個(gè)目標(biāo)。

哈斯:非常相似,我們會(huì)做QBU、做演講,我的首席幕僚會(huì)說,天哪,幻燈片很容易啊,這就是你整天都在說的那些內(nèi)容呀。我也在想,實(shí)際上有什么不一樣的呢?

黃仁勛:依然很難,說實(shí)話,我們不做練習(xí)。但不是因?yàn)槲覀冎鲃?dòng)地選擇不練習(xí)。而是因?yàn)?,?dāng)我們把所有的東西準(zhǔn)備好后,就沒有時(shí)間練習(xí)了,所以我們只能硬著頭皮上。

哈斯:您所描述的清晰的愿景和持續(xù)前進(jìn)的動(dòng)力只有極少數(shù)的公司能夠做到,30年后你還在領(lǐng)導(dǎo)這家公司。不言而喻,你已經(jīng)取得了巨大的成功。但是,你剛才描述的那些,是否只能由創(chuàng)始人領(lǐng)導(dǎo)公司來實(shí)現(xiàn)呢?

黃仁勛:不是的,我不這樣想。就像你在Arm公司做的很不錯(cuò),在我看到你工作時(shí),我覺得非常自豪。

哈斯:我是從你那學(xué)到的。

黃仁勛:我認(rèn)為這需要你本身就有很強(qiáng)的韌性和毅力。成功的路上會(huì)有很多挫折,并不是一個(gè)成就接著一個(gè)成就出現(xiàn)的。在苦難中,會(huì)讓我們學(xué)到很多,讓我們變得強(qiáng)大,回過頭去,你也會(huì)為自己、為公司感到自豪,在公司里充滿了許多挫折故事。

他們大多數(shù)都會(huì)覺得:“哦,這次困難遠(yuǎn)不及那次?!泵看斡龅嚼щy的時(shí)候,他們都會(huì)說:“哦,這沒什么。這根本不算什么。”所以說能夠回憶起之前的苦難時(shí)期,就會(huì)覺得現(xiàn)在這個(gè)情況沒什么大不了的,這能夠讓公司在苦難中繼續(xù)前行。

來源:Tech Unheard Podcast

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無評(píng)論哦,快來評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

黃仁勛對(duì)話Arm CEO:預(yù)言AI每年成本砍半,自曝演講靠“硬著頭皮”

“我們未來要做的,是物理AI,教會(huì)AI物理法則,理解物理定律?!?/p>

編譯 | 芯東西 尹明順

編輯 | 漠影

芯東西10月16日?qǐng)?bào)道,今天在聯(lián)想創(chuàng)新科技大會(huì)上,英特爾和AMD宣布一個(gè)震圈消息:聯(lián)合成立x86生態(tài)系統(tǒng)顧問小組,以“確保x86架構(gòu)作為開發(fā)者和客戶首選的計(jì)算平臺(tái)持續(xù)發(fā)展和演進(jìn)”為目標(biāo),要“在未來數(shù)十年延續(xù)x86卓越成就。”

這堪稱是歷史性的一次聯(lián)手。兩家當(dāng)了彼此40多年老對(duì)家的x86 CPU龍頭,此時(shí)并肩而立,為了共同的目標(biāo)——捍衛(wèi)x86架構(gòu)榮耀!

好巧不巧,這兩家芯片巨頭共同的勁敵——x86敵對(duì)陣營(yíng)的半導(dǎo)體IP巨頭Arm和憑借AI計(jì)算平步青云的GPU巨頭英偉達(dá),上周剛剛奉送了一場(chǎng)深度對(duì)話——Arm CEO瑞內(nèi)·哈斯(Rene Haas)的新播客節(jié)目開播,首期對(duì)話嘉賓便是英偉達(dá)創(chuàng)始人兼CEO黃仁勛。黃仁勛在交談期間特意提到自家基于Arm架構(gòu)的Grace CPU,夸它的能效是“世界上最好的CPU的4倍”。

這場(chǎng)千億市值與萬(wàn)億市值半導(dǎo)體公司掌舵者之間的深度對(duì)談亮點(diǎn)紛呈,從英偉達(dá)怎么建立人才梯隊(duì)、如何搞定巨額收購(gòu)和轉(zhuǎn)型,聊到對(duì)AI發(fā)展風(fēng)向的判斷,以及英偉達(dá)面向未來的投資。

本周英偉達(dá)股價(jià)再破歷史高位,市值超過3.3萬(wàn)億美元,距離超越蘋果重返全球第一只差臨門一腳。黃仁勛的身價(jià)也水漲船高,總資產(chǎn)達(dá)1150億美元,超過英特爾總市值(969億美元)。英偉達(dá)的老搭檔Arm近幾個(gè)月股價(jià)同樣走勢(shì)上揚(yáng),最新市值達(dá)到1579億美元。

在與哈斯的對(duì)談中,黃仁勛聊到要建立偉大的公司,就要找到偉大的人才。他透露說英偉達(dá)的員工流失率很低,有很多“有趣的人”,信息透明化做得很不錯(cuò)。

他不僅分享了英偉達(dá)在招聘時(shí)考察面試者能力和適配性的策略,而且詳細(xì)回顧了如何順利收購(gòu)美國(guó)網(wǎng)絡(luò)芯片廠商Mellanox并實(shí)現(xiàn)其產(chǎn)品組合的4倍增長(zhǎng)。黃仁勛說,英偉達(dá)的新愿景是構(gòu)建AI超級(jí)集群,把整個(gè)數(shù)據(jù)中心變成計(jì)算單元。

談到對(duì)AI未來的預(yù)測(cè),他更是不掩野心,稱AI發(fā)展速度比摩爾定律快得多,每年有望將AI成本降低到原來的1/3~1/2,而英偉達(dá)正通過給每個(gè)系統(tǒng)設(shè)計(jì)6~7款芯片,試圖重塑整個(gè)系統(tǒng)。他還解釋了CUDA的架構(gòu)理念,說行業(yè)軟件投資大約是硬件投資的千倍。

在他看來,降低成本是AI發(fā)展的關(guān)鍵,AI未來要做的是一些新事情,包括推理和物理AI,也就是教AI理解物理法則。

黃仁勛也聊到一些生活和工作插曲,比如他早上剛問過ChatGPT,還有他每天都在為發(fā)表主題演講做準(zhǔn)備,沒時(shí)間練習(xí)時(shí)只能硬著頭皮上。

以下是對(duì)該播客內(nèi)容的完整編譯(為提高可讀性,芯東西調(diào)整了部分問答的順序,并在不違背原意的前提下進(jìn)行了一定的增刪修改)。

01.揭秘英偉達(dá)招人策略,黃仁勛會(huì)找前雇主做背調(diào)

哈斯:非常榮幸可以與英偉達(dá)的CEO黃仁勛先生對(duì)話,他是一個(gè)真正具有遠(yuǎn)見的人,也是我的曾經(jīng)的老板和個(gè)人導(dǎo)師。我們將深入探討他的職業(yè)旅程,關(guān)于AI未來的暢想,探討英偉達(dá)獨(dú)特的創(chuàng)新意識(shí)以及推動(dòng)技術(shù)邊界擴(kuò)展的雄心壯志,我們?cè)谑タ死挠ミ_(dá)總部進(jìn)行這場(chǎng)對(duì)談。現(xiàn)在英偉達(dá)已經(jīng)發(fā)展得如此龐大,我一直對(duì)招聘方面的事情感到好奇。英偉達(dá)具有獨(dú)一無二的文化,工作的方式方法也與眾不同,您是如何為英偉達(dá)篩選人才的?

黃仁勛:我們并不能經(jīng)常做到這一點(diǎn),比如你就離開。人們都可以在面試中展現(xiàn)出自己最好的狀態(tài),也都極力展現(xiàn)出自己非常合適這個(gè)崗位的樣子,通過對(duì)話也可以建構(gòu)一個(gè)近乎完美的個(gè)人形象。

現(xiàn)在人們還可以在YouTube學(xué)習(xí)到面試技巧。此外,人們也可以提前預(yù)測(cè)一些技術(shù)性難題并準(zhǔn)備好自己的答案。

我們盡可能讓面試過程變得嚴(yán)格、嚴(yán)謹(jǐn),但依然難以準(zhǔn)確對(duì)面試者進(jìn)行評(píng)估。因此,我自己的方法是會(huì)進(jìn)行回溯查證,會(huì)問前雇主一些關(guān)于應(yīng)聘者的問題。

人可以“預(yù)制”一個(gè)精彩表現(xiàn)來欺騙別人,但卻無法改變過去,所以我覺得回溯查證是有效的。我也喜歡提出一個(gè)深入的問題,并去看一下他們?nèi)绾芜M(jìn)行推理。

歸根結(jié)底,我覺得英偉達(dá)總體還是成功的。如你所說,我們的人員流失率很低,這是一個(gè)多元化的環(huán)境,幕后也有很多有趣的人。我們的員工來自世界各地各大公司,但在這里他們?nèi)〉昧顺晒Α?/p>

因此,我認(rèn)為,建立一個(gè)偉大的公司就需要找到一些偉大的人才。另外一方面,公司也要?jiǎng)?chuàng)造一些條件,讓這些人做得能夠比他們想象中更好。

我們會(huì)花很多時(shí)間向應(yīng)聘者解釋公司的愿景以及戰(zhàn)略。公司也一直以清晰表述自身面臨的挑戰(zhàn)、機(jī)遇、戰(zhàn)略而被廣泛知曉。英偉達(dá)在信息透明化方面做的一直不錯(cuò)。

我認(rèn)為,公司有太多的“信息孤島”時(shí),其實(shí)并不利于公司發(fā)展。大家知道的越多反而越能夠?yàn)楣咀龀鲋匾獩Q定,我傾向于進(jìn)行信息公開化而不是限制信息。

所以,英偉達(dá)也常常被認(rèn)為是一個(gè)“最小”的大型公司。

我也傾向于向員工賦權(quán),我們大約有3萬(wàn)多的員工,他們每天大約要做上百個(gè)決策,如果所有員工都在做一些對(duì)公司有利的模糊性決策,那聚合起來將會(huì)非常有效的。

哈斯:有一件事也讓我很驚訝,我不知道是您精心篩選到了人才,還是因?yàn)榕既贿x擇...總之高層管理層非常能夠適應(yīng)各種不確定性,領(lǐng)導(dǎo)者會(huì)深入到不同的組織層面去確認(rèn)項(xiàng)目的重要性是嗎?這個(gè)過程究竟是什么樣的呢?在公司成長(zhǎng)過程中,你們是如何獲得這些志同道合的伙伴的?

黃仁勛:我沒過問他們這些事,因?yàn)閷?duì)于那些顯而易見的事情,你不需要得到所謂的許可。我們之所以這樣說,是因?yàn)橛ミ_(dá)從一開始就被設(shè)計(jì)為一家全棧計(jì)算公司,我們的目標(biāo)是打造GPU、CPU、網(wǎng)絡(luò)芯片和交換機(jī),我們還要進(jìn)行芯片架構(gòu)的設(shè)計(jì)、開發(fā)系統(tǒng)軟件、創(chuàng)建算法,甚至開發(fā)求解器。

那么,該如何組織這樣一個(gè)既需要所有部門協(xié)同工作,又要分部分進(jìn)行工作的公司呢?

我們的解決方案就是,不設(shè)立組織壁壘,而是將組織視為領(lǐng)導(dǎo)者,培養(yǎng)員工、為員工創(chuàng)造條件以取得成功、為員工服務(wù)、幫助員工排除障礙等的場(chǎng)所。

重要的,領(lǐng)導(dǎo)者要堅(jiān)守使命,這樣使命才會(huì)貫穿每個(gè)部門。使命可以跨越系統(tǒng)、芯片、網(wǎng)絡(luò)、軟件和算法,也可以跨越各種領(lǐng)域。

這樣的組織方式,需要我們提升信息透明度。組織之間的交流變多反而是能夠幫助我們獲得更多別人的意見與建議,可以幫助我們?nèi)ヲ?yàn)證設(shè)想。所以我喜歡這樣的高透明度的運(yùn)作方式,每個(gè)人都在幫助我讓公司的氛圍變得更好。而不是讓一切都封鎖在黑色的壁壘中。

02.英偉達(dá)如何無縫收購(gòu)Mellanox?黃仁勛解釋轉(zhuǎn)型策略與目標(biāo)

哈斯:你們差點(diǎn)就收購(gòu)了我們(Arm),但最終你們卻收購(gòu)了Mellanox。這不僅是一次出色的戰(zhàn)略性收購(gòu),從外部來看,它也非常順利的融入你們公司。就像你說的,使命高于一切。整個(gè)收購(gòu)過程看起來十分順利,這是如何實(shí)現(xiàn)的呢?

黃仁勛:實(shí)際上還是很困難的,文化融合上很困難。Mellanox管理團(tuán)隊(duì)有十幾個(gè)人,十二個(gè)人已經(jīng)成為英偉達(dá)以色列管理團(tuán)隊(duì)E-staff的重要人員,我們現(xiàn)在要研究架構(gòu)、軟件系統(tǒng)、芯片、網(wǎng)絡(luò)架構(gòu)以及NVLink交換機(jī)等,此前我們只有InfiniBand產(chǎn)品線,但現(xiàn)在有了整個(gè)以太網(wǎng)的產(chǎn)品線。

合并后,Mellanox的產(chǎn)品組合增長(zhǎng)了四倍。它們整合到了英偉達(dá)的方方面面,這次的轉(zhuǎn)型也讓我們回顧起上次收購(gòu),我們意識(shí)到,計(jì)算單元不再僅僅是GPU這樣的外設(shè)。

事實(shí)上,Arm也在幫助我們向一家SoC(片上系統(tǒng))公司做轉(zhuǎn)型。此處要解釋一下SoC是什么,它基本上是一個(gè)完整的計(jì)算機(jī)系統(tǒng)。傳統(tǒng)計(jì)算機(jī)系統(tǒng)中,GPU是其中的一個(gè)部分,CPU先啟動(dòng),然后是ROM,再然后是操作系統(tǒng),GPU是最后啟動(dòng)的。但在SoC中,整個(gè)系統(tǒng)是一起啟動(dòng)的。

因此英偉達(dá)從算法公司過渡到計(jì)算公司,是一次嘗試,也是一次轉(zhuǎn)型。最開始去做SoC對(duì)我們而言是很不容易的,但現(xiàn)在我們做出一些不錯(cuò)的產(chǎn)品,未來就是去構(gòu)建一個(gè)系統(tǒng),而DGX-1是我們的第一個(gè)系統(tǒng)。

我依然也很喜歡Shield,它是一個(gè)Android TV電腦,也是英偉達(dá)創(chuàng)建的第一個(gè)完整的系統(tǒng),從中我們學(xué)到了許多東西。在那時(shí),它是一個(gè)帶有顯示屏的PlayStation或者是Xbox控制器,我們當(dāng)時(shí)就在想應(yīng)該如何把它做好。時(shí)至今日,我們也依然對(duì)那個(gè)軟件進(jìn)行著更新。

Shield是由塑料制成的,而DGX-1重達(dá)600磅,這樣的轉(zhuǎn)變其實(shí)并不是什么大事。重要的是,我們現(xiàn)在能夠構(gòu)建系統(tǒng),而在我們收購(gòu)Mellanox之后,更大的愿景是計(jì)算機(jī)將不再僅僅是一個(gè)節(jié)點(diǎn),而是整個(gè)數(shù)據(jù)中心,它將成為計(jì)算單元。

如果你無法將GPU、CPU、網(wǎng)絡(luò)接口、交換機(jī)等所有設(shè)備連接在一起,啟動(dòng)整個(gè)系統(tǒng),并在它們之間分配工作負(fù)載,那么你就無法真正理解如何建構(gòu)AI超級(jí)集群。

這個(gè)愿景如此清晰,對(duì)于激勵(lì)團(tuán)隊(duì)來說也至關(guān)重要。想要鼓勵(lì)團(tuán)隊(duì)需要非常清晰的愿景,而我們恰好擁有。那就是建構(gòu)超級(jí)集群,它的建構(gòu)需要兩家公司的共同努力,這個(gè)愿景非常具體。

作為CEO,你必須要把抽象的東西變得具體,然后公司才能夠?qū)嵺`。

03.預(yù)言AI發(fā)展速度:每年成本砍半,比摩爾定律快得多

哈斯:你和我在這個(gè)行業(yè)里待的時(shí)間差不多長(zhǎng),AI正在發(fā)生許多讓我們意想不到的事情,我本以為這種變革會(huì)在幾代人中逐步發(fā)展,但現(xiàn)在的一切是我從未預(yù)料到的,對(duì)我來說這好像進(jìn)入到了一個(gè)突破邊際的時(shí)候,我不知道除了AI領(lǐng)域外還會(huì)有哪些發(fā)展?或者說我們正在進(jìn)入一個(gè)什么樣的時(shí)代?

黃仁勛:我想我一直都期待計(jì)算機(jī)能夠執(zhí)行一些智能行為,我們編寫出如此出色的軟件,通過編寫算法讓計(jì)算機(jī)變得智能。

但我并未料想這會(huì)導(dǎo)致一場(chǎng)工業(yè)革命。AI首次超越傳統(tǒng)計(jì)算機(jī)行業(yè),它可能不再是一個(gè)工具、儀器,而是制造業(yè)。

可以這樣來理解,我們?cè)谡勗挼臅r(shí)候口袋里有手機(jī),如果不使用它,那它就不會(huì)為我做任何事情。大多數(shù)計(jì)算機(jī)都是這樣的,比如筆記本電腦。

然而我們正在建設(shè)的AI工廠,它時(shí)時(shí)刻刻都在運(yùn)行,無論你是否運(yùn)用它,它都在生產(chǎn)token,它們都在接收數(shù)據(jù),過去的計(jì)算機(jī)如今變成了一個(gè)工廠,一個(gè)可以主動(dòng)制造東西的地方,并且在大規(guī)模地生產(chǎn)有價(jià)值的東西,我們的行業(yè)正步入一個(gè)全新時(shí)代,我們正處于工業(yè)革命的開端。

哈斯:它的發(fā)展速度是否比你想的要快?你參與到了AlexNet和DGX-1等項(xiàng)目中,親眼目睹了創(chuàng)新發(fā)展的步伐,據(jù)我所知,自我接管Arm以來,我們深入研究了AI的發(fā)展,它的發(fā)展速度似乎比我兩年半前所想象的發(fā)展得更快。

黃仁勛:我們正努力讓它運(yùn)行得更快。我們已經(jīng)將周期縮短到了一年,原因是技術(shù)正在快速發(fā)展。而且,我們現(xiàn)在不僅僅是在制造芯片方面提速,我們也很了解芯片技術(shù)的進(jìn)步速度,如果幸運(yùn)的話,采用一個(gè)新的工藝,性能可能就會(huì)提升幾個(gè)百分點(diǎn)。

這太不可思議了,那么我們是如何做到每一代產(chǎn)品上都可以實(shí)現(xiàn)x倍的性能提升?我們主要的解決辦法是給每個(gè)系統(tǒng)設(shè)計(jì)6~7款芯片,然后我們使用協(xié)同設(shè)計(jì)的方法來對(duì)整個(gè)系統(tǒng)進(jìn)行重塑,并發(fā)明像NVLink交換機(jī)和新型系統(tǒng)機(jī)架這樣的新事物,它們可以幫助我們通過背板的銅線將所有GPU相連,并將它們放在一個(gè)非常大的封裝或者3D封裝中。目前我們也在開發(fā)新的技術(shù)來實(shí)現(xiàn)這個(gè)目標(biāo)。

我們每年能夠?qū)I的開發(fā)成本降低到原來的1/3~1/2,發(fā)展速度比摩爾定律快得多。所以,如果將這種進(jìn)展進(jìn)行復(fù)合計(jì)算,五年、六年、十年,我們就能讓AI成本降低到驚人的程度。

我們之所以這樣做,也是因?yàn)榇蠹乙庾R(shí)到了AI的重要性。如果我們能夠極大降低成本,那么我們就可以做一些新的事情,比如推理。

就像ChatGPT這個(gè)偉大的服務(wù),我早上還用了它,輸入你的問題,只需要按下回車,稍許加載就會(huì)生成回復(fù)。在未來,它也可以用于迭代推理,從而輸出結(jié)果,也可能會(huì)經(jīng)過成百上千次的推理,那時(shí)候答案質(zhì)量也會(huì)好很多。

04.行業(yè)軟件投資是硬件的千倍,極度重視架構(gòu)兼容性

哈斯:我曾看過OpenAI模型的一個(gè)推理演示,誠(chéng)如你所說,它會(huì)通過一個(gè)邏輯樹進(jìn)行決策的權(quán)衡,就像人類做決策一樣,但是速度非??臁W屛页泽@的是,你引入全數(shù)據(jù)集和基礎(chǔ)設(shè)施的速度在業(yè)界也是前所未有的。CPU兩到三年通常都會(huì)更新一次,最終走向貶值。而現(xiàn)在,你們每年都在構(gòu)建新的系統(tǒng),人們都在為盡快部署這些系統(tǒng)而買單。

黃仁勛:說起來比較容易,我們每年都在交付像這個(gè)房間這么大的新計(jì)算機(jī),包括所有的布線、網(wǎng)絡(luò)、交換機(jī)和軟件等等。

哈斯:你怎么看?我不是想讓你預(yù)測(cè)未來,這更多是一個(gè)技術(shù)問題。它能以當(dāng)前的速度繼續(xù)發(fā)展下去嗎?

黃仁勛:我認(rèn)為可以,但是需要系統(tǒng)化的方式進(jìn)行,也就是說我們所做的一切都是有據(jù)可循的。這意味著,你為以前的集群開發(fā)的軟件,比如Hopper,這些軟件還可以在Blackwell、Rubin上運(yùn)行。而為Rubin創(chuàng)建的軟件,也可以在Hopper上運(yùn)行,架構(gòu)的兼容性很重要。

行業(yè)軟件上的投資比硬件大致千倍,軟件永遠(yuǎn)不會(huì)過時(shí)。所以你開發(fā)或者發(fā)布了某個(gè)軟件,你就要用一生去維護(hù)它。所以說,CUDA架構(gòu)理念并不是有數(shù)百萬(wàn)人在為它編程,而是有數(shù)百萬(wàn)乃至幾億個(gè)可與它兼容的GPU存在著。

哈斯:軟件不會(huì)過時(shí)。

黃仁勛:是的,因此你在一個(gè)GPU上的投資,都可以延續(xù)到其他GPU上,今天你所編寫的軟件,明天會(huì)變得更好。我們將來編寫的所有軟件都將在現(xiàn)有安裝基礎(chǔ)上運(yùn)行,所以首先,我們必須要有非常強(qiáng)烈的架構(gòu)意識(shí)。其次,即便是在系統(tǒng)層面,我們也非常重視架構(gòu),我們會(huì)改變技術(shù)某些部分來推進(jìn)系統(tǒng)設(shè)計(jì),而無需推翻之前的努力。

比如說,當(dāng)我們第一次進(jìn)入數(shù)據(jù)中心業(yè)務(wù)中時(shí),一個(gè)超大規(guī)模數(shù)據(jù)中心的配電是每個(gè)機(jī)架12千瓦,而到了Blackwell時(shí)代,每個(gè)機(jī)架的配電已經(jīng)達(dá)到了120千瓦。密度提高了十倍,它節(jié)省了數(shù)百萬(wàn)美元的服務(wù)器成本,節(jié)省了資金、能源和空間,真是太驚人了。

哈斯:與我們的故事很像,Arm架構(gòu)已經(jīng)存續(xù)30年了,我們的軟件有幾十年的編寫歷史。這也是人們總是不能理解的一點(diǎn)。

黃仁勛:我們關(guān)心每一塊Arm芯片上做的每一件事,前幾天還有人做了一些基準(zhǔn)測(cè)試,結(jié)果顯示,Grace的性能每瓦能量消耗是世界上最好的CPU的四倍。

這顯示出能源效率的重要性,能效是至關(guān)重要的,能效是一切。

05.從500兆瓦到5000兆瓦數(shù)據(jù)中心,怎么解決架構(gòu)升級(jí)挑戰(zhàn)?

哈斯:當(dāng)你從500兆瓦的數(shù)據(jù)中心升級(jí)到5000兆瓦的數(shù)據(jù)中心時(shí),你是否關(guān)注到架構(gòu)上的問題是何時(shí)開始出現(xiàn)的?從高層物理角度來看都有哪些問題?

黃仁勛:一切都會(huì)失效,不會(huì)背離物理定律,這也是問題之所在。我們正在以非??斓乃俣仍诠β拭芏惹€上攀升,呈現(xiàn)出指數(shù)增長(zhǎng)態(tài)勢(shì)。從12千瓦到40千瓦,再到120千瓦、200千瓦,并且這個(gè)數(shù)值還會(huì)提升。我們正在盡可能提高計(jì)算密度、壓縮體積,通過這種做法,液體冷卻變得更加高效,從而可以更長(zhǎng)時(shí)間使用銅來供給電信號(hào)。

長(zhǎng)時(shí)間使用銅來導(dǎo)電也是好的,這樣就不必從電信號(hào)轉(zhuǎn)向光信號(hào)。雖然我們最終不得不轉(zhuǎn)向光信號(hào),但我們還是盡可能堅(jiān)持用電信號(hào)。

所以我們擁有的大多數(shù)數(shù)據(jù)中心都在采用電信號(hào),電信號(hào)更具成本效益,更加節(jié)能也更加可靠。

此外,提高密度的另一個(gè)好處是,特定機(jī)架或相鄰機(jī)架中的所有GPU都可以作為一個(gè)巨型GPU來工作。這真的非常神奇。

06.時(shí)刻都在為演講做準(zhǔn)備,沒時(shí)間練習(xí)只能硬著頭皮上

哈斯:有一件事我很好奇,我記得在Computex上看過你做的主題演講,那是在一個(gè)周日的晚上,你講述的內(nèi)容量之大令人難以置信,我非常好奇你是如何做到的,你是否進(jìn)行了大量的排練?記得我們一起工作的時(shí)候,在演講前一天晚上你還在修改,最后你做得很好。包括現(xiàn)在你講述深入程度也在提升,特別是你在談?wù)摂?shù)據(jù)中心架構(gòu)時(shí),可以展開非常詳細(xì)的分享。你是如何準(zhǔn)備這些事的?

黃仁勛:我們每天都在為此(演講)做準(zhǔn)備,你知道的,我們的工作不是演員。所以說,我們?cè)谶@一個(gè)領(lǐng)域內(nèi)每天都要做這些事,很多事情說到底其實(shí)就是教學(xué)。為塑造一個(gè)行業(yè)、市場(chǎng)、引入我們的新想法,但這并不是廣告。

作為一家公司,我們不能單獨(dú)完成一些工作,需要合作伙伴,所以我們要專注于教學(xué)、啟發(fā)、展示或者是演示。并且希望一步步地讓更多人了解并相信CUDA。今天越來越多的人相信英偉達(dá)的加速計(jì)算,并愿意與我們共同步入AI之旅。

我們未來要做的,是物理AI,教會(huì)AI物理法則,理解物理定律。這個(gè)旅途十分漫長(zhǎng),GTC和Computex都是我們的機(jī)遇,在那里,我們慶祝生態(tài)系統(tǒng)的成功建構(gòu),展示所做的工作,并要啟發(fā)更多人思考下一個(gè)目標(biāo)。

哈斯:非常相似,我們會(huì)做QBU、做演講,我的首席幕僚會(huì)說,天哪,幻燈片很容易啊,這就是你整天都在說的那些內(nèi)容呀。我也在想,實(shí)際上有什么不一樣的呢?

黃仁勛:依然很難,說實(shí)話,我們不做練習(xí)。但不是因?yàn)槲覀冎鲃?dòng)地選擇不練習(xí)。而是因?yàn)?,?dāng)我們把所有的東西準(zhǔn)備好后,就沒有時(shí)間練習(xí)了,所以我們只能硬著頭皮上。

哈斯:您所描述的清晰的愿景和持續(xù)前進(jìn)的動(dòng)力只有極少數(shù)的公司能夠做到,30年后你還在領(lǐng)導(dǎo)這家公司。不言而喻,你已經(jīng)取得了巨大的成功。但是,你剛才描述的那些,是否只能由創(chuàng)始人領(lǐng)導(dǎo)公司來實(shí)現(xiàn)呢?

黃仁勛:不是的,我不這樣想。就像你在Arm公司做的很不錯(cuò),在我看到你工作時(shí),我覺得非常自豪。

哈斯:我是從你那學(xué)到的。

黃仁勛:我認(rèn)為這需要你本身就有很強(qiáng)的韌性和毅力。成功的路上會(huì)有很多挫折,并不是一個(gè)成就接著一個(gè)成就出現(xiàn)的。在苦難中,會(huì)讓我們學(xué)到很多,讓我們變得強(qiáng)大,回過頭去,你也會(huì)為自己、為公司感到自豪,在公司里充滿了許多挫折故事。

他們大多數(shù)都會(huì)覺得:“哦,這次困難遠(yuǎn)不及那次。”每次遇到困難的時(shí)候,他們都會(huì)說:“哦,這沒什么。這根本不算什么?!彼哉f能夠回憶起之前的苦難時(shí)期,就會(huì)覺得現(xiàn)在這個(gè)情況沒什么大不了的,這能夠讓公司在苦難中繼續(xù)前行。

來源:Tech Unheard Podcast

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。