正在閱讀:

藏在AI背后的“吃電狂魔”

掃一掃下載界面新聞APP

藏在AI背后的“吃電狂魔”

人工智能時代的能耗黑洞。

圖片來源:界面新聞匡達

文|雪豹財經社 魏琳華

3月底,美國密歇根湖畔的一座已經關閉的核電站Holtec Palisades,獲得來自美國能源部的15億美元貸款擔保,進入重啟階段。如果順利通過監(jiān)管環(huán)節(jié),它將成為美國歷史上第一座重啟的核電站。

美國能源部之所以重啟核電發(fā)力,是出于對電能需求失衡的擔憂。在制造業(yè)、電動汽車等行業(yè)的耗電需求上升之際,人工智能行業(yè)的快速發(fā)展,加速了美國電力危機的到來。

“人工智能本身不是問題,因為它可以幫助解決問題?!泵绹茉床块L詹妮弗·格蘭霍姆在接受Axiro采訪時表示,但是,人工智能和數(shù)據(jù)中心對電力日益增長的需求,卻成了實實在在的新問題。

小小應用,吃電狂魔

人工智能應用究竟有多耗電?

荷蘭科學家亞歷克斯·德弗里斯在他的論文中,為對話機器人ChatGPT算了這樣一筆賬:

每當ChatGPT試圖響應一次問題,它需要消耗2.9瓦時的電量。這是什么概念?響應10次的電量,可以支撐一個功率15W的LED燈泡工作2小時;響應100次,可以給智能手機充大約13次電。

一天內,ChatGPT平均需要處理約2億個來自用戶的對話請求,這意味著它單日消耗的電量就要超過564兆瓦時(1兆瓦時=1000千瓦時,564兆瓦時相當于56.4萬度電)。以美國每個家庭每日平均耗電量換算,ChatGPT每天需要消耗掉1.7萬個美國家庭一天的用電量。

由于模型參數(shù)、能耗處理等因素差異,不同AI模型的耗電量無法被準確估算。于是,亞里克斯以英偉達推出的A100服務器作為測算對象,對整個人工智能行業(yè)可能產生的耗電量進行估算。

基于他的假設,到2027年,英偉達可能推出150萬臺A100服務器,其中95%將被應用于AI行業(yè)。每一臺DGX A100型號的服務器內置8張A100芯片,以1140萬張A100芯片的耗電量進行估算,2027年,整個人工智能行業(yè)每年的耗電量將高達85~134太瓦時(1太瓦時=1×10 千瓦時)。

也就是說,到2027年,AI耗電量或將接近人口超過1000萬的瑞典或1700萬人口的荷蘭一年的總用電量,相當于當前全球用電量的0.5%。

按照這個估算值,AI的耗電量或將比肩比特幣挖礦。據(jù)劍橋大學計算,比特幣挖礦一年耗電量大約是165.99太瓦時,接近人口一億的埃及一年的用電量。

比特幣挖礦如此耗電,是由它的工作方式決定。在比特幣之父中本聰?shù)脑O計中,比特幣系統(tǒng)通過工作量證明(Proof-of-Work)的方式,讓礦工們競相計算出一個足夠困難的哈希值(由數(shù)字+字母構成的字符串)來創(chuàng)建新的區(qū)塊并獲取獎勵。這種競爭性的計算過程,需要消耗大量的電力和計算能力。

AI之所以如此能吃電,是因為大模型的訓練和推理過程均需消耗大量電力。

大模型質量的關鍵在于數(shù)據(jù)、算力和頂尖人才,而高算力的背后,是靠著數(shù)萬張芯片晝夜不停的運轉支撐。

相比于平常安裝在筆記本電腦上的CPU(中央處理器),GPU(圖形處理器)被證明是更適合AI訓練的硬件。如果把CPU看做一個處理單任務的元件,那么GPU的優(yōu)勢就是同時處理多個并發(fā)任務。雖然GPU起初并非為了處理AI需求而生,但同時處理多任務的特質,讓它成為進入AI大模型訓練場的門票。

和CPU相比,GPU可以處理多個并行任務  圖源:英偉達官網(wǎng)

快的代價是更高的能量損耗。據(jù)估算,一張GPU比CPU的能耗高出10~15倍。在大模型訓練過程中,需要多張GPU接連不斷運轉。大模型參數(shù)量和數(shù)據(jù)量越大,訓練耗費的電量也越大。

以GPT-3的訓練為例,斯坦福人工智能研究所發(fā)布的《2023年人工智能指數(shù)報告》顯示,1750億參數(shù)的GPT-3在訓練階段的耗電量高達1287兆瓦時。哈工大人工智能研究院院長劉劼打了個比方,相當于開車從地球到月球往返一次。

在完成訓練后,AI在推理方面的耗電量又遠超過訓練耗費的電量。

每響應一個請求,大模型需要完成推理過程,找到最接近問題的解答。按照上述數(shù)據(jù)推算,GPT-3在訓練階段消耗的電量,甚至無法支撐ChatGPT運行3天。

在多模態(tài)大模型發(fā)展成為主流的情況下,在AI響應需求的推理過程中,耗電量還將進一步提升。據(jù)人工智能公司Hugging Face的研究,不僅多模態(tài)大模型耗電量遠超過一般模型,涉及圖像處理的模型也比純文本處理更耗電。

具體到不同任務,文本分類、標記和問答等簡單任務相對低耗,千次推理僅需0.002~0.007千瓦時。而在響應多模態(tài)任務時,一次文本到圖像生成耗能最高需要用到2.9千瓦時,相當于ChatGPT響應100次的耗電量。

巨頭的AI夢,把電力缺口撕得更大

從訓練15億參數(shù)的GPT-2到訓練1750億參數(shù)的GPT-3,Open AI從十億參數(shù)到千億參數(shù)的跨越,僅用了一年時間。

大模型狂飆之際,越來越多的大型科技公司開始把AI和公司主營業(yè)務的融合提上日程。

谷歌試圖在搜索中結合AI功能,但它的能耗十分驚人。去年2月,谷歌母公司Alphabet董事長John Hennessy表示,在搜索中應用人工智能的成本將是普通搜索的10倍。

前述斯坦福人工智能研究所發(fā)布的《2023年人工智能指數(shù)報告》認為,每次AI搜索的耗電量大約為8.9瓦時,對比谷歌單次搜索0.3瓦時的耗電量,加入AI的單次耗電量幾乎是一般搜索耗電量的30倍。

和Open AI合作密切的微軟,也計劃把AI大力“塞進”它的幾個主要產品線,如Office軟件、Windows操作系統(tǒng)、Bing搜索引擎、Azure云服務等。

為了提供更充足的算力,以支撐AI大模型的訓練和使用,作為底座的基礎設施——數(shù)據(jù)中心的建造已被科技企業(yè)們納入下一步規(guī)劃。

2023年,谷歌斥資超25億美元,分別在俄亥俄州、愛荷華州、亞利桑那州梅薩建造數(shù)據(jù)中心??春肁I發(fā)展的亞馬遜計劃在未來15年中投入1500億美元興建數(shù)據(jù)中心。

當膨脹的電量需求無法被一一滿足,美國部分城市的電力拉響了告急的警報。

美國擁有全球最多的數(shù)據(jù)中心。截至2022年,美國有超2300個數(shù)據(jù)中心,占全球數(shù)據(jù)中心的1/3。

其中,包括亞馬遜、微軟、谷歌等在內的云計算巨頭在美國本土的數(shù)據(jù)中心布局尤為龐大。據(jù)Synergy Research Group統(tǒng)計,在超大規(guī)模運營商當中,亞馬遜、微軟和谷歌合計占據(jù)所有主要數(shù)據(jù)中心的一半以上。微軟在美國擁有24個可用區(qū),一個可用區(qū)配備3個或以上數(shù)據(jù)中心。

據(jù)國際能源署(IEA)預測,未來幾年,美國數(shù)據(jù)中心用電量將快速增長。IEA警告,2022年,美國數(shù)據(jù)中心的用電量已占美國總電力的4%以上,到2026年,其用電量占比將提升至6%,此后幾年還將持續(xù)擴大。

但是,與快速增長的人工智能電力需求相悖的是,美國的發(fā)電量并沒有出現(xiàn)明顯增長的跡象。

據(jù)美國能源信息署,2023年,美國全口徑凈發(fā)電量為41781.71億千瓦時,比上一年下降1.2%。實際上,近十年來,美國的全年凈發(fā)電量一直在40000億千瓦時的邊緣徘徊。

1950-2023年美國凈發(fā)電量變化(單位:十億千瓦時)  圖源:Statista

造成美國缺電的元兇之一是其脆弱的電網(wǎng)輸送設施。美國的變壓器、輸電線路等電網(wǎng)基礎設施建于上世紀60年代至80年代,電路老化問題明顯。白宮在2022年的一份文件中指出,許多變壓器和輸電線路正接近或已超過其設計壽命,全國70%的輸電線路已經使用了25年以上。

在老化的電網(wǎng)基礎設施之下,美國從其他地區(qū)輸電和接入可清潔能源擴充電網(wǎng)儲備能量的想法均無法實現(xiàn)。美國能源部(DOE)發(fā)布的一份報告指出,在德克薩斯州、阿拉斯加州等多個地區(qū),美國建成的輸電系統(tǒng)已面臨滿負荷的情況。

為了加強美國各州電網(wǎng)的彈性和可靠性,去年,美國能源部宣布,將對44個州的58個項目投資34.6億美元。

電力危機已近在眼前。在不久的將來,它還可能成為制約AI發(fā)展的關鍵因素。

2024年2月,在達沃斯世界經濟論壇上,OpenAI首席執(zhí)行官薩姆·阿爾特曼提到了AI帶來的電力危機。在他看來,人工智能消耗的電力將遠遠超出人們的預期?!拔覀兩形闯浞终J識到AI的能源需求。如果沒有重大突破,我們就無法實現(xiàn)(通往AGI)這一目標?!?/p>

在博世互聯(lián)網(wǎng)論壇上,特斯拉CEO馬斯克同樣強調了人工智能面臨的發(fā)展困境?!敖酉聛矶倘钡膶⑹请娏?。”他判斷,電力缺口最早可能會在2025年發(fā)生?!懊髂昴銜吹?,我們沒有足夠的電力來運行所有的芯片?!?/p>

鉗制與出路

不堪重負的電網(wǎng)已經開始限制科技企業(yè)的業(yè)務拓展。

在社交媒體X上,開源社區(qū)OpenPipe創(chuàng)始人Kyle Corbitt分享了他和微軟工程師的對話,他們提到了Open AI在訓練GPT-6期間,GPU在不同州之間面臨的傳輸困境。

“我們不可能在一個州投放超過10萬個H100芯片,同時還不破壞電網(wǎng)?!币粡圚100的最大功耗為700瓦,根據(jù)微軟工程師的測算,以年利用率61%來算,10萬張H100的耗電量將高達42兆瓦時。

為了滿足飆升的電力需求,首先被犧牲的是減少碳排放的目標。

據(jù)《華盛頓郵報》,美國多地電力需求增長超出預期。以佐治亞州為例,預計未來十年的新增用電量將是最近的17倍。位于美國堪薩斯州、內布拉斯加州、威斯康星州和南卡羅來納州的燃煤電廠已經決定延遲退休時間。

面對吃電大戶挖礦機,不同國家推出了程度不同的監(jiān)管政策。據(jù)美國能源部估計,加密貨幣挖礦的年用電量或占美國用電量的0.6%至2.3%。為此,美國考慮對加密貨幣挖礦業(yè)務征收高達30%的數(shù)字資產采礦能源消費稅。加拿大已有三個省份宣布加密貨幣挖礦禁令。

AI也引起了監(jiān)管機構的關注。由于每家AI企業(yè)的能源損耗情況難以被統(tǒng)一量化估計。海外監(jiān)管機構開始推動立法,要求人工智能開發(fā)企業(yè)披露能源的使用情況,以合理估算AI帶來的能耗影響。

今年3月,歐盟27個成員國批準通過的《人工智能法案》中,要求“高風險人工智能系統(tǒng)”報告其能源消耗和資源使用情況。

科技企業(yè)的掌舵者幾年前就押注新型能源公司,期待用清潔的可再生能源支撐龐大的電力需求。

2021年,OpenAI首席執(zhí)行官阿爾特曼向核聚變初創(chuàng)公司Helion Energy投入3.75億美元。2023年5月,微軟與這家公司簽署購電協(xié)議,預定從2028年開始向其購買50兆瓦電力。壞消息是,它甚至不足以支撐GPT-3訓練耗費電量的1/25。

通過技術優(yōu)化性能,也能顯著降低能耗。

在今年的GTC發(fā)布會上,英偉達CEO黃仁勛帶來了一款新的GPU產品Blackwell。通過使用新的架構,它的能耗降低了70%以上:訓練一個1.8萬億參數(shù)的GPT模型,傳統(tǒng)方法可能需要8000個GPU、15兆瓦,歷時90天。而Blackwell只需2000個GPU,功耗4兆瓦。

相比馬斯克和阿爾特曼的警世之言,黃仁勛也同樣擔憂電能的供給,但他給出了一個更加樂觀的展望:“過去十年,我們將計算和人工智能提高了100萬倍……而它所消耗的成本、空間或能源,并未增長100萬倍?!?/p>

英偉達在2024GTC大會上發(fā)布的BlackWell  圖源:英偉達官網(wǎng)

寫在最后

一個多世紀之前,能源革命改變了人們的生活方式。從燃燒麥草的火力過渡到煤炭、石油,在歷史發(fā)展的關鍵時期,人們對新能源的挖掘推動了工業(yè)革命的進程。

“每一個煤筐里都裝著動力與文明?!泵绹枷爰摇⑽膶W家愛默生曾如是感慨。

一種能源的稀缺,往往成為挖掘新一種能源的動力。在《黑石頭的愛與恨:煤的故事》一書中,作者巴巴拉·弗里茲講述了發(fā)生在16世紀英國的“木材危機”。

“由于城市的不斷擴大,附近郡縣的森林漸漸被砍伐殆盡,人們不得不從越來越遠的地方運來木材.……單是倫敦的釀酒者,每年就要燒掉兩萬貨車的木頭。”當木頭價格的上漲超過通貨膨脹的速度,成為稀缺資源后,英國國內的用煤量劇增。

能源的開采和使用,成為決定工業(yè)發(fā)展的關鍵之手。充足的煤炭支撐英國發(fā)展紡織業(yè)、鋼鐵業(yè),成為第一次工業(yè)革命的中心,而石油的開采則帶動汽車、飛機等行業(yè)的興旺。

在化石能源枯竭的危機下,對新能源的利用,不僅能緩解迫近人工智能行業(yè)的能源危機,也承載著人類科技繼續(xù)前行的“動力與文明”。

本文為轉載內容,授權事宜請聯(lián)系原著作權人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

藏在AI背后的“吃電狂魔”

人工智能時代的能耗黑洞。

圖片來源:界面新聞匡達

文|雪豹財經社 魏琳華

3月底,美國密歇根湖畔的一座已經關閉的核電站Holtec Palisades,獲得來自美國能源部的15億美元貸款擔保,進入重啟階段。如果順利通過監(jiān)管環(huán)節(jié),它將成為美國歷史上第一座重啟的核電站。

美國能源部之所以重啟核電發(fā)力,是出于對電能需求失衡的擔憂。在制造業(yè)、電動汽車等行業(yè)的耗電需求上升之際,人工智能行業(yè)的快速發(fā)展,加速了美國電力危機的到來。

“人工智能本身不是問題,因為它可以幫助解決問題?!泵绹茉床块L詹妮弗·格蘭霍姆在接受Axiro采訪時表示,但是,人工智能和數(shù)據(jù)中心對電力日益增長的需求,卻成了實實在在的新問題。

小小應用,吃電狂魔

人工智能應用究竟有多耗電?

荷蘭科學家亞歷克斯·德弗里斯在他的論文中,為對話機器人ChatGPT算了這樣一筆賬:

每當ChatGPT試圖響應一次問題,它需要消耗2.9瓦時的電量。這是什么概念?響應10次的電量,可以支撐一個功率15W的LED燈泡工作2小時;響應100次,可以給智能手機充大約13次電。

一天內,ChatGPT平均需要處理約2億個來自用戶的對話請求,這意味著它單日消耗的電量就要超過564兆瓦時(1兆瓦時=1000千瓦時,564兆瓦時相當于56.4萬度電)。以美國每個家庭每日平均耗電量換算,ChatGPT每天需要消耗掉1.7萬個美國家庭一天的用電量。

由于模型參數(shù)、能耗處理等因素差異,不同AI模型的耗電量無法被準確估算。于是,亞里克斯以英偉達推出的A100服務器作為測算對象,對整個人工智能行業(yè)可能產生的耗電量進行估算。

基于他的假設,到2027年,英偉達可能推出150萬臺A100服務器,其中95%將被應用于AI行業(yè)。每一臺DGX A100型號的服務器內置8張A100芯片,以1140萬張A100芯片的耗電量進行估算,2027年,整個人工智能行業(yè)每年的耗電量將高達85~134太瓦時(1太瓦時=1×10 千瓦時)。

也就是說,到2027年,AI耗電量或將接近人口超過1000萬的瑞典或1700萬人口的荷蘭一年的總用電量,相當于當前全球用電量的0.5%。

按照這個估算值,AI的耗電量或將比肩比特幣挖礦。據(jù)劍橋大學計算,比特幣挖礦一年耗電量大約是165.99太瓦時,接近人口一億的埃及一年的用電量。

比特幣挖礦如此耗電,是由它的工作方式決定。在比特幣之父中本聰?shù)脑O計中,比特幣系統(tǒng)通過工作量證明(Proof-of-Work)的方式,讓礦工們競相計算出一個足夠困難的哈希值(由數(shù)字+字母構成的字符串)來創(chuàng)建新的區(qū)塊并獲取獎勵。這種競爭性的計算過程,需要消耗大量的電力和計算能力。

AI之所以如此能吃電,是因為大模型的訓練和推理過程均需消耗大量電力。

大模型質量的關鍵在于數(shù)據(jù)、算力和頂尖人才,而高算力的背后,是靠著數(shù)萬張芯片晝夜不停的運轉支撐。

相比于平常安裝在筆記本電腦上的CPU(中央處理器),GPU(圖形處理器)被證明是更適合AI訓練的硬件。如果把CPU看做一個處理單任務的元件,那么GPU的優(yōu)勢就是同時處理多個并發(fā)任務。雖然GPU起初并非為了處理AI需求而生,但同時處理多任務的特質,讓它成為進入AI大模型訓練場的門票。

和CPU相比,GPU可以處理多個并行任務  圖源:英偉達官網(wǎng)

快的代價是更高的能量損耗。據(jù)估算,一張GPU比CPU的能耗高出10~15倍。在大模型訓練過程中,需要多張GPU接連不斷運轉。大模型參數(shù)量和數(shù)據(jù)量越大,訓練耗費的電量也越大。

以GPT-3的訓練為例,斯坦福人工智能研究所發(fā)布的《2023年人工智能指數(shù)報告》顯示,1750億參數(shù)的GPT-3在訓練階段的耗電量高達1287兆瓦時。哈工大人工智能研究院院長劉劼打了個比方,相當于開車從地球到月球往返一次。

在完成訓練后,AI在推理方面的耗電量又遠超過訓練耗費的電量。

每響應一個請求,大模型需要完成推理過程,找到最接近問題的解答。按照上述數(shù)據(jù)推算,GPT-3在訓練階段消耗的電量,甚至無法支撐ChatGPT運行3天。

在多模態(tài)大模型發(fā)展成為主流的情況下,在AI響應需求的推理過程中,耗電量還將進一步提升。據(jù)人工智能公司Hugging Face的研究,不僅多模態(tài)大模型耗電量遠超過一般模型,涉及圖像處理的模型也比純文本處理更耗電。

具體到不同任務,文本分類、標記和問答等簡單任務相對低耗,千次推理僅需0.002~0.007千瓦時。而在響應多模態(tài)任務時,一次文本到圖像生成耗能最高需要用到2.9千瓦時,相當于ChatGPT響應100次的耗電量。

巨頭的AI夢,把電力缺口撕得更大

從訓練15億參數(shù)的GPT-2到訓練1750億參數(shù)的GPT-3,Open AI從十億參數(shù)到千億參數(shù)的跨越,僅用了一年時間。

大模型狂飆之際,越來越多的大型科技公司開始把AI和公司主營業(yè)務的融合提上日程。

谷歌試圖在搜索中結合AI功能,但它的能耗十分驚人。去年2月,谷歌母公司Alphabet董事長John Hennessy表示,在搜索中應用人工智能的成本將是普通搜索的10倍。

前述斯坦福人工智能研究所發(fā)布的《2023年人工智能指數(shù)報告》認為,每次AI搜索的耗電量大約為8.9瓦時,對比谷歌單次搜索0.3瓦時的耗電量,加入AI的單次耗電量幾乎是一般搜索耗電量的30倍。

和Open AI合作密切的微軟,也計劃把AI大力“塞進”它的幾個主要產品線,如Office軟件、Windows操作系統(tǒng)、Bing搜索引擎、Azure云服務等。

為了提供更充足的算力,以支撐AI大模型的訓練和使用,作為底座的基礎設施——數(shù)據(jù)中心的建造已被科技企業(yè)們納入下一步規(guī)劃。

2023年,谷歌斥資超25億美元,分別在俄亥俄州、愛荷華州、亞利桑那州梅薩建造數(shù)據(jù)中心??春肁I發(fā)展的亞馬遜計劃在未來15年中投入1500億美元興建數(shù)據(jù)中心。

當膨脹的電量需求無法被一一滿足,美國部分城市的電力拉響了告急的警報。

美國擁有全球最多的數(shù)據(jù)中心。截至2022年,美國有超2300個數(shù)據(jù)中心,占全球數(shù)據(jù)中心的1/3。

其中,包括亞馬遜、微軟、谷歌等在內的云計算巨頭在美國本土的數(shù)據(jù)中心布局尤為龐大。據(jù)Synergy Research Group統(tǒng)計,在超大規(guī)模運營商當中,亞馬遜、微軟和谷歌合計占據(jù)所有主要數(shù)據(jù)中心的一半以上。微軟在美國擁有24個可用區(qū),一個可用區(qū)配備3個或以上數(shù)據(jù)中心。

據(jù)國際能源署(IEA)預測,未來幾年,美國數(shù)據(jù)中心用電量將快速增長。IEA警告,2022年,美國數(shù)據(jù)中心的用電量已占美國總電力的4%以上,到2026年,其用電量占比將提升至6%,此后幾年還將持續(xù)擴大。

但是,與快速增長的人工智能電力需求相悖的是,美國的發(fā)電量并沒有出現(xiàn)明顯增長的跡象。

據(jù)美國能源信息署,2023年,美國全口徑凈發(fā)電量為41781.71億千瓦時,比上一年下降1.2%。實際上,近十年來,美國的全年凈發(fā)電量一直在40000億千瓦時的邊緣徘徊。

1950-2023年美國凈發(fā)電量變化(單位:十億千瓦時)  圖源:Statista

造成美國缺電的元兇之一是其脆弱的電網(wǎng)輸送設施。美國的變壓器、輸電線路等電網(wǎng)基礎設施建于上世紀60年代至80年代,電路老化問題明顯。白宮在2022年的一份文件中指出,許多變壓器和輸電線路正接近或已超過其設計壽命,全國70%的輸電線路已經使用了25年以上。

在老化的電網(wǎng)基礎設施之下,美國從其他地區(qū)輸電和接入可清潔能源擴充電網(wǎng)儲備能量的想法均無法實現(xiàn)。美國能源部(DOE)發(fā)布的一份報告指出,在德克薩斯州、阿拉斯加州等多個地區(qū),美國建成的輸電系統(tǒng)已面臨滿負荷的情況。

為了加強美國各州電網(wǎng)的彈性和可靠性,去年,美國能源部宣布,將對44個州的58個項目投資34.6億美元。

電力危機已近在眼前。在不久的將來,它還可能成為制約AI發(fā)展的關鍵因素。

2024年2月,在達沃斯世界經濟論壇上,OpenAI首席執(zhí)行官薩姆·阿爾特曼提到了AI帶來的電力危機。在他看來,人工智能消耗的電力將遠遠超出人們的預期?!拔覀兩形闯浞终J識到AI的能源需求。如果沒有重大突破,我們就無法實現(xiàn)(通往AGI)這一目標。”

在博世互聯(lián)網(wǎng)論壇上,特斯拉CEO馬斯克同樣強調了人工智能面臨的發(fā)展困境。“接下來短缺的將是電力?!彼袛?,電力缺口最早可能會在2025年發(fā)生?!懊髂昴銜吹剑覀儧]有足夠的電力來運行所有的芯片?!?/p>

鉗制與出路

不堪重負的電網(wǎng)已經開始限制科技企業(yè)的業(yè)務拓展。

在社交媒體X上,開源社區(qū)OpenPipe創(chuàng)始人Kyle Corbitt分享了他和微軟工程師的對話,他們提到了Open AI在訓練GPT-6期間,GPU在不同州之間面臨的傳輸困境。

“我們不可能在一個州投放超過10萬個H100芯片,同時還不破壞電網(wǎng)?!币粡圚100的最大功耗為700瓦,根據(jù)微軟工程師的測算,以年利用率61%來算,10萬張H100的耗電量將高達42兆瓦時。

為了滿足飆升的電力需求,首先被犧牲的是減少碳排放的目標。

據(jù)《華盛頓郵報》,美國多地電力需求增長超出預期。以佐治亞州為例,預計未來十年的新增用電量將是最近的17倍。位于美國堪薩斯州、內布拉斯加州、威斯康星州和南卡羅來納州的燃煤電廠已經決定延遲退休時間。

面對吃電大戶挖礦機,不同國家推出了程度不同的監(jiān)管政策。據(jù)美國能源部估計,加密貨幣挖礦的年用電量或占美國用電量的0.6%至2.3%。為此,美國考慮對加密貨幣挖礦業(yè)務征收高達30%的數(shù)字資產采礦能源消費稅。加拿大已有三個省份宣布加密貨幣挖礦禁令。

AI也引起了監(jiān)管機構的關注。由于每家AI企業(yè)的能源損耗情況難以被統(tǒng)一量化估計。海外監(jiān)管機構開始推動立法,要求人工智能開發(fā)企業(yè)披露能源的使用情況,以合理估算AI帶來的能耗影響。

今年3月,歐盟27個成員國批準通過的《人工智能法案》中,要求“高風險人工智能系統(tǒng)”報告其能源消耗和資源使用情況。

科技企業(yè)的掌舵者幾年前就押注新型能源公司,期待用清潔的可再生能源支撐龐大的電力需求。

2021年,OpenAI首席執(zhí)行官阿爾特曼向核聚變初創(chuàng)公司Helion Energy投入3.75億美元。2023年5月,微軟與這家公司簽署購電協(xié)議,預定從2028年開始向其購買50兆瓦電力。壞消息是,它甚至不足以支撐GPT-3訓練耗費電量的1/25。

通過技術優(yōu)化性能,也能顯著降低能耗。

在今年的GTC發(fā)布會上,英偉達CEO黃仁勛帶來了一款新的GPU產品Blackwell。通過使用新的架構,它的能耗降低了70%以上:訓練一個1.8萬億參數(shù)的GPT模型,傳統(tǒng)方法可能需要8000個GPU、15兆瓦,歷時90天。而Blackwell只需2000個GPU,功耗4兆瓦。

相比馬斯克和阿爾特曼的警世之言,黃仁勛也同樣擔憂電能的供給,但他給出了一個更加樂觀的展望:“過去十年,我們將計算和人工智能提高了100萬倍……而它所消耗的成本、空間或能源,并未增長100萬倍?!?/p>

英偉達在2024GTC大會上發(fā)布的BlackWell  圖源:英偉達官網(wǎng)

寫在最后

一個多世紀之前,能源革命改變了人們的生活方式。從燃燒麥草的火力過渡到煤炭、石油,在歷史發(fā)展的關鍵時期,人們對新能源的挖掘推動了工業(yè)革命的進程。

“每一個煤筐里都裝著動力與文明?!泵绹枷爰摇⑽膶W家愛默生曾如是感慨。

一種能源的稀缺,往往成為挖掘新一種能源的動力。在《黑石頭的愛與恨:煤的故事》一書中,作者巴巴拉·弗里茲講述了發(fā)生在16世紀英國的“木材危機”。

“由于城市的不斷擴大,附近郡縣的森林漸漸被砍伐殆盡,人們不得不從越來越遠的地方運來木材.……單是倫敦的釀酒者,每年就要燒掉兩萬貨車的木頭。”當木頭價格的上漲超過通貨膨脹的速度,成為稀缺資源后,英國國內的用煤量劇增。

能源的開采和使用,成為決定工業(yè)發(fā)展的關鍵之手。充足的煤炭支撐英國發(fā)展紡織業(yè)、鋼鐵業(yè),成為第一次工業(yè)革命的中心,而石油的開采則帶動汽車、飛機等行業(yè)的興旺。

在化石能源枯竭的危機下,對新能源的利用,不僅能緩解迫近人工智能行業(yè)的能源危機,也承載著人類科技繼續(xù)前行的“動力與文明”。

本文為轉載內容,授權事宜請聯(lián)系原著作權人。