DeepSeek整頓AI圈，GPU增長焦慮如何解？

價格親民的DeepSeek-V3及R1分別在2024年12月和2025年1月上線，隨之而來，全球最大數(shù)據(jù)中心GPU供應(yīng)商英偉達的股價和市值應(yīng)聲下挫。根據(jù)Stock Analysis數(shù)據(jù)，以月為單位，英偉達市值在2024年12月和2025年1月分別下降2.86%和10.59%。當(dāng)?shù)貢r間1月27日，英偉達股價較上一個交易日（1月24日）下跌近17%，市值蒸發(fā)5920億美元。

盡管2月英偉達市值回調(diào)，其股市際遇仍值得警醒。2024年以來，資本市場對英偉達信心滿滿，上一次市值跌去雙位數(shù)，還是2023年9月。去年11月，英偉達一度取代蘋果成為全球市值第一的上市公司。這份信心，為何出現(xiàn)了動搖？

在OpenAI推出的ChatGPT卷起AIGC浪潮之初，大模型的參數(shù)規(guī)模與GPU的集群規(guī)模深度綁定。Omdia分析稱，微軟在2024年購買了48.5萬塊英偉達Hopper GPU，OpenAI o1大模型就是在微軟Azure的AI基礎(chǔ)設(shè)施訓(xùn)練。Meta在2022年構(gòu)建了16000塊英偉達A100組成的算力集群，以支持Llama和Llama2大模型的發(fā)展，又在2024年3月宣布建設(shè)兩個由24576塊英偉達H100 GPU組成的集群，以訓(xùn)練Llama3。

如此高昂的訓(xùn)練成本，對于大模型廠商的ROI（投資回報率）是一個巨大的考驗。有報道稱，OpenAI預(yù)計2024年營收37億美元，虧損50億美元。紅杉資本投資人曾估計，2023年人工智能行業(yè)在用于訓(xùn)練先進人工智能模型的英偉達芯片上花費了500億美元，但僅帶來30億美元的收入。因而，對于大模型開發(fā)商來說，除了拓展服務(wù)場景以提升盈利能力，如何降低大模型的訓(xùn)練和部署成本同樣關(guān)鍵。

這也是為什么DeepSeek-V3一經(jīng)推出，就備受市場青睞——它讓業(yè)界看到了大模型訓(xùn)練從“GPU堆料”走向“精耕細(xì)作”的可能性。

具體來看，6710億參數(shù)的DeepSeek-V3在配備2048塊英偉達H800 GPU的集群上訓(xùn)練，整個訓(xùn)練流程用時278.8萬個H800 GPU小時，總成本為557.6萬美元（按照每GPU小時2美元的租用價格計算）。在GPU用量、訓(xùn)練用時、算力成本上，較同等性能的閉源模型大幅縮減。

之所以能用如此少量的計算資源完成大規(guī)模參數(shù)量的訓(xùn)練，得益于DeepSeek團隊對算法、訓(xùn)練框架和硬件的優(yōu)化協(xié)同。

從架構(gòu)來看，DeepSeek-V3沿用了在DeepSeek-V2進行驗證的多頭潛在注意力（MLA）和DeepSeek MoE進行具有成本效益的訓(xùn)練。多頭潛在注意力機制通過將鍵值（KV）緩存壓縮為潛在向量，顯著降低了計算成本，加快了推理速度并提高了吞吐量。同時，專家混合（MoE）架構(gòu)通過稀疏計算實現(xiàn)高效推理。

在訓(xùn)練精度上，Deepseek-V3支持FP8計算和存儲，在加快訓(xùn)練速度的同時，減少了對GPU內(nèi)存的使用。

在訓(xùn)練框架上，Deepseek-V3團隊打造了HAI-LLM框架，并進行了細(xì)致的工程優(yōu)化。首先是設(shè)計了DualPipe（雙管道）算法以實現(xiàn)高效的管道并行，并實現(xiàn)了計算和通信重疊（而不是按照串行模式，完成計算再進行通信），從而解決了跨節(jié)點專家并行帶來的巨大通信開銷問題。其次是開發(fā)了跨節(jié)點全對全通信內(nèi)核，使InfiniBand（IB）和NVLink的通信充分重疊，僅需20個流式多處理器就能充分利用IB和NVLink的帶寬。其三是優(yōu)化了內(nèi)存占用，在不使用成本高昂的張量并行的情況下，也能夠訓(xùn)練DeepSeek-V3。

訓(xùn)練成本的壓縮，使DeepSeek能夠提供遠低于其對標(biāo)的閉源模型（DeepSeek-V3性能比肩GPT-4o, DeepSeek-R1性能對標(biāo)OpenAI o1）的API服務(wù)價格。

記者計算得知，DeepSeek-V3的每百萬輸入tokens價格約為GPT-4o的5.5%（緩存命中）/11%（緩存未命中），每百萬輸出tokens價格約為GPT-4o的11%。DeepSeek-R1的每百萬輸入tokens價格約為OpenAI o1的1.8%（緩存命中）/3.7%（緩存未命中），每百萬輸出tokens價格約為OpenAI o1的3.7%。

DeepSeek與對標(biāo)的OpenAI模型API價格對比

來源：中國電子報根據(jù)DeepSeek、OpenAI官網(wǎng)報價整理，以2月14日匯率為準(zhǔn)

GPU規(guī)格和用量降下來了，大模型價格也便宜了，這對于產(chǎn)業(yè)界來說是一個好消息，對于尖端GPU廠商來說，則帶有一些不確定性。

首先，云廠商和數(shù)據(jù)中心廠商在過去兩年“買爆”英偉達，很大程度上是為大模型的訓(xùn)練、部署和運行提供基礎(chǔ)設(shè)施，可一旦MoE、小模型等更具成本效益的模型流行開來，頭部買家能否持續(xù)現(xiàn)有的GPU采購量，要打一個問號。

其次，大模型訓(xùn)練使用的GPU向來由英偉達獨占鰲頭，但若算力投入不再高企，其他廠商也有了分一杯羹的機會。目前，龍芯中科、昆侖芯、燧原科技、華為昇騰、海光信息、天數(shù)智芯、奕斯偉等多家國產(chǎn)芯片企業(yè)宣布與DeepSeek適配。

再次，降低訓(xùn)練開銷的可能性，也讓廣大GPU買家開始將目光轉(zhuǎn)向其他架構(gòu)——尤其是自家研發(fā)的ASIC芯片，以增加硬件收入、增強云服務(wù)的整體性并提升客戶粘性。

以全球最大的云服務(wù)廠商亞馬遜AWS為例，2月12日，亞馬遜AWS宣布已于1月上線DeepSeek系列大模型，用戶可以使用亞馬遜云科技自研芯片Trainium和Inferentia通過Amazon EC2或者Amazon SageMaker部署DeepSeek-R1蒸餾模型，規(guī)模從15億參數(shù)的Qwen蒸餾模型到706億參數(shù)的Llama蒸餾模型不等。亞馬遜自研芯片的一個重要目標(biāo)就是降低訓(xùn)練成本，與基于GPU的同類實例相比，Trainium芯片支持的Amazon EC2Trn1實例，可節(jié)省50%的訓(xùn)練成本。

OpenAI也在近期再傳自研芯片的消息。據(jù)悉，OpenAI將在年內(nèi)完成首款自研芯片設(shè)計，計劃采用臺積電3nm工藝制造。

此外，LPU（語言處理器）受到市場關(guān)注，采用RISC-V指令集的AI SoC也實現(xiàn)了與DeepSeek的適配。

當(dāng)然，也有觀點認(rèn)為，DeepSeek對算力產(chǎn)業(yè)是長期利好。

比如，在英偉達市值蒸發(fā)5920億美元的那個交易日，微軟CEO薩提亞·納德拉（Satya Nadella）在社交媒體平臺表示：“杰文斯悖論再次應(yīng)驗！隨著人工智能變得更高效、更易用，我們會看到其使用量急劇飆升，它會變成一種我們怎么都用不夠的大眾資源。”

杰文斯悖論是一種經(jīng)濟學(xué)理論，主張當(dāng)技術(shù)進步提高了資源使用的效率，即減少資源使用的數(shù)量，但成本降低導(dǎo)致需求增加，令資源消耗的速度不減反增。

這套邏輯，當(dāng)然也適用于算力。既然DeepSeek等MoE模型降低了單個大模型訓(xùn)練所需的算力開銷，使大模型更具性價比，就會加速大模型的落地開花。如果各行各業(yè)部署大模型的積極性提升，從長遠來看，對算力的整體需求就有較為充足的上升空間，自然利好GPU等算力芯片的發(fā)展。

只是這杯羹，不一定再由英偉達的尖端GPU獨占，算力需求帶來的利潤洪流，也未必再被CUDA這道大壩截留。

在DeepSeek-V3的技術(shù)報告中，DeepSeek團隊向人工智能硬件供應(yīng)商提出了芯片設(shè)計建議，包括提高張量核心中FP8通用矩陣乘法的累加精度、支持分塊和塊級量化等。對于芯片企業(yè)來說，除了持續(xù)提升芯片性能，能夠與大模型開發(fā)團隊進行緊密協(xié)作、將工程化做好做精，會更有機會在“效率至上”的訓(xùn)練競賽中站到前排。