阿里云：英偉達GPU用量削減82%

隨著AI大模型技術的快速發展，云服務商在提供AI模型服務時面臨著嚴峻的資源效率挑戰。平臺需同時托管數千個AI模型以應對海量并發API調用，但用戶請求往往高度集中在少數熱門模型上，導致大量“長尾”模型獨占GPU資源，造成嚴重浪費。數據顯示，在阿里云模型市場中，曾有17.7%的GPU算力僅用于處理1.35%的請求，資源閑置現象觸目驚心。

近日，阿里云提出的創新計算池化解決方案「Aegaeon」成功入選全球頂級學術會議——操作系統原理研討會（SOSP）2025，成為業界關注的焦點。該方案通過突破性的GPU資源池化技術，有效解決了AI模型服務中普遍存在的GPU資源浪費問題，顯著提升了資源利用率，為AI產業的高效發展提供了新思路。

Beta測試成效顯著，GPU用量削減82%

該系統允許單個GPU動態服務于多個不同的AI模型，徹底打破了以往“一個模型綁定一個GPU”的低效模式。核心創新點在于Token級調度機制，能夠在每次生成下一個token后動態決定是否切換模型，實現精細化管理。同時，通過組件復用、顯存精細化管理和KV緩存同步優化等全棧技術，將模型切換開銷降低97%，確保了token級調度的實時性，可支持亞秒級的模型切換響應。

在阿里云模型市場為期超三個月的Beta測試中，「Aegaeon」系統展現了卓越的效能。測試數據顯示，服務數十個參數量高達720億的大模型時，所需的英偉達H20 GPU數量從1192個成功減少至213個，削減比例高達82%。

這意味著僅用213張卡就完成了原本需要1192張卡才能完成的工作，極大地提高了資源利用率，降低了硬件采購成本。對于動輒使用成千上萬張GPU的大型模型服務商而言，這一成果無疑具有里程碑式的意義。

入選SOSP 2025 

SOSP由ACM SIGOPS主辦，作為計算機操作系統領域的頂尖會議，被譽為該領域的“奧斯卡”，其錄取率控制極為嚴格，平均每年收錄的論文數量僅有數十篇。「Aegaeon」系統研究成果能夠成功入選，不僅代表了阿里云在操作系統和軟件領域的創新實力，更為全球AI產業提供了資源優化的全新思路。該方案的核心技術已應用于阿里云百煉平臺，為行業樹立了新的標桿。

這項由北京大學與阿里云合作的研究成果，被認為是“首個揭示并解決市場上并發大語言模型服務存在過高成本”的公開工作，為行業提供了全新的優化思路。

值得一提的是，阿里云首席技術官周靖人也是該論文的作者之一。周靖人是國際電氣與電子工程師協會會士（IEEE Fellow），國際計算機協會會士（ACM Fellow），阿里巴巴集團副總裁，阿里云智能 CTO、達摩院副院長。

周靖人指出，未來AI的發展將不僅依賴于硬件算力的單純增長，更需要通過系統級的軟件創新來深度挖掘現有硬件的潛力。「Aegaeon」系統的成功實踐，正是這一理念的有力印證。隨著AI技術的不斷演進，阿里云將持續加大在全棧AI體系上的投入，推動超級人工智能時代的到來。

責編：Luffy