阿里雲聲稱通過新的池化系統將減少 Nvidia GPU 使用率 82%
阿里巴巴集團推出了計算整合解決方案，據稱該解決方案使人工智能模型所需的 Nvidia 圖形處理單元 (GPU) 數量減少了 82%。該系統名為 Aegaeon，已在阿里雲模型市場上進行了三個多月的 beta 測試，減少了數十種模型所需的 Nvidia H20 GPU 數量（至 720 億個）。根據本週在韓國首爾舉行的第 31 屆操作系統原理研討會 (SOSP) 上發表的研究論文，參數從 1192 到 213。北京大學和阿里雲的研究人員寫道：“Aegaeon 是第一個揭示市場上並發 LLM 工作負載服務成本過高的作品。”阿里雲是這家位於杭州的公司的人工智能和雲服務部門。阿里巴巴擁有郵局。其首席技術官周敬仁是該論文的作者之一。阿里雲和字節跳動的火山引擎等雲服務提供商同時為數千個人工智能模型提供服務，這意味著許多應用程序編程接口調用是同時處理的。然而，一小部分模型，例如阿里巴巴的 Qwen 和 DeepSeek，是最受歡迎的推理模型，而大多數其他模型只是偶爾被調用。在。研究人員發現，這會導致資源效率低下，阿里雲市場中 17.7% 的 GPU 只能滿足 1.35% 的請求。世界各地的研究人員正在尋求通過結合 GPU 的強大功能來提高效率，例如允許單個 GPU 為多個模型提供動力。
已发布: 2025-10-18 04:00:00
来源: www.scmp.com
