快訊

    輝達Blackwell 橫掃InferenceMAX 基準測試! 投資報酬率上看15倍

    2025-10-10 07:05 / 作者 陳俐妏
    美國人工智慧晶片設計龍頭輝達將推出新AI晶片。路透社示意照
    AI推論(inference)需求與其背後的經濟效益正急速成長!全新的獨立InferenceMAX v1是首個在真實場景中衡量總運算成本的基準測試。結果顯示,輝達 Blackwell 平台橫掃全場,為 AI 工廠實現無與倫比的效能與最佳整體效率。透過NVIDIA GB200 NVL72 投資 500 萬美元可創造 7,500 萬美元的 DSR1 詞元收益,提供 15 倍投資報酬率。

    InferenceMAX v1 是 SemiAnalysis 周一的全新基準測試,NVIDIA GB200 NVL72 AI 工廠經濟效益來看,投資 500 萬美元可創造 7,500 萬美元的 DSR1 詞元收益,提供 15 倍投資報酬率。NVIDIA B200 的軟體最佳化在 gpt-oss 上實現每百萬詞元兩美分,於兩個月內降低詞元成本5 倍。

    NVIDIA B200 在最新的 NVIDIA TensorRT-LLM 推疊上,每 GPU 可達每秒60,000 詞元,每使用者可達每秒 1,000 詞元。

    輝達與 OpenAI(gpt-oss 120B)、Meta(Llama 3 70B)及 DeepSeek AI(DeepSeek R1)在開源領域的合作,展示了社群驅動模型如何推進推理與效率的最先進成果。而與 FlashInfer、SGLang 和 vLLM 社群的深度合作,使得共同開發的增強核心與運行時,能大規模驅動這些模型。

    輝達超大規模與高效能運算副總裁 Ian Buck 表示,推論是 AI 每天創造價值的關鍵。這些結果證明,NVIDIA 的全端策略提供客戶在大規模部署 AI 時所需的效能與效率。


    陳俐妏 收藏文章

    本網站使用Cookie以便為您提供更優質的使用體驗,若您點擊下方“同意”或繼續瀏覽本網站,即表示您同意我們的Cookie政策,欲瞭解更多資訊請見