NVIDIA Vera Rubin 開創代理式 AI 新紀元

NVIDIA Vera Rubin 開創代理式 AI 新紀元

Table Of Contents

人工智能發展,全球對於算力需求急增。從早期單一模型訓練,到如執行多任務的代理型 AI(Agentic AI),標誌 AI 技術進入了全新的階段。

NVIDIA (Ticker: NVDA, Exchange: NASDAQ)在GTC 2026 推出 NVIDIA Vera Rubin 平台,七款全新晶片,支援代理型 AI 時代。

Vera Rubin 平台整合NVIDIA Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 Ethernet switch,以及最新加入 Groq 3 LPU,彼此協同運作,從大規模預訓練到實時推理,涵蓋 AI 發展的各個階段。

NVIDIA (Ticker: NVDA, Exchange: NASDAQ) 創辦人兼執行長黃仁勳表示:「Vera Rubin 包括七款晶片、五種機架、一台巨大超級電腦——專為驅動 AI 的每一個階段而構建。隨著代理型 AI 發展到關鍵轉折點,Vera Rubin 將啟動歷史上最大規模的基礎設施建設。」

Anthropic 的執行長兼聯合創辦人 Dario Amodei 指出,企業利用 Claude 處理日益複雜的推理、代理式工作流程和關鍵任務決策,對基礎設施提出了極高要求。他認為 NVIDIA Vera Rubin 能夠滿足日益複雜的代理式 AI 工作需求。同樣,OpenAI 的執行長 Sam Altman 也強調,NVIDIA 基礎設施是推動 AI 邊界不斷向前發展的基石,透過 Vera Rubin,以更大規模運行更強大的模型和代理。

從晶片到 POD 級系統的演變

AI 基礎設施從過去的獨立晶片和獨立服務器,逐步發展到現在的完全整合機架級系統、POD 級部署(POD-scale deployment)、AI 工廠以及主權 AI(sovereign AI)。透過計算、網絡和存儲深度協同設計,全球有超過 80 家 NVIDIA MGX 生態系統合作夥伴,為NVIDIA Vera Rubin 提供 NVIDIA POD 級平台。

NVIDIA Vera Rubin NVL72 機架整合了 72 個 Rubin GPU 和 36 個 Vera CPU,透過 NVLink 6 連接,並配備 ConnectX-9 SuperNICs 和 BlueField-4 DPUs。NVLink 6 高速互連技術大幅提高數據傳輸速度;ConnectX-9 SuperNICs 提供高效網絡通信能力。與 NVIDIA Blackwell 平台相比,訓練大型混合專家(MoE)模型所需的 GPU 數量減少四分之三,每瓦特推理吞吐量上提高了高達 10 倍,同時將每個輸出單位的成本降至十分之一。

機架專為大型 AI 工廠設計,可與 NVIDIA Quantum-X800 和 Spectrum-X 網絡整合,提高 GPU 集群效率,縮短訓練時間並降低成本。

Vera CPU 機架:強化學習的堅實後盾

強化學習和代理式 AI 工作負載依賴大量基於 CPU 環境測試和驗證 GPU 系統上運行的模型所生成的結果。NVIDIA Vera CPU 機架提供了基於 NVIDIA MGX 的密集、液冷基礎設施,整合了 256 個 Vera CPU,透過與 Spectrum-X Ethernet 網絡整合,Vera CPU 機架確保 AI 工廠內的 CPU 環境緊密同步。與 GPU 計算機架配合,為大規模代理式 AI 和強化學習提供了 CPU 基礎,Vera 效率比傳統 CPU 高出兩倍,速度快 50%。

Groq 3 LPX 機架:加速推理的里程碑

2025年12月,NVIDIA收購Groq的LPU(語言處理單元)技術。Groq的架構將大量記憶體直接放在晶片上,消除了傳統GPU在依賴外部HBM或DRAM時面臨的頻寬瓶頸。Groq LPU整合數百兆位元的片上SRAM,利用為順序推理最佳化的確定性執行,以最大限度地利用資料重用。編譯器在編譯時安排所有計算和資料移動,消除了執行時頻寬爭用,實現極低延遲的生成Tokens,NVIDIA利用Groq 3 LPX 在加速Agent計算領域,針對代理式系統的低延遲和大上下文需求設計,LPX 和 Vera Rubin 結合了兩款處理器效能,為萬億參數模型提供高達每百萬瓦 35 倍的推理吞吐量提升。

大規模部署中,一組 LPU 功能就像一個巨大的單一處理器,用於快速、確定性的推理加速。配備 256 個 LPU 處理器的 LPX 機架擁有 128GB 的片上 SRAM 和 640 TB/s 的擴展帶寬。與 Vera Rubin NVL72 一起部署時,Rubin GPU 和 LPU 通過為每個輸出 Token 聯合計算 AI 模型的每一層來提升解碼速度。

該架構針對萬億參數模型和百萬 Token 上下文進行了優化,協同設計的 LPX 架構與 Vera Rubin 配對,最大化電源、內存和計算的效率。LPX 採用全液冷並構建在 MGX 基礎設施上,可無縫整合到下一代 Vera Rubin AI 工廠中,預計於今年下半年上市。

BlueField-4 STX:AI 原生存儲架構

NVIDIA BlueField-4 STX 機架級系統是一種 AI 原生存儲基礎設施,可在 POD 內無縫擴展 GPU 內存。由 BlueField-4(結合了 NVIDIA Vera CPU 和 NVIDIA ConnectX-9 SuperNIC)驅動,STX 提供了一個高帶寬共享層,經過優化,用於存儲和檢索大型語言模型和代理式 AI 工作流程生成的大量鍵值緩存數據。

NVIDIA DOCA Memo是新的 DOCA 框架,增強 BlueField-4 的存儲能力——針對 KV 緩存存儲處理,減少GPU耗用,推理吞吐量可提高 5 倍,提高通用存儲架構電源效率。 POD 範圍的上下文,能夠實現與 AI 代理更快多輪交互、具更高基礎設施利用率。

Mistral AI 的聯合創辦人兼首席技術官 Timothée Lacroix 表示:「NVIDIA BlueField-4 STX 機架級上下文內存存儲系統將實現指數級擴展代理式 AI 工作所需性能。通過專為 AI 代理內存構建的新存儲層,STX 確保我們的模型在跨海量數據集進行推理,保持連貫性和速度。」

Spectrum-6 SPX:高效網絡連接

Spectrum-6 SPX Ethernet 專為加速 AI 工廠內的東西向流量而設計。可配置 Spectrum-X Ethernet 或 NVIDIA Quantum-X800 InfiniBand 交換機,提供大規模的低延遲、高吞吐量機架間連接。Spectrum-X Ethernet Photonics 採用共封裝光學技術,與傳統的可插拔收發器相比,光學電源效率提高了高達 5 倍。

DSX 平台:提升韌性與能源效率

NVIDIA 與超過 200 家數據中心基礎設施合作夥伴共同推出了適用於 Vera Rubin 的 NVIDIA DSX 平台,包括 DSX Max-Q,NVIDIA 亦發布 Vera Rubin DSX AI 工廠參考設計,確保 AI 工廠能在連續、高強度的工作負載下可靠擴展,並實現最大正常運行時間。

合作夥伴將於今年下半年提供Vera Rubin 產品線,包括雲端服務提供商 Amazon Web Services (Ticker: AMZN, Exchange: NASDAQ)、Google CloudMicrosoft Azure (Ticker: MSFT, Exchange: NASDAQ) 和 Oracle Cloud Infrastructure (Ticker: ORCL, Exchange: NYSE),以及 NVIDIA 雲合作夥伴 CoreWeave、Crusoe、Lambda、Nebius、Nscale 和 Together AI。

全球系統製造商思科、戴爾科技、HPE、聯想和超微預計將推出基於 Vera Rubin 服務,以及 Aivres、華碩、鴻海、技嘉、英業達、和碩、廣達雲端技術(QCT)、緯創和緯穎。模型開發商,包括 Anthropic、Meta (Ticker: META, Exchange: NASDAQ)、Mistral AI 和 OpenAI,都計劃利用 NVIDIA Vera Rubin 平台訓練更大的模型,並以比前幾代 GPU 更低的延遲和成本提供長上下文、多模態系統。

欲了解更多關於 Veraubin, NemoClaw 和 OpenClaw 的信息,請訪問 NVIDIA 官方網站

成立方案及服務集團   Lenovo以服務作轉型動力

成立方案及服務集團 Lenovo以服務作轉型動力

Lenovo亞太區總裁黃建恒出掌新成立SSG,推動行業智能解決方案、附加增值服務、託管式服務,以及「即服務產品」。 企業轉型 較早前Lenovo(00992.HK)公布20/21 財政年度第三季純利 …

了解更多
港開發原位沉積技術 低生產成本製作晶片

港開發原位沉積技術 低生產成本製作晶片

研究團隊成員:(左起) 楊森教授、研究生洪兆輝、陳一帆、本科生盧穎琪、研究生Kim Kafenda、前中大研究助理教授夏慷蔚,夏慷蔚博士曾為中大物理系研究助理教授(現就職於德國斯圖加特大學物理系)。 …

了解更多
科技創新| 數碼轉型|   雲原生成企業應用主流   數據保護助應用現代化

科技創新| 數碼轉型| 雲原生成企業應用主流 數據保護助應用現代化

Pure Storage港澳區總經理楊玉珊:Kubernetes平臺保護數據愈來愈重要,Portworx也受到關注。 [科技創新] 雲原生(Cloud Native)加快開發速度,實現可靠應用擴展, …

了解更多