新科技速遞|   AI走向消費市場   留強汰弱技術更替

新科技速遞| AI走向消費市場 留強汰弱技術更替

Table Of Contents

黃仁勳 黃仁勳公佈GPU新產品,入門版RTX 5070售價549美元,性能與上一代頂級RTX 4090看齊。美國限制向香港出售RTX 4090,價格早已飆漲,RTX 5070是否供港仍是未知之數。

[新科技速遞]

2025 年國際消費電子展(CES 2025)上,輝達(Nvidia)行政總裁黃仁勳發佈多款產品,美國AI投資氣氛冷卻之際,Nvidia重新部署到消費市場。

AI 在雲端發展,AI大模型部署應用,現時多通過雲端以連接 API進行。不過,AI要普及化,在終端設備加入AI,似乎是必經之途,蘋果推出Apple Intelligence,結果毁譽參半。AI PC 銷量差強人意,躑躅不前。

以往,PC上須備置NPU或者GPU,才能跑大模型,還要降低精度,以減少記憶體和運算消耗,市場上不少開源平台,包括Ollama、LM Studio、Open WebUI,可在PC或Mac上,運行參數較少模型。

一般而言,較小模型的能力有限。AI從雲端開始發展,部署及應用AI模型,不少是連接雲端的API,很多AI PC潛在用戶;類似是設計師、軟件工程、創意人員,PC的 AI基本上不能應付專業工作,暫不會改用AI PC,一般用戶又嫌售價太貴,結果兩邊不討好。

Nvidia的GPU和CUDA生態,幾乎壟斷大模型訓練和遊戲卡,黃仁勳公佈RTX 50 系列GPU最為矚目,融入AI和神經渲染技術,最低階RTX 5070售價549美元,性能上與上一代取價1599 美元的頂級RTX 4090看齊。

據研究機構Jon Peddie調查,去年第三季Nvidia佔GPU市場近九成,長期供不應求。

超級電腦投石問路

黃仁勳公佈超級AI電腦Project Digits,搭載 GB10 Grace Blackwell 超級晶片,包括 Grace CPU 和Blackwell GPU,最高提供1 PFLOPS 的 AI運算性能,支援2000億參數的模型,預計5月上市,售價3000美元。

可是,美國GPU設計專家Raja Koduri和研發AI服務器的Tiny Corp批評,Project Digits誇大了性能,所謂1 PFLOPS算力,精度只有FP4,性能還不如RTX 5070。

Project Digits的128GB記憶體計算,如果大模型精度FP16,每個參數2 Byte,只能運行640億參數模型。大模型精度降低,可減少記憶體和計算需求,以FP4訓練模型可能因精度損失影響性能。不過精度降至FP4的模型在推理上,損失其實並不嚴重,Project Digits不能應付嚴肅的科學工作,以GB10 Grace Blackwell 超級晶片執行一般的AI推理,肯定綽綽有餘,日常用量大用戶,相信會轉用Project Digits。

Project Digits 也是消費級AI PC的試金石,Grace CPU的Arm處理器與台灣MediaTek(聯發科)合作。黃仁勳指,聯發科可在「其他方面」採用Grace Blackwell,雙方會有其他計畫。

他提出,Arm 處理器的Windows電腦,可透過 Windows Linux subsystem(WSL2)可連接Nvidia在 Linux 環境的 AI 開發工具和模型。言下之意,MediaTek肯定進軍AI PC,只是時間的問題,Project Digits是進軍 PC賽前熱身。Nvidia會透過MediaTek合作,拓展Blackwell到AI PC市場。

Project Digits Project Digits定位為超級AI電腦,體積仿如Mac Mini,可連接兩部跑4000億參數模型,目標市場可能在AI推理,更似是進軍消費市場的試金石。

一石二鳥立於不敗

現時Arm 架構的PC廠家,幾乎只有高通的Snapdragon X系列,智能手機早就利用AI技術,MediaTek在流動晶片與高通平分春色,雙方AI各擅勝場,MediaTek加入PC市場,加快Arm 架構AI PC普及。

Project Digits另一賣點,預載Nvidia連接DGX生態各項軟件,包括 NeMo 框架、RAPIDS 庫加速數據科學應用,PyTorch、Python 和 Jupyter Notebooks各項工具一應俱全,部署開發生態,伸展了DGX生態,推動Nvidia完整生態,包括硬件、軟件、開發者工具,為Nvidia基於Arm 架構拓展PC市場鋪路。

Project Digits以基於Linux的 Nvidia DGX 作業系統,本地DGX OS環境下模型原型設計、微調和測試後,直接部署到DGX Cloud 雲平台,反之亦然,確保了AI項目在不同環境都可運行,無需修改模型的底層。

DGX生態統一江山

Project Digits支援DGX生態,目標就是與其他產品線協同。例如Project Digits開發微調項目進一步測試處理,實現跨終端AI應用和開發,例如推動智能機器人和自動駕駛。Nvidia的AI晶片雄霸遊戲和AI訓練,嵌入式AI包括機器人和自動駕駛市場,亦脫穎而出。2014年,Nvidia推出嵌入式AI模組Jetson系列,打入了機器人和邊緣AI推理市場,有不少工業應用場景。

CES上,黃仁勳推出新一代汽車智駕晶片Thor,單顆算力達2000TOPS,針對L4/L5級自動駕駛車載娛樂及智能座艙等,宣佈與豐田合作發展自動駕駛。

2024年,Nvidia上一代Drive Orin汽車晶片站穩高端自動駕駛市場;去年下半年Orin佔國內新能源乘用車智駕網域控制更近半。DGX雲端訓練高精度目標檢測和路徑規劃模型,Project Digits可直接支援Jetson和Thor系列的AI開發生態。

Nvidia進軍AI PC,可能改寫多個市場;從專業工作站至個人電腦,傳統廠商岌岌可危,只能自求多福了。

Mastercard 推出新一代車隊解決方案 助力亞太區車隊智能化管理

Mastercard 推出新一代車隊解決方案 助力亞太區車隊智能化管理

隨著亞太區車隊管理市場預計未來五年年均增長 18%,企業對智能化管理的需求持續上升。然而,傳統支付系統在整合燃油、維修及電動車充電等多方面支出時,通常難以有效處理複雜的車隊生態系 …

了解更多
HKSTP| 智慧城市|再工業化地標啟用   先進製造業中心落成

HKSTP| 智慧城市|再工業化地標啟用 先進製造業中心落成

德鐵信可提供的全球化智慧物流一站式服務,可處理不同貨物類型收發,共享存倉空間有恆濕及恆溫設計。 [眾創年代] 2014 年,政府聯同管理香港三個工業邨的香港科技園公司,共同檢討工業邨發展,決定主動興 …

了解更多
視像會議室   定向收音豐儉由人

視像會議室 定向收音豐儉由人

[caption id=“attachment_15005” align=“aligncenter” width=“300”] …

了解更多