NVIDIA DGX Spark：本地AI運算的新選擇與實戰挑戰
Table Of Contents
NVIDIA DGX Spark：本地AI運算的新選擇與實戰挑戰
自從 NVIDIA 推出了 NVIDIA DGX Spark，創辦人黃仁勳親自將新款 AI 超級電腦 DGX Spark 交付給 埃隆·馬斯克（Elon Musk），這台小巧的桌上型 AI 超級電腦提供 Petaflop 級算力，可以運行 200B 級的大規模模型，據說可用於馬斯克旗下的 SpaceX 開發。
除了 NVIDIA 的版本，各大廠商亦有推出各自產品。這部基於 NVIDIA GB10 Grace Blackwell 架構，整合 GPU、CPU、CUDA 等 NVIDIA AI 技術，而且是運行基於 Ubuntu 的 DGX OS，具備 128 GB 的 LPDDR5x 統一系統記憶體。
如果要更多算力，可以利用機背的 ConnectX-7 網絡接口，通過 NVIDIA 的 Mellanox 技術，合併兩部電腦的算力。
香港市場現況
據說 DGX Spark 在本港銷情不俗，聯想、戴爾、HP 都有推出不同版本。聯想 Lenovo ThinkStation DGX 接受預訂，不過代理商表示不少企業要求測試，結果 華碩 反而率先推出現貨 Ascent GX10 AI Workstation，售價還是港幣三萬以下，借出 QSFP cable 供連接兩部 Ascent GX10。在此向華碩的團隊致謝，給予技術和硬件上支援，我們可以率先測試 DGX 平台和安裝的問題。
使用情境與限制
我們的 DGX 會用於 LLM 微調，數據可在私有環境下加入 LLM。DGX Spark 是採用了 ARM 處理器，而不是 x86 平台，此點必須特別留意，因為造成不少兼容難題。
其次是 NVIDIA 為硬件設下限制，就是不可以更換硬盤，所有序號都必須與主機相符，否則保養作廢，此點已知會所有廠商。代理商表示 聯想 Lenovo ThinkStation DGX 安裝前要輸入用戶登記，所以不可能通過複製（Clone）硬盤作大規模部署。如果是利用 Ollama 部署，下載 LLM 的時間已花去一整天。華碩 的工程人員表示，香港只有紀律部隊（因為硬盤必須在維修時留在原地，不能送修）才獲豁免。
為何選擇 DGX Spark？
DGX Spark 為何在香港大受歡迎？這部電腦為 AI 而生，除了 AI 沒有別的用途，其實也不能應用大部分桌面應用。除了作模型訓練，就是運行 Ollama 或者 LM Studio，以 API 釋放算力。
為何要用 DGX Spark？不少私有數據很難通過 API 調用 LLM 處理，因為利用雲端 API，數據就會交換到 LLM 廠商或者雲服務，所有私有數據幾乎都不會用 API 的 LLM，但是本地算力非常有限，GPU 昂貴和佔地太多，DGX Spark 以三萬元上下價格，令不少人寄望甚殷。
ARM 架構的技術挑戰
不過 華碩 ASUS ASCENT GX10，或者說 DGX Spark 採用 ARM 架構的 CPU，因此安裝的時候也出現不少難題。
ASUS ASCENT GX10
現時 PyTorch 和 TensorFlow、CUDA 工具、Docker 首先是在 x86（Intel/AMD）架構上建立。ARM 版本往往是後來才加上，測試往往不夠充分，也缺少優化。NVIDIA 希望推動 ARM 架構是基於商業上考慮，但是 CUDA（PyTorch 與 GPU 溝通的軟件）針對 x86 和 ARM 有不同的版本。如果使用了錯誤的配置，PyTorch 就無法「看到」GPU，只能退回使用 CPU。
所以，最佳的配置不是跑 Native 的軟件，因為 ARM 版本可能不兼容，最可靠是利用 NVIDIA Container Toolkit 包裝好軟件，通過容器去對接 CUDA，最後我們還得更新 ONNX Runtime for ARM 中間件，PyTorch 軟件才能運行在 GPU 上。
不過，如果你的用途只是利用 Ollama 下載 LLM 並在本地作推理，好消息是幾乎不用擔心，因為安裝完成 Ollama 服務就在 11434 的埠位虛位以待，只要在應用的 env. 稍加設定就可以享受 2000 億參數 LLM 的樂趣。
實戰應用：數據擷取與處理
問題是我們希望利用本地作 Data Extraction，LLM 最大用途是可以從非結構數據，包括圖像和音效擷取數據，變成 JSON 甚至是 Vector。近年的 VL（Visual Language）LLM 突飛猛進，不少以往束之高閣的圖像數據，突然又可能具備商用價值。阿里雲 推出多個開源的 VL，最近其 VL embedding/reranking，更能將圖像直接變成 Vector，並直接對比，通過自然語言直接搜尋圖像，比傳統的 VL 只產生敘述文字更上層樓。
我們則是因為在 OCR 和 Parsing 上遇到了困難，希望從 LLM 求解。不少人知道要將圖案、PDF 和 Word 數碼化處理，其實極其麻煩，首先不少文字必須從段落和排版，才能知道前因後果，加上 OCR 處理圖案，不能理解與文字關係，直接變成文字的意義不大。
MinerU 的應用
不過，自從去年 上海人工智能實驗室 開源了 MinerU，不少人見到一道曙光。MinerU 利用了多種不同技術理解 PDF 排版，可以利用視覺模型 VLM 去理解文字不同內容，除了增強版的 OCR（理解 107 種語文），PDF 中的圖片 / 圖表生成自然語言描述，文字、圖像、版式（比如區分標題 / 正文 / 表格 / 圖片區域），理解關聯，圖片 / 表格中的信息轉化為結構化格式（JSON/CSV），而非單純的文字串，而且可以通過 YOLO（You Only Look Once）和 Ultralytics，先作圖像分割再進行內容提取。
YOLO 是主流開源目標檢測模型，Ultralytics 是 YOLO 開源框架（封裝了 YOLO 最新版本，支持 GPU，可用於 ARM 架構），結合 MinerU 先通過 YOLO 精準定位 PDF 中的關鍵區域，MinerU 的 VLM 再聚焦處理，提升精度和降低 GPU 在分析 PDF 負擔，轉成 Markdown 或 JSON 格式。
PDF 經 MinerU，圖文可以分離，然後再利用 VL 模型產生更細緻的描述，再利用 Embedding Model 產生 Vector，傳送進入 Vector store 作 RAG 查詢。
NVIDIA DGX Spark 早前正式開售, 已銷情不俗。
https://www.nvidia.com/en-us/products/workstations/dgx-spark/
https://www.youtube.com/watch?v=AamP-LbGHXQ
性能測試結果
結果是 華碩 ASUS ASCENT GX10 在以 MinerU 的表現非常優秀，以 150 頁 PDF 文檔只花了數小時擷取了 1280 張圖片和 JSON。不過，我們安裝了 qwen3-vl:32b 為圖片產生敘述文字，竟要花去 32 小時。
為了加快速度，我們將兩部 華碩 ASUS ASCENT GX10 通過華碩 Ascent GX10 QSFP Cable 堆疊聯結光纖線（CE-AGX10C）連接，仍然要十六小時才能完成，而且 GPU 使用率平均是 96%，溫度是攝氏 70 度左右。華碩 工程師說 華碩 GX10 的熱力從後方散出，機身是玻璃設計，以防止堆疊時熱力向上升，令上方過熱。
接著，我們的測試包括以兩部 華碩 ASUS ASCENT GX10 運行更大參數的 LLM，以及利用 Ollama 的 LLM 驅動內部 Dify 和 N8N 的 AI 應用。
雖然速度上，DGX 在推理速度不如預期，但是考慮到將大量非結構性數據變成數碼格式的巨大價值，以至內容數據不用經 API「交換出去」，DGX 在 AI 應用上還是有不少想像空間。
NVIDIA DGX Spark 在香港市場的應用: ASUS ASCENT GX10，採用 DGX Spark ARM 架構的 CPU，在本港銷情不俗。
ASUS ASCENT GX10 特價優惠開售, 如有興趣購買, 請聯絡:
電話: (852) 28511328 電郵: email: info@charmtop.com.hk
