F2 · Edge AI & Agents
llama.cpp on DGX Spark
導讀
Arm CPU 上有 Neon 與 SVE／SVE2 兩類 SIMD 指令，但一個 workload 實際用上哪一種，要實際觀察才知道。本文在 DGX Spark 上分別編譯 CUDA 與 CPU-only 版 llama.cpp，用量化 GGUF 模型確認兩條 inference 路徑都能執行，並從 runtime 輸出與指令分析看到，指定 workload 在 Grace CPU 上主要用 Neon，沒有出現 SVE／SVE2 活動。
驗證範圍
- 定位為單一 DGX Spark 上的 llama.cpp backend reference workflow，驗證 CUDA 與 CPU-only builds 可執行指定量化模型，並觀察 CPU workload 的 SIMD instruction activity。
- 硬軟體依賴包括 Grace Blackwell GB10、相符的 NVIDIA software stack、llama.cpp 版本、CUDA／CPU build configuration、量化 GGUF model 與一致的 runtime parameters。
- 範圍聚焦於 backend execution 與指令活動觀察；Neon／SVE 結果只適用於指定 workload，不構成 CPU–GPU hybrid benchmark，亦未涵蓋其他 kernels、模型、功耗、thermal behavior 或 production serving。
原文出處: https://learn.arm.com/learning-paths/laptops-and-desktops/dgx_spark_llamacpp/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。