F1 · Edge AI & Agents
ERNIE MoE on Armv9
導讀
MoE 模型每個 token 只動用一部分 expert，跑在 CPU 上時，除了看輸出，也值得看 routing 怎麼分配。本文在 Radxa Orion O6 的 Armv9 CPU 上用 llama.cpp 部署 ERNIE-4.5 MoE，檢查一般與 Thinking 模型的輸出和 token-level expert routing，並用 pp512、tg128 比較基準 build 與啟用 Armv9 指令特性的 build。性能差異只適用於指定設備、模型與測試參數。
驗證範圍
- 定位為單一 Radxa Orion O6 上的 ERNIE-4.5 MoE deployment and evaluation workflow，驗證模型輸出、expert routing 與指定 benchmark parameters 下的執行結果。
- 硬軟體依賴包括 Armv9 Linux、指定 llama.cpp 與 compiler configuration、ERNIE-4.5 model assets、足夠記憶體，以及相同的 build flags、context 與 benchmark parameters。
- 範圍聚焦於指定裝置、模型與 pp512／tg128 測試；頁面中的效能提升不適用於所有 Armv9 或 MoE workloads，亦未涵蓋模型品質、功耗、thermal behavior、長時間 serving 或 production deployment。
原文出處: https://learn.arm.com/learning-paths/cross-platform/ernie_moe_v9/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。