F1 · Edge AI & Agents
Beyond the Demo: Evaluating AI Workloads on Armv9
導讀
模型 demo 跑得起來，不代表就適合部署到 edge 設備上。memory 需求、runtime 行為和實際輸出，都會影響判斷。本文在 Radxa Orion O6 的 Armv9 平台上部署 ERNIE MoE 與 MNN multimodal 開放權重模型，分別觀察 MoE 的 routing，以及文字、圖片、音訊的 inference，幫助開發者判斷 Armv9 部署是否合適。結果只描述這兩個 workload，不是通用 benchmark。
驗證範圍
- 分析限於 Radxa Orion O6、指定 ERNIE MoE 與 MNN multimodal models，以及文章採用的 runtime／build configuration；觀察結果描述這兩個 workloads 的部署行為。
- 內容不構成通用 Neon／SVE2 benchmark、跨硬體 performance comparison 或所有 open-source models 的相容性結論，也未涵蓋 production serving、長時間 reliability 與完整 application integration。