F2 · Edge AI & Agents
Multimodal VLM with MNN on Armv9
導讀
沒有 GPU 或 NPU，邊緣設備能不能同時看懂影像、聽懂語音？本文在 Radxa Orion O6 的 Armv9 CPU 上原生編譯啟用 KleidiAI 的 MNN，載入預先封裝的 Qwen2.5-Omni-7B-MNN 模型，把貨架影像和語音補貨指令合成一次多模態 inference，產出包含貨架覆蓋率、補貨區域、數量、期限與替代政策的結構化 ticket。
驗證範圍
- 定位為單一 Radxa Orion O6 上的 CPU-only reference workflow，使用預先封裝的 Qwen2.5-Omni MNN 模型與本機素材，驗證多模態推論與結構化產出。
- 硬軟體依賴包括 Armv9 Linux、原生 MNN／KleidiAI build、約 15 GB 模型資產與至少 32 GB 可用儲存空間；實際輸出內容與品質仍受模型、prompt 及輸入素材影響。
- 範圍聚焦於 runtime 建置與 application-level 多模態驗證；未涵蓋模型 export、格式轉換、量化、GPU／NPU 異質調度、跨平台 benchmarking 或 production integration。
原文出處: https://learn.arm.com/learning-paths/cross-platform/multimodel_mnn_v9/
本頁為導讀與驗證範圍標註，非官方內容轉載。
本頁為導讀與驗證範圍標註，非官方內容轉載。