F1 · Edge AI & Agents
CPUs in AI: A Practical RAG
導讀
RAG 讓 LLM 能依據你自己的文件回答問題，但文件處理、檢索和生成，各該交給 CPU 還是 GPU？本文在 DGX Spark 上建立本地 RAG pipeline，由 Grace CPU 負責文件清理、chunking、embedding、FAISS 索引與檢索，再透過 llama.cpp 讓 Blackwell GPU 生成回答，把 CPU 與 GPU 的分工清楚對應到每個步驟。
驗證範圍
- 工作流使用特定 DGX Spark、embedding／generation models、FAISS 與 sample corpus，驗證從文件處理到 retrieved-context generation 的完整路徑；未提供通用 CPU／GPU performance comparison。
- 此 workload mapping 不必然適用所有 RAG systems；retrieval-quality evaluation、資料更新、access control、observability、concurrency、high availability 與 production serving 仍未涵蓋。