「本地跑模型」这两年从极客玩具变成了可选项：手机上、笔记本上都能跑 3B-14B 量级的模型。

端侧 AI 的好处

• 隐私：数据不出设备，适合处理合同、病历、内部文档。
• 成本：不按 token 付费，离线也能用。
• 延迟：没有网络往返，简单任务响应更快。

现实限制

• 小模型的知识面和推理深度有限，复杂任务还是得靠云端大模型。
• 显存/内存吃紧：14B 量化模型通常要 8-16G 显存才跑得舒服。
• 手机端续航与发热明显，适合短任务。

怎么上手

桌面端推荐 Ollama、LM Studio，一条命令拉模型即可；想要完善界面可以配 Open WebUI。手机上可以试各家自带的端侧助手，先用「翻译、摘要、改写」这类小任务体验。

本文为编辑整理，硬件需求请以实际测试为准。