酷，阿里开源了基于其MNN-LLM框架的Android手机应用：MnnLlmApp，支持各类LLM在手机上离线运行

支持多种多模态任务，文本生成文本、图像生成文本、音频转文本以及文本生成图像

在安卓平台上，MNN-LLM的CPU性能优秀，预填充速度较llama.cpp提高了8.6倍，较fastllm提升了20.5倍，解码速度分别快了2.3倍、8.9倍

支持多种模型，Qwen、Gemma、Llama（涵盖TinyLlama与MobileLLM）、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM、Smolm等

完全在设备本地运行

github：https://github.com/alibaba/MNN/blob/master/project/android/apps/MnnLlmApp/README.md?continueFlag=ad5bd210db8f791ed885ee1acf935a0d

image.png

compare.gif