周末在家闲着没事，编译了一下 Nexa.ai 提供的 Android 项目 demo ，在小米 15 上面跑了一下他们的 OmniNeural-4B ，这是个多模态的大模型，图片识别和声音识别都还可以，中文也能听懂。参数量小，回复速度挺快的，没有详细测试大模型的能力，用英文对话看起来还行，中文对话或者长对话能力明显很弱，有时候会重复前面的对话内容。对端侧大模型感兴趣的可以玩玩这个，大家可以讨论一下端侧大模型现在可以有什么应用场景。
根据他们官方文档，NPU 支持需要高通骁龙 8 Gen 4 以上。
我这边从 HyperOS 的多任务界面看加载大模型以后内存减少了 5G 左右。
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.