跳到正文
公众号 · 智东西·· 4 小时前精选AI 评分60

面壁智能姚远:MiniCPM-V 4.7 35B-A3B手机生成速度提升至30 Token/s以上

面壁智能姚远:两年GPT-6级AI跑在手机上,现在点外卖订机票有点无聊

AI 导读

面壁智能联席首席科学家姚远在11月5日的端侧多模态大模型技术交流活动上透露,团队通过最新一轮推理优化,已将MiniCPM-V 4.7 35B-A3B在手机上的生成速度提升至30 Token/s以上,内存占用约3GB,模型精度损失几乎可以忽略。

打开原文mp.weixin.qq.com
选题角度

面壁智能披露MiniCPM-V 4.7 35B-A3B在手机上从3 Token/s优化到30 Token/s以上的完整路径,适合梳理端侧大模型跑进手机的关键技术。

来源:公众号 · 智东西 · mp.weixin.qq.com