Hugging Face Blog·· 5 小时前AI 评分21
Hugging Face 提出 HOPE：用二阶剪枝保留 MoE 专家协作组
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI 导读
Hugging Face 提出 HOPE（Higher-Order Pruning of Experts），一种考虑专家两两交互的二阶 MoE 专家剪枝方法。在 50% 剪枝率下，HOPE 平均排名优于所有对比方法，在智能体编程任务上比次优方法最高提升 +6.1%。
来源：Hugging Face Blog · huggingface.co