百度开源文心5.5 Flash Base基座模型
热点事件持续更新
百度开源文心5.5 Flash Base基座模型
3 篇报道2 个报道来源2 小时前更新
先了解这件事
AI 综述
百度于11月5日开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),并开放Hugging Face入口。该模型采用稀疏MoE架构,总参数2800亿,每个Token激活140亿参数,预训练使用33.5万亿个Token。 百度称,该模型支持最高100万Token上下文用于微调与推理,提供FP8和BF16两种权重,权重直接来自预训练、未经中期或后训练;在同等规模基座模型的多个基准测试中达到SOTA。这些能力与效果目前均出自百度及量子位的说法。
AI 根据报道生成 · 2 分钟前更新
最新进展11月5日 16:55
百度发布 ERNIE 5.5 Flash Base 并开放 Hugging Face 入口报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- X · 百度精选百度发布 ERNIE 5.5 Flash Base 并开放 Hugging Face 入口
百度发布 ERNIE 5.5 Flash Base,并给出 ERNIE 博客与 Hugging Face 两个查看入口。原文仅提供链接,未披露模型参数、能力或开源协议等细节。
- X · 百度百度发布 ERNIE 5.5 Flash Base:280B 参数稀疏 MoE 基座模型
百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,预训练使用 33.5T tokens。该模型支持最高 1M-token 上下文用于微调与推理,提供 FP8 和 BF16 权重,在同等规模基座模型中多项 benchmark 达到 SOTA。权重直接来自预训练,未经中期或后训练。
- 量子位百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型SOTA
百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。