百度文心大模型4.5系列全面开源,引领AI领域框架与模型双层创新
百度于6月30日正式宣布,文心大模型4.5系列全面开源。此次开源涵盖了多款模型,包括具备47B和3B激活参数的混合专家(MoE)模型,以及拥有0.3B参数的稠密型模型等,总计达10款。这些模型的预训练权重与推理代码均已实现完全开放,为开发者提供了丰富的资源。极速飞艇pk10群
文心大模型4.5系列现已在飞桨星河社区、HuggingFace等平台上线,开发者可以方便地下载并部署这些模型。同时,百度智能云千帆大模型平台也提供了开源模型的API服务,进一步拓宽了模型的应用场景。
早在今年2月,百度便预告了文心大模型4.5系列的即将推出,并确定了6月30日的开源日期。此次开源的模型在多个关键维度上均处于行业领先地位,包括独立自研模型的数量占比、模型类型的多样性、参数的丰富程度,以及开源的宽松度和可靠性。
文心大模型4.5系列在MoE架构上进行了创新,提出了一种多模态异构模型结构。这种结构适用于从大语言模型向多模态模型的持续预训练,能够在保持或提升文本任务性能的同时,显著增强多模态理解能力。这一优越性能得益于多模态混合专家模型的预训练技术、高效的训练推理框架,以及针对模态的后训练技术。
页:
[1]