百度文心大模型4.5系列全面开源，引领AI领域框架与模型双层创新
百度于6月30日正式宣布，文心大模型4.5系列全面开源。此次开源涵盖了多款模型，包括具备47B和3B激活参数的混合专家（MoE）模型，以及拥有0.3B参数的稠密型模型等，总计达10款。这些模型的预训练权重与推理代码均已实现完全开放，为开发者提供了丰富的资源。极速飞艇pk10群
文心大模型4.5系列现已在飞桨星河社区、HuggingFace等平台上线，开发者可以方便地下载并部署这些模型。同时，百度智能云千帆大模型平台也提供了开源模型的API服务，进一步拓宽了模型的应用场景。
早在今年2月，百度便预告了文心大模型4.5系列的即将推出，并确定了6月30日的开源日期。此次开源的模型在多个关键维度上均处于行业领先地位，包括独立自研模型的数量占比、模型类型的多样性、参数的丰富程度，以及开源的宽松度和可靠性。
文心大模型4.5系列在MoE架构上进行了创新，提出了一种多模态异构模型结构。这种结构适用于从大语言模型向多模态模型的持续预训练，能够在保持或提升文本任务性能的同时，显著增强多模态理解能力。这一优越性能得益于多模态混合专家模型的预训练技术、高效的训练推理框架，以及针对模态的后训练技术。
页:
[1]