MoE

腾讯开源 Hunyuan-A13B:小尺寸,大智慧的 AI 模型

Hunyuan-A13B 是一个由腾讯最新开源的大语言模型,它以创新的设计理念,在相对较小的活跃参数规模下,实现了强大的性能表现,特别适用于资源受限的环境。这款模型采用了细粒度 MoE(Mixture-of-Experts)架构,拥有130亿活跃参数,但总参数量高达800亿。这种设计让它在保持高效和可扩展性的同时,能够提供前沿的推理能力和通用应用支持。Hunyuan-A13B 的核心功能亮点包括: