MoE 模型

MoE模型（混合专家模型）是一种稀疏激活的神经网络架构，通过多个专家子网络协同工作，提升模型容量和效率。