专家组合（Mixture of Experts, MoE）的概念最早源于1991年的论文《Adaptive mixtures of local experts》，三十多年来得到了广泛的探索和发展。近年来，随着稀疏门控MoE的出现和发展，尤其是与基于Transformer的大型语言模型（LLM）相结合，这种技术焕发出了新的生机。MoE作为一种强大的机器学习技术，已经在多个领域展现出其提升模型性能和效率的能力。MoE可以根据算法设计、系统设计和应用进行分类。在算法设计方面，MoE的关键组件是门控函数，它负责协调专家计算的使用和组合专家的输出。门控函数可以是稀疏的、密集的或soft的，每种类型都有其特定的应用场景和优势。