专家混合(Mixture of Experts,简称 MoE) 是一种在机器学习领域尤其是深度学习中较为常用的模型架构设计理念与技术。
基本原理
- 它由多个“专家”(通常是神经网络模块,比如多个小型的神经网络)组成,每个专家都专注于处理输入数据的某个特定方面或者某个局部模式。同时,还有一个“门控”(gating)机制,这个门控机制会根据输入数据的特征来决定让哪些专家参与对当前输入的处理以及每个专家参与处理的程度(也就是分配不同的权重)。
例如,想象有一个识别不同动物图像的任务,有几个专家分别擅长识别猫、狗、鸟等。当一张猫的图片输入进来时,门控机制经过判断后,会更多地让擅长识别猫的那个专...