1 DeepSeekMoE 架构如何处理输入并生成输出？

2 DeepSeekMoE 架构在前馈网络部分有哪些独特设计？

3 在 DeepSeekMoE 架构中，亲和度分数（affinity score）的公式是什么？

4 DeepSeekMoE 中 centroid vector 是什么？

5 Auxiliary-Loss-Free Load Balancing（无辅助损失负载均衡策略）如何平衡 MoE 模型专家负载？

6 如何在 MoE 模型训练中平衡专家负载？

7 与auxiliary-loss-controlled load balancing strategie（辅助损失控制的负载均衡策略）对比的优势是什么？

与辅助损失控制的负载均衡策略不同，无损失平衡策略不依赖辅助损失函数。传统策略靠引入辅助损失函数平衡专家负载，但会带来不良梯度，干扰模型语言建模目标，影响学习效果。无损失平衡策略则无此问题，训练过程更顺畅，让模型能专注主要任务，对训练更友好。

8 举个例子说明auxiliary-loss-controlled 和auxiliary-loss-free。

假设有一家工厂，有多个工人负责组装产品。
auxiliary-loss-controlled
管理者设定了辅助规则：若某个工人组装产品过多，会扣除其绩效分；过少则减少休息时间。根据这个规则，下一批原材料分配时，会倾向分给绩效分高或休息时间长的工人，以此平衡工作量。但这可能让工人为避免惩罚，忽视产品质量。
auxiliary-loss-free
管理者观察工人状态，若工人手头任务少，就优先分配原材料；若任务多，就减少分配。这种方式不设额外惩罚，只根据工人实时工作量动态分配，既保证工作量均衡，又让工人专注生产 。

9 Complementary Sequence-Wise Auxiliary Loss（互补序列级辅助损失）如何实现负载均衡？

引用

https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf
https://arxiv.org/pdf/2408.15664