MoE - 総パラメーターとアクティブパラメーターを分ける
MoE（Mixture of Experts）は、LLM（Large Language Model、大規模言語モデル）の層の一部を「エキスパート（expert）」と呼ぶ小さなネットワークの束に分け、トークン（文を区切った単位で、LLM はこの単位で読み書きします）ごとにその一部だけを動かす作りです。どのエキスパートを動かすかは、ルーター（router。原論文では gating network）と呼ぶ小さな層がトークンごとに決めます。そのため、MoE のモデルには、全てのエキスパートを足した総パラメーター（学習で決まる重みの数値）の数と、1 トークンを処理する時に実際に動くパラメーター数（active parameters）の 2 つの数があります。 ...