Mixture of Experts 基礎技術メモ はじめに 最近のオープンウェイトLLMを見渡すと、DeepSeek-V4.1-Flash(552B)、Kimi K3(2.8T)、MiMo-V2.6(1T)など、トップクラスのモデルのほぼすべてがMixture of Experts（以下、MoE）を採用している。本記事ではMoEに関する基礎的な技術をメモしていく。 本記事の内容はStanfordの授業、論文、テクニカルレポートなど... はてなテクノロジー 2026年09月23日 07:32