ARTICLE サブカル
SITE TOP ログイン

Mixture of Experts 基礎技術メモ

はじめに 最近のオープンウェイトLLMを見渡すと、DeepSeek-V4.1-Flash(552B)、Kimi K3(2.8T)、MiMo-V2.6(1T)など、トップクラスのモデルのほぼすべてがMixture of Experts（以下、MoE）を採用している。本記事ではMoEに関する基礎的な技術をメモしていく。 本記事の内容はStanfordの授業、論文、テクニカルレポートなど...

はてなテクノロジー 2026年09月23日 07:32

この記事のキーワード

研究成果 DeepSeek DeepSeek-V4 DeepSeek-V トップクラス オープンウェイト Mixture MoE Kimi 1-Flash Experts 基礎的 オープンウェイトLLM Stanford 基礎技術 基礎技術メモ 1-Flash( B)、Kimi K3(2 K3( 8T)、MiMo 8T V2.6 1T テクニカルレポート
グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

OrcaRouter、DeepSeekの新モデル「DeepSeek-V4.1-Flash」の提供を開始

ASCII.jp 09/11 09:00
DeepSeek DeepSeek-V4 DeepSeek-V 1-Flash

「DeepSeek-V4.1-Flash」が登場、複数テストでClaude Opus 5やGPT-5.6 Solを超える性能のオープンモデル

GIGAZINE 09/11 02:32
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

Opus 5に迫る「DeepSeek-V4.1-Flash」無償公開、DeepSeekショック再びか

はてなテクノロジー 09/10 12:17
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

「DeepSeek-V4.1-Flash」発表 値上げから一転「より低コストでフラッグシップ超え」うたう

はてなテクノロジー 09/10 08:23
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

OrcaRouter、セキュリティ研究向けモデル「DeepSeek-V4-Flash-Vision-Uncensored」のGGUF量子化版を公開

ASCII.jp 09/03 09:40
DeepSeek-V4 DeepSeek-V DeepSeek

DeepSeekが画像認識に対応した「DeepSeek-V4-Flash-Vision-Exp」をオープンモデルとして公開、画像認識を含むタスクでClaude Opus 4.8と同等の性能

GIGAZINE 09/02 03:03
DeepSeek DeepSeek-V4 DeepSeek-V

Opus 4.8匹敵、画像対応「DeepSeek-V4-Flash-Vision-Exp」無償公開

はてなテクノロジー 09/01 20:51
DeepSeek-V4 DeepSeek-V DeepSeek

約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開 - LLM-jp

はてなテクノロジー 08/19 04:24
Mixture Experts MoE

DeepSeek V4 Flashはベンチマークスコアは高いが実際のタスクでは苦戦しているという指摘、オーケストレーションに課題

GIGAZINE 08/19 04:15
DeepSeek DeepSeek-V4 DeepSeek-V

中国当局、KimiやDeepSeekを調査 米AIに機密情報転送

日本経済新聞 09/23 01:55
Kimi DeepSeek

【徹底解説】DeepSeek v4.1 Flashの内部構造【最適化したから解ること】｜shi3z

はてなテクノロジー 09/18 14:45
DeepSeek オープンウェイト

AIは「違和感」を認知できない

はてなテクノロジー 09/17 23:24
DeepSeek オープンウェイト

中国AI「Kimi」、利用者の入力をClaudeに転送し、Claudeの回答を利用者に表示か--Anthropicが報告

CNET Japan 09/11 05:15
Kimi DeepSeek

米、中国の主要AI企業を非難 米モデルの技術を「組織的に盗用」

はてなテクノロジー 09/09 09:10
Kimi DeepSeek

GitHub - FlashML-org/FreeToken

はてなテクノロジー 08/23 09:18
MoE Mixture

FreeToken の概要｜npaka

はてなテクノロジー 08/23 06:39
Mixture MoE

Qwen3.8-27B におすすめのハーネス｜npaka

はてなテクノロジー 08/22 16:49
オープンウェイトLLM オープンウェイト

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

はてなテクノロジー 08/22 10:40
Mixture MoE

テンセント、新AIモデル「Hy3」をオープンソース公開

Mogura VR 07/08 09:00
Mixture Experts

テンセントがAIモデル「Hy3」をオープンモデルとして公開、295BでGLM-5.2やDeepSeek-V4に匹敵＆科学タスクではGPT-5.5を上回る

GIGAZINE 07/07 01:51
DeepSeek-V4 DeepSeek-V
はてなテクノロジーで元記事を読む