ARTICLE サブカル
SITE TOP ログイン

Mixture of Experts 基礎技術メモ

はじめに 最近のオープンウェイトLLMを見渡すと、DeepSeek-V4.1-Flash(552B)、Kimi K3(2.8T)、MiMo-V2.6(1T)など、トップクラスのモデルのほぼすべてがMixture of Experts（以下、MoE）を採用している。本記事ではMoEに関する基礎的な技術をメモしていく。 本記事の内容はStanfordの授業、論文、テクニカルレポートなど...

はてなテクノロジー 2026年09月23日 07:32

この記事のキーワード

研究成果 DeepSeek トップクラス オープンウェイト Kimi DeepSeek-V4 DeepSeek-V MoE 1-Flash Mixture Experts Stanford 基礎的 オープンウェイトLLM 基礎技術 基礎技術メモ 1-Flash( B)、Kimi K3(2 K3( 8T)、MiMo 8T V2.6 1T テクニカルレポート
グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

コーディングベンチでGPT-6 Astraを超えつつ超安価な中国製AIモデル「DeepSeek-V4.1-Flash-1017」が登場

GIGAZINE 10/19 01:47
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

DeepSeek、「Claude Opus 5超え」うたう最新AIを無料提供

CNET Japan 10/19 01:10
DeepSeek DeepSeek-V4 DeepSeek-V 1-Flash

コード系でOpus 5超え「DeepSeek-V4.1-Flash-1017」無償公開

はてなテクノロジー 10/17 14:39
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

OrcaRouter、DeepSeekの新モデル「DeepSeek-V4.1-Flash」の提供を開始

ASCII.jp 09/11 09:00
DeepSeek DeepSeek-V4 DeepSeek-V 1-Flash

「DeepSeek-V4.1-Flash」が登場、複数テストでClaude Opus 5やGPT-5.6 Solを超える性能のオープンモデル

GIGAZINE 09/11 02:32
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

Opus 5に迫る「DeepSeek-V4.1-Flash」無償公開、DeepSeekショック再びか

はてなテクノロジー 09/10 12:17
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

「DeepSeek-V4.1-Flash」発表 値上げから一転「より低コストでフラッグシップ超え」うたう

はてなテクノロジー 09/10 08:23
DeepSeek-V4 DeepSeek-V DeepSeek 1-Flash

OrcaRouter、セキュリティ研究向けモデル「DeepSeek-V4-Flash-Vision-Uncensored」のGGUF量子化版を公開

ASCII.jp 09/03 09:40
DeepSeek-V4 DeepSeek-V DeepSeek

DeepSeekが画像認識に対応した「DeepSeek-V4-Flash-Vision-Exp」をオープンモデルとして公開、画像認識を含むタスクでClaude Opus 4.8と同等の性能

GIGAZINE 09/02 03:03
DeepSeek DeepSeek-V4 DeepSeek-V

Opus 4.8匹敵、画像対応「DeepSeek-V4-Flash-Vision-Exp」無償公開

はてなテクノロジー 09/01 20:51
DeepSeek-V4 DeepSeek-V DeepSeek

約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開 - LLM-jp

はてなテクノロジー 08/19 04:24
Mixture Experts MoE

DeepSeek V4 Flashはベンチマークスコアは高いが実際のタスクでは苦戦しているという指摘、オーケストレーションに課題

GIGAZINE 08/19 04:15
DeepSeek DeepSeek-V4 DeepSeek-V

Opus 5.5肉薄のコーディング性能、3Dも作る3兆級LLM「Kimi K3.1 Pro」。11月4日までにオープンウェイト化

はてなテクノロジー 10/24 00:26
Kimi オープンウェイト

UPDF AI、GPT系の最新モデルとDeepSeek V4.1 Flashへアップデート―論文読解・文献調査・資料整理を支援

ASCII.jp 10/22 08:30
研究成果 DeepSeek

中国当局、KimiやDeepSeekを調査 米AIに機密情報転送

日本経済新聞 09/23 01:55
Kimi DeepSeek

【徹底解説】DeepSeek v4.1 Flashの内部構造【最適化したから解ること】｜shi3z

はてなテクノロジー 09/18 14:45
DeepSeek オープンウェイト

AIは「違和感」を認知できない

はてなテクノロジー 09/17 23:24
DeepSeek オープンウェイト

中国AI「Kimi」、利用者の入力をClaudeに転送し、Claudeの回答を利用者に表示か--Anthropicが報告

CNET Japan 09/11 05:15
Kimi DeepSeek

米、中国の主要AI企業を非難 米モデルの技術を「組織的に盗用」

はてなテクノロジー 09/09 09:10
Kimi DeepSeek

GitHub - FlashML-org/FreeToken

はてなテクノロジー 08/23 09:18
MoE Mixture
はてなテクノロジーで元記事を読む