MoE

Mac・DGX SparkでLLM推論を最大3倍高速化する「TensorFold」の概要｜npaka

Mac・DGX SparkでLLM推論を最大3倍高速化する「TensorFold」の概要をまとめました。 1. TensorFoldとは1-1. TensorFoldとは「TensorFold」...

GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 12-24 GB NVIDIA GPU + 64 GB RAM: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

Run a 125-billion-parameter AI model on a normal gaming PC one NVIDIA card (12-24 GB) + 64 GB of ...

Mixture of Experts 基礎技術メモ

はじめに 最近のオープンウェイトLLMを見渡すと、DeepSeek-V4.1-Flash(552B)、Kimi K3(2.8T)、MiMo-V2.6(1T)など、トップクラスのモデルのほぼすべて...

8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」

GitHub - FlashML-org/FreeToken

| Download | Paper | Developer Slack | Community Discord | Community WeChat | Unlock datacenter-c...

FreeToken の概要｜npaka

「FreeToken」の概要についてまとめました。 1. FreeToken「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE（Mixture-of-Exper...

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

2026年8月22日時点のFreeToken 0.1.2を、RTX 5090 32GBとRAM 128GBのPCで試しました。 FreeTokenは、Mixture-of-Experts（MoE...

約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開 - LLM-jp

大規模言語モデル研究開発センター（LLMC）では、オープンかつ日本語に強い大規模言語モデルの開発を進めており、2026年4月には、Dense型の「LLM-jp-4 8B」モデルと、Mixture...