ARTICLE サブカル
SITE TOP ログイン

FreeToken の概要｜npaka

「FreeToken」の概要についてまとめました。 1. FreeToken「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE（Mixture-of-Experts）モデルを高速にローカル推論するためのAI推論エンジンです。 MoEは推論時に一部の「Expert」だけを使うため、FreeTokenはExpertをGPUへキャッシュしつつ、必要に応じてCPUとGP...

はてなテクノロジー 2026年08月23日 06:39

この記事のキーワード

AI・人工知能 NVIDIA GPU サブカル全般 キャッシュ AI推論 MoE Expert Mixture FreeToken Mixture-of Mixture-of- ローカル推論 AI推論エンジン 、FreeToken 大型MoE 推論時 GP...
グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

はてなテクノロジー 08/22 10:40
サブカル全般 FreeToken Mixture-of- Mixture-of Mixture MoE GPU キャッシュ

GitHub - FlashML-org/FreeToken

はてなテクノロジー 08/23 09:18
サブカル全般 FreeToken MoE Mixture-of- Mixture-of Mixture

12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka

はてなテクノロジー 10/01 22:53
AI・人工知能 GPU AI推論エンジン AI推論

GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 12-24 GB NVIDIA GPU + 64 GB RAM: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

はてなテクノロジー 09/27 13:57
AI・人工知能 MoE NVIDIA GPU

Microsoftが第3世代AIチップ「Maia 300」を発表、最新の推論モデルやエージェントタスクの処理能力向上へ向けて2027年に導入予定

GIGAZINE 10/13 03:15
AI・人工知能 AI推論 NVIDIA

NVIDIA RTX Spark - 最大128GBメモリのWindows AI PCまとめ｜npaka

はてなテクノロジー 09/26 04:57
NVIDIA GPU AI・人工知能

Z.aiが中国製AIインフラで「GLM-5.3-Flash」の本番サービスを提供したノウハウを共有、AIエージェントでインフラを管理してNVIDIA GPUと同等まで効率化

GIGAZINE 09/18 04:29
AI・人工知能 NVIDIA GPU

MSI「XpertStation WS300」登場、NVIDIA GB300搭載でオンプレAIを強化

ASCII.jp 09/02 08:15
AI・人工知能 NVIDIA AI推論

AMD製GPUのAI処理能力を向上させる「ROCm 10」がリリースされる＆AI開発用のスキルなどを整備した「ROCm.AI」も登場

GIGAZINE 08/28 01:57
AI・人工知能 NVIDIA GPU

ローカルLLM向けの NVIDIA GPU の選び方｜npaka

はてなテクノロジー 08/27 04:42
AI・人工知能 NVIDIA GPU

AIトレーニングでGPUが無駄に待機状態になってしまっている理由とAdobeが行った対処とは？

GIGAZINE 08/26 12:00
AI・人工知能 GPU NVIDIA

SpaceX、100万機のAI衛星「スターマインド」計画は実現するか?

Impress Watch 08/21 00:00
AI・人工知能 NVIDIA GPU

AMDのAI開発キット「Ryzen AI Halo」レビューがさっそく登場、約64万円で128GBの超大容量ユニファイドメモリ＆Zen 5CPU＆Radeon 8060S GPUを搭載した強力ミニワークステーション

GIGAZINE 07/07 13:00
AI・人工知能 GPU NVIDIA

メモリ買い占める側が発言。アルトマンCEO「個人PCのメモリは使われてない、ひどい配分なのでクラウドに集約すべき」 - すまほん!!

はてなテクノロジー 10/31 09:02
AI・人工知能 ローカル推論

Appleが3カ月ぶりに時価総額首位 AI投資から一線、NVIDIAを逆転

日本経済新聞 10/30 23:41
AI・人工知能 NVIDIA

NVIDIA、40言語対応の無償文字起こしAI「Nemotron 3.5 Transcribe」

はてなテクノロジー 10/30 09:44
AI・人工知能 NVIDIA

アメリカ当局がNVIDIAのフアンCEOと親しいデータセンター企業幹部を中国のスパイだと断定

GIGAZINE 10/30 02:12
AI・人工知能 NVIDIA

NVIDIAフアンCEOと「親密」な取引先幹部は中国のスパイ工作員か--米紙報道

CNET Japan 10/29 23:09
AI・人工知能 NVIDIA

Windowsの高性能PCで動くローカルAIをブラウザからみんなで利用できる環境を「Ollama＋Open WebUI」で構築してみた

GIGAZINE 10/29 14:00
AI・人工知能 GPU

NVIDIA、文字起こしAIを公開 日本語など40言語、話者の区別や翻訳も

CNET Japan 10/29 09:15
AI・人工知能 NVIDIA
はてなテクノロジーで元記事を読む