FreeToken の概要｜npaka

「FreeToken」の概要についてまとめました。 1. FreeToken「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE（Mixture-of-Experts）モデルを高速にローカル推論するためのAI推論エンジンです。 MoEは推論時に一部の「Expert」だけを使うため、FreeTokenはExpertをGPUへキャッシュしつつ、必要に応じてCPUとGP...

FreeToken の概要｜npaka

この記事のキーワード

同じキーワードの記事

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

GitHub - FlashML-org/FreeToken

MSI「XpertStation WS300」登場、NVIDIA GB300搭載でオンプレAIを強化

AMD製GPUのAI処理能力を向上させる「ROCm 10」がリリースされる＆AI開発用のスキルなどを整備した「ROCm.AI」も登場

ローカルLLM向けの NVIDIA GPU の選び方｜npaka

AIトレーニングでGPUが無駄に待機状態になってしまっている理由とAdobeが行った対処とは？

SpaceX、100万機のAI衛星「スターマインド」計画は実現するか?

AMDのAI開発キット「Ryzen AI Halo」レビューがさっそく登場、約64万円で128GBの超大容量ユニファイドメモリ＆Zen 5CPU＆Radeon 8060S GPUを搭載した強力ミニワークステーション

大金かけて作ったAIを無料公開できるワケ ローカルLLMブームを支えるベンダーと国家の思惑

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels | NVIDIA Technical Blog

【西川和久の不定期コラム】 家庭にあるPCのLLMリソースを束ねるNVIDIA「PAIR」、早速試してみた！

初めてのゲーミングノートPC、コレでいいのでは？ RTX 5050搭載のMSI「Cyborg 15 C13W」が20万円切りで販売中

AI に、即答させない ―― 反証を、装置にする｜小出幸典 | 株式会社カンリー CTO

NVIDIAが重たいAI処理を同一ネットワーク内のPCに割り振れる無料ツール「PAIR」を公開

余っているPCのリソースをAIに、NVIDIA「PAIR」がもたらす新しいAI環境

NVIDIA、Hugging Faceを129億ドル（約2兆円）で買収 買収額に絵文字🤗を仕込む

NVIDIAが「RTX Spark」搭載PCの2026年10月出荷開始を予告

NVIDIA、米新興ハギングフェイス買収で合意 AI開発基盤運営

オラに演算能力を分けてくれ！NVIDIA、家庭内のPCで分散推論する「PAIR」

NVIDIA、AIモデル共有サイト「Hugging Face」を約2兆円で買収へ

大金かけて作ったAIを無料公開できるワケローカルLLMブームを支えるベンダーと国家の思惑

【西川和久の不定期コラム】家庭にあるPCのLLMリソースを束ねるNVIDIA「PAIR」、早速試してみた！

NVIDIA、Hugging Faceを129億ドル（約2兆円）で買収買収額に絵文字🤗を仕込む