ARTICLE サブカル
ログイン

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

2026年8月22日時点のFreeToken 0.1.2を、RTX 5090 32GBとRAM 128GBのPCで試しました。 FreeTokenは、Mixture-of-Experts（MoE）モデルのexpertをホストRAMへ置き、必要なexpertだけをGPUへキャッシュしながら推論するサービングエンジンです。狙いはvLLMやllama.cppを単純に高速化することではなく、VRAMに収まらない巨...

はてなテクノロジー 2026年08月22日 10:40

この記事のキーワード

RTX GPU サブカル全般 32GB 高速化 128GB RAM キャッシュ 日時点 FreeToken Mixture MoE Mixture-of- Mixture-of llama.cpp llama. 120B級MoE 120B級 ホストRAM サービングエンジン vLLM 巨...
グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

FreeToken の概要｜npaka

はてなテクノロジー 08/23 06:39
サブカル全般 FreeToken キャッシュ GPU Mixture MoE Mixture-of- Mixture-of

GitHub - FlashML-org/FreeToken

はてなテクノロジー 08/23 09:18
サブカル全般 FreeToken Mixture MoE Mixture-of- Mixture-of

【本日最終】Core i7-14700HX搭載の実力派！RTX 5060と32GBメモリのゲーミングノートが38%引きの208,800円／Lenovo LOQ 15IRX10がプライムデーでお得に！

ASCII.jp 07/12 15:10
RTX 32GB GPU

RTX 5060＆32GBメモリー搭載G TUNEが24万円台。国内生産・3年保証モデルが14％オフ

ASCII.jp 07/11 12:30
RTX 32GB GPU

20万円前後でここまで載る。RTX5060・メモリ32GB搭載Lenovoゲーミングノートが38％オフ

ASCII.jp 07/08 09:00
RTX 32GB GPU

大金使うならゲームも仕事も全部こなせる一台を買おう！ 32GBメモリ＆RTX 5070の万能ゲーミングノートをイチ推し

ASCII.jp 09/09 12:30
RTX 32GB

白いだけじゃない！ 配線までスッキリ美しいRTX 5070搭載ゲーミングPC、実は売れ筋2位

ASCII.jp 09/07 11:00
RTX 32GB

初めてのゲーミングノートPC、コレでいいのでは？ RTX 5050搭載のMSI「Cyborg 15 C13W」が20万円切りで販売中

ASCII.jp 09/07 10:00
RTX GPU

WQHDでガッツリ遊ぶならコレ！ Ryzen 7 7800X3D＋16GB GPU搭載の黒×金ゲーミングPC

ASCII.jp 09/04 11:00
32GB GPU

630台限定で850W GOLD電源に強化。RTX 5060＋32GB搭載PCが18万8100円

ASCII.jp 09/03 09:00
RTX 32GB

『The Blood of Dawnwalker』が証明した、Unreal Engine 5のポテンシャル

IGN Japan 09/03 04:49
RTX 32GB

WQHDゲームも見た目も妥協なし！ Ryzen 7 9700X＋RTX 5070、32GBメモリー搭載の白PC

ASCII.jp 09/02 11:00
RTX 32GB

写真・動画・ゲーム保存に！ SUNEAST「Daily Series」microSDカード発売

ASCII.jp 08/31 03:30
32GB 128GB

RTX 4070 TiからRadeon AI PRO R9700へ。32GB VRAMでローカルLLMベンチの値はどう変わったか？ - uepon日々の備忘録

はてなテクノロジー 08/30 10:53
RTX 32GB

Cloudflareが1.1.1.1のDNSキャッシュを数十バイト単位で削り込んで100TBのメモリを節約

GIGAZINE 08/28 07:00
高速化 キャッシュ

AMD製GPUのAI処理能力を向上させる「ROCm 10」がリリースされる＆AI開発用のスキルなどを整備した「ROCm.AI」も登場

GIGAZINE 08/28 01:57
高速化 GPU

ローカルLLM向けの NVIDIA GPU の選び方｜npaka

はてなテクノロジー 08/27 04:42
高速化 GPU

性能も見た目も妥協なし！ Ryzen 7 9700X＋RTX 5070搭載の“魅せる”ゲーミングPC

ASCII.jp 08/26 12:00
RTX GPU

GitHub - goccy/go-llama: llama.cpp in pure Go

はてなテクノロジー 08/25 11:27
llama.cpp llama.

「どうせグラボだけ……」じゃない！ バランス良くて手が届くミドルゲーミングノートPC発見

ASCII.jp 08/25 09:00
RTX 32GB
はてなテクノロジーで元記事を読む