8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」

自宅PCで巨大AIが高速動作？　ノートPCで350億、プロ向けGPU1枚で7530億パラメータのAIモデルを非公式量子化なしで動かす無償ツール「FreeToken」など生成AI技術5つを解説（生成AIウィークリー） | テクノエッジ TechnoEdge

はてなテクノロジー 08/29 19:05

FreeToken 高速動作

GitHub - FlashML-org/FreeToken

はてなテクノロジー 08/23 09:18

FreeToken MoE

FreeToken の概要｜npaka

はてなテクノロジー 08/23 06:39

FreeToken MoE

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

はてなテクノロジー 08/22 10:40

FreeToken MoE

OpenAIのAIエージェント、休眠サイトを掲示板化してタスク回答を共有か 研究団体が報告書公開

はてなテクノロジー 09/05 04:25

実行環境

約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開 - LLM-jp

はてなテクノロジー 08/19 04:24

MoE

MSIが中国製DDR5メモリ向けのベータ版BIOSをリリースしDDR5-8200での動作が可能に、CXMTがMicron・Samsung・SK hynixに代わる選択肢となるか

GIGAZINE 07/07 03:19

高速動作

AWS Lambda MicroVMs登場。サーバレスの手軽さでステートフルかつ隔離された実行環境を提供

Publickey 06/24 15:40

実行環境