8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」

自宅PCで巨大AIが高速動作？　ノートPCで350億、プロ向けGPU1枚で7530億パラメータのAIモデルを非公式量子化なしで動かす無償ツール「FreeToken」など生成AI技術5つを解説（生成AIウィークリー） | テクノエッジ TechnoEdge

はてなテクノロジー 08/29 19:05

FreeToken 高速動作

GitHub - FlashML-org/FreeToken

はてなテクノロジー 08/23 09:18

FreeToken MoE

FreeToken の概要｜npaka

はてなテクノロジー 08/23 06:39

FreeToken MoE

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

はてなテクノロジー 08/22 10:40

FreeToken MoE

【AWS】AWS Lambda Web Functionsから考えるAWS Lambdaとは何なのか - Qiita

はてなテクノロジー 10/15 15:27

実行環境

無償のオフィススイート「ibisOffice」が登場、お絵描きアプリ「ibisPaint」の姉妹ソフト／高速動作と再現性の高さがウリ、「Rust」＋「GPUI」で高速動作、7万ものテストで「MS Office」再現性を検証

はてなテクノロジー 10/14 00:44

高速動作

Windowsは「ハイブリッドAI」基盤へ RTX Spark搭載Surfaceも

Impress Watch 10/08 03:52

実行環境

Reflection、米国発のオープンウェイトモデル「Beam」

Impress Watch 10/06 02:47

MoE

Mac・DGX SparkでLLM推論を最大3倍高速化する「TensorFold」の概要｜npaka

はてなテクノロジー 10/02 04:24

MoE

GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 12-24 GB NVIDIA GPU + 64 GB RAM: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

はてなテクノロジー 09/27 13:57

MoE

画像生成・編集AI「Qwen-Image-2.1」が無料のオープンモデルとして登場したので使ってみた、日本語プロンプト対応＆透過PNG画像も生成可能

GIGAZINE 09/24 06:01

実行環境

Mixture of Experts 基礎技術メモ

はてなテクノロジー 09/23 07:32

MoE

無料でひとりでは無く複数人のチームで使うことができるAIエージェント「OneCLI」、オープンソースでセルフホスト可能

GIGAZINE 09/22 09:00

実行環境

AIエージェントが再発見したサーバーレス #serverlessjp | ドクセル

はてなテクノロジー 09/19 17:00

実行環境

AIエージェント「Hermes Agent」新機能「Local Models」でローカルAIモデル「Qwen3.8 27B」を直接動かしてみた、16GBのVRAMでも量子化で高速動作

GIGAZINE 09/16 14:00

高速動作

OpenAIのAIエージェント、休眠サイトを掲示板化してタスク回答を共有か 研究団体が報告書公開

はてなテクノロジー 09/05 04:25

実行環境

約332億パラメータのDense型LLM「LLM-jp-4 33B」モデルを公開 - LLM-jp

はてなテクノロジー 08/19 04:24

MoE

MSIが中国製DDR5メモリ向けのベータ版BIOSをリリースしDDR5-8200での動作が可能に、CXMTがMicron・Samsung・SK hynixに代わる選択肢となるか

GIGAZINE 07/07 03:19

高速動作

AWS Lambda MicroVMs登場。サーバレスの手軽さでステートフルかつ隔離された実行環境を提供

Publickey 06/24 15:40

実行環境