ARTICLE サブカル
SITE TOP ログイン

12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka

12GB VRAMで125Bモデルを動かす「Strata」の概要をまとめました。 1. はじめにローカルLLMでは、GPUのVRAM容量が大きな制約になります。特に100Bを超えるモデルは、量子化しても一般的なGPUのVRAMだけで動かすのは困難です。 そこで登場したのが、AI推論エンジン「Strata」です。 Strataは、GPUとCPUで計算を分担し、VRA...

はてなテクノロジー 2026年10月01日 22:53

この記事のキーワード

AI・人工知能 物理・素材 一般的 GPU 量子コンピュータ ローカルLLM AI推論 12GB Strata 量子化 125B AI推論エンジン 125Bモデル VRAM容量 100B VRA... VRA
グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

125Bの「Qwen3.8-Flash-Next」の量子化版をゲーミングPCで高速ローカル実行可能にするAI実行アプリ「Strata」

GIGAZINE 10/05 12:08
AI・人工知能 量子コンピュータ 物理・素材 125B 量子化 Strata

GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 12-24 GB NVIDIA GPU + 64 GB RAM: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

はてなテクノロジー 09/27 13:57
AI・人工知能 125B GPU Strata

AIエージェント「Hermes Agent」新機能「Local Models」でローカルAIモデル「Qwen3.8 27B」を直接動かしてみた、16GBのVRAMでも量子化で高速動作

GIGAZINE 09/16 14:00
AI・人工知能 量子コンピュータ 物理・素材 量子化

自宅PCで巨大AIが高速動作？　ノートPCで350億、プロ向けGPU1枚で7530億パラメータのAIモデルを非公式量子化なしで動かす無償ツール「FreeToken」など生成AI技術5つを解説（生成AIウィークリー） | テクノエッジ TechnoEdge

はてなテクノロジー 08/29 19:05
AI・人工知能 量子コンピュータ 物理・素材 量子化

UnslothがAIの性能をなるべく維持しつつ省メモリ化する次世代量子化手法「Unsloth Dynamic 3.0 GGUF」を開発

GIGAZINE 08/25 22:00
AI・人工知能 量子コンピュータ 物理・素材 量子化

FreeToken の概要｜npaka

はてなテクノロジー 08/23 06:39
AI・人工知能 AI推論エンジン AI推論 GPU

AIモデル「Ornith-1.5」が登場、Claude Opus 4.8級の大型モデルからスマホ動作可能な軽量モデルまで網羅したオープンモデル

GIGAZINE 08/20 01:57
AI・人工知能 量子コンピュータ 物理・素材 量子化

OpenAIが数学・コンピュータサイエンス・物理学における調和解析・計算複雑性理論・量子場理論に関する3つの新たな発見を発表、指数時間仮説は誤りである

GIGAZINE 10/27 07:42
AI・人工知能 量子コンピュータ 物理・素材

Google、量子コンピュータの“魔法状態”生成を実機で効率化 エラーを40分の1に

はてなテクノロジー 10/19 02:24
AI・人工知能 量子コンピュータ 物理・素材

GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」 (1/5)

はてなテクノロジー 10/18 23:36
AI・人工知能 Strata ローカルLLM

GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」

ASCII.jp 10/18 22:30
AI・人工知能 Strata ローカルLLM

Googleが「魔法状態の培養」を量子プロセッサ「Willow」で実証、量子ビットのエラーを約40分の1に減らすことに成功

GIGAZINE 10/16 11:50
AI・人工知能 量子コンピュータ 物理・素材

グーグル「Gemini 4 Argon」一般公開 量子計算、核融合研究にも活用

Impress Watch 10/14 03:23
AI・人工知能 量子コンピュータ 物理・素材

新スパコン「理究」が本格稼働へ。「ROQUO」で量子HPC連携も加速――理研が手掛ける計算基盤の最前線 CEATECのブース展示・講演で紹介～「AI for Science」の先にある「AI for Industry」も見えてくる

はてなテクノロジー 10/09 09:06
AI・人工知能 量子コンピュータ 物理・素材

AIでの人員削減は現実的ではないと希望で語る人がいる中、外注はゼロにして社内の人間を20人から4人にした経営者の経験談を語る「築き上げてきたものがAIで完全に崩壊」

はてなテクノロジー 10/04 08:48
AI・人工知能 量子コンピュータ 物理・素材

AIと量子時代の脅威に備える「FortiNDR Cloud／FortiNDR」

ASCII.jp 10/02 08:00
AI・人工知能 量子コンピュータ 物理・素材

怪異をすべて“物理”でぶっ飛ばすホラー映像作品『現地確認記録』が話題に。異常な主人公・佐藤が異変を調査

はてなテクノロジー 10/01 06:47
AI・人工知能 物理・素材 一般的

VRAM 32GBの「Intel Arc Pro B70」で「Hermes Agent」のローカルAIを実行、4ビット量子化したQwen3.8-27Bを動かしてみた

GIGAZINE 10/01 04:57
AI・人工知能 量子コンピュータ 物理・素材

なぜ金融機関は急ぐのか？｢フロンティアAI･量子･コーディングAI｣時代の"中期経営計画＆来期予算策定"4つの視点 | ビジネス | 東洋経済オンライン

東洋経済 09/27 21:00
AI・人工知能 量子コンピュータ 物理・素材

大金かけて作ったAIを無料公開できるワケ ローカルLLMブームを支えるベンダーと国家の思惑

はてなテクノロジー 09/10 03:30
AI・人工知能 ローカルLLM GPU
はてなテクノロジーで元記事を読む