ローカルLLMのためのメモリ基礎知識｜npaka

ローカルLLMのためのメモリ基礎知識をまとめました。 1. CPU・GPU とメモリ1-1. CPU・GPU・RAM・VRAMの役割PCのスペックでは、 CPU / GPU / RAM / VRAM という4つの言葉がよく出てきます。まず押さえておきたいのは、これらは同じ種類の部品ではないということです。・CPU・GPU → 計算を行う装置・RAM・VRAM → 計算に...

ローカルLLMのためのメモリ基礎知識｜npaka

この記事のキーワード

同じキーワードの記事

GPUのメモリ（VRAM）を仮想ディスクにしちゃうトンデモアプリ「VRAMDISK」が登場／確かにメインメモリを「RAMディスク」にするのは一時期定番だったけど……【やじうまの杜】

GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」 (1/5)

GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」

RTX 5060を搭載したASUSの16型ゲーミングノートPC「TUF Gaming F16 FX608JMI」がAmazon プライム感謝祭先行セールにて24%オフで販売中

12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka

GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 12-24 GB NVIDIA GPU + 64 GB RAM: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

NVIDIA RTX Spark - 最大128GBメモリのWindows AI PCまとめ｜npaka

VRAM容量32GBで30万円未満なIntelグラボ「Intel Arc Pro B70 Creator 32GB」でローカルLLM「Qwen3.8 27B」や動画生成AI「MiniMax H3」を実行して生成速度を確かめてみた

既存の LLM が CPU なら、 Jev はその GPU 版みたいなやつ

大金かけて作ったAIを無料公開できるワケ ローカルLLMブームを支えるベンダーと国家の思惑

RTX 4070 TiからRadeon AI PRO R9700へ。32GB VRAMでローカルLLMベンチの値はどう変わったか？ - uepon日々の備忘録

ローカルLLM向けの NVIDIA GPU の選び方｜npaka

FCNTが新スマートフォン「arrows Alpha2」を発売 CPU性能を下げずに10万円前後の価格を実現

Apple introduces M6 and M5 Ultra for a big leap in performance and AI compute

RTX 5090でFreeTokenを試してみた。35Bでは不要、120B級MoEでは話が変わる

Apple のユニファイドメモリは何を実現したのか ── hUMA との比較による実態整理

GPUで動いてるLLMの中でCPUが動く?・・・何を言ってるかわからねえと思うが、とにかくQwenputerを追試して分かったこと、分からなかったこと｜shi3z

GPUファイナンス、バブルの行方

Windowsの高性能PCで動くローカルAIをブラウザからみんなで利用できる環境を「Ollama＋Open WebUI」で構築してみた

748BのDeepSeekがGPU 1枚でさらに速く！生成は最大約2倍

GPT-4o級モデルが自宅のPCで動いた！ローカルAIの常識を変える「Strata」 (1/5)

GPT-4o級モデルが自宅のPCで動いた！ローカルAIの常識を変える「Strata」

大金かけて作ったAIを無料公開できるワケローカルLLMブームを支えるベンダーと国家の思惑

FCNTが新スマートフォン「arrows Alpha2」を発売　CPU性能を下げずに10万円前後の価格を実現