関連ニュース
GPT-4o級モデルが自宅のPCで動いた！ ローカルAIの常識を変える「Strata」
ローカルLLMの推論エンジン「Strata」を実機で検証。GPU・RAM・SSDを活用して巨大モデルを動かし、検索や画像生成へ拡張できる一方、社内運用ではRAM容量と複数人利用時の待ち時間が課題...
ハードウェアに合わせて自動最適化してオープンモデルを最大2倍高速化するAIエージェント向け推論エンジン「Magnitude」、Appleシリコン・NVIDIA・AMD・CPUに対応
AIエージェントでオープンモデルをローカル実行する際に、使用中のハードウェアに合わせて処理を自動調整するオープンソースの推論エンジン「Magnitude」が公開されています。Magnitudeは...
【徹底解説】DeepSeek v4.1 Flashの内部構造【最適化したから解ること】｜shi3z
DeepSeek v4.1の推論エンジンの高速化をしていたら、どんどんDeepSeekアーキテクチャに詳しくなってしまった。オープンウェイトだからこそ解るDeepSeekの魅力、今回はこれまでの...
ローカルLLM向けの NVIDIA GPU の選び方｜npaka
ローカルLLM向けの NVIDIA GPU の選び方をまとめました。 1. はじめにローカルLLMを高速に動かしたい場合、最も有力な選択肢のひとつが「NVIDIA GPU」です。 NVIDIA ...
年収1億円プレイヤーが200ペタフロップスの推論エンジンになった話
39歳です。 先月まで外資系コンサルティング会社で働いていました。 年収は1億円です。 「1億円ほど」と書こうと思いましたが、源泉徴収票にきっちり100,000,000円と書いてあったので、ほど...
7440億パラメーターの巨大AI「GLM-5.2」をメモリ25GBの普通のPCで動かす推論エンジン「Colibrì」が登場
7440億パラメーターを備えた大規模言語モデル「GLM-5.2」をメモリ25GBの一般向けPCで動作させる推論エンジン「Colibrì」が公開されました。VRAMやRAMにモデル全体を読み込むの...
出典メディア
つながり
数字は「推論エンジン」と一緒に出てきた記事の本数。 グラフには強いものだけが出るので、ここが全部です。