AI推論

DeepSeekがAI推論システム「DeepInfer」を公開、DeepSeekの本番サービスで実際に使われているシステムのオープンソース版

中国企業のDeepSeekがAIを大規模サービス展開するための推論システム「DeepInfer」をオープンソース化しました。続きを読む...

Microsoft、AI推論は自社チップが主力に 「Maia 300」をギガワット級展開

Microsoftは12日、AIインフラの主力推論システムとなる自社製AIプロセッサー「Maia 300」を発表した。2027年から本番環境への導入を開始し、Maiaシリーズの展開をマルチギガワ...

Microsoftが第3世代AIチップ「Maia 300」を発表、最新の推論モデルやエージェントタスクの処理能力向上へ向けて2027年に導入予定

MicrosoftがカスタムAIチップの第3世代にあたる「Maia 300」を2027年に導入予定であることを発表しました。Microsoftによれば、MaiaファミリーはMicrosoft製品...

12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka

12GB VRAMで125Bモデルを動かす「Strata」の概要をまとめました。 1. はじめにローカルLLMでは、GPUのVRAM容量が大きな制約になります。特に100Bを超えるモデルは、量子...

富士通、国産設計CPU「MONAKA」を世界販売へ AI推論の電力半減をうたう

富士通は9月14日、AIが回答などを生成する際の消費電力を抑えるとする国産設計CPU（コンピューターの計算処理を担う半導体）「FUJITSU-MONAKA」を、11月から世界で販売すると発表した...

AI推論とは 学んだ内容もとに質問に回答、エージェントの性能支える

MSI「XpertStation WS300」登場、NVIDIA GB300搭載でオンプレAIを強化

MSIのAIワークステーション「XpertStation WS300」が登場。NVIDIA GB300、最大748GBのコヒーレントメモリ、400Gクラスの高速ネットワークを備え、生成AIやAI...

FreeToken の概要｜npaka

「FreeToken」の概要についてまとめました。 1. FreeToken「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE（Mixture-of-Exper...

Googleが「LiteRT.js」をリリース、ブラウザ上のAI推論を既存ランタイム比で最大3倍高速に

Googleが2026年7月9日、ウェブブラウザ内でAIモデルを高速に実行するためのJavaScript向けランタイム「LiteRT.js」を発表しました。<p><b><a href="http...