関連ニュース
自作GPTにKVキャッシュを実装し、プロンプトキャッシュの仕組みを学んだ - $shibayu36->blog;
『つくりながら学ぶ！LLM自作入門』を理解するために、1層1ヘッドの最小構成のGPTから少しずつ発展させながら実装を進めている。前回の記事で、自作GPTに日本語GPT-2モデルを読み込み生成まで...
はてなテクノロジー
10/02 13:19
インテル製GPU「Crescent Island」の正体、容量480GBメモリーでエージェント型AIとKVキャッシュ問題に挑む
Hot Chipsの第3弾はインテルのCrescent Islandである。昨年10月にその存在が公開された、AIデータセンター向けのGPUである。
ASCII.jp
09/14 03:00
出典メディア
GIGAZINE (1)
はてなテクノロジー (1)
ASCII.jp (1)
つながり
数字は「KVキャッシュ」と一緒に出てきた記事の本数。 グラフには強いものだけが出るので、ここが全部です。
AI・人工知能
2
GLM-5
1
日本語GPT-2
1
AIデータセンター
1
自作GPT
1
インテル
1
生成...
1
1層1ヘッド
1
インテル製
1
LLM自作
1
Crescent
1
1層1
1
KVキャッシュ漏洩
1
テナント分離
1
Cloudflare
1
インシデント情報
1
セキュリティ研究者
1
容量480GBメモリー
1
容量480GB
1
リクエスト間
1
SGLang
1
OpenAI / GPT
1
GLM-5.
1
モデル(@cf
1
エージェント型
1
プロンプトキャッシュ
1
インシデント
1
リクエスト
1
LLM
1
AIモデル
1
インテル製GPU
1
Hot
1
AIデータセンター向け
1
Chips
1
サイバーセキュリティ
1
Island
1
セキュリティ研究
1
GLM
1
LLM自作入門
1
エージェント型AI
1