自作GPTにKVキャッシュを実装し、プロンプトキャッシュの仕組みを学んだ - $shibayu36->blog;

『つくりながら学ぶ！LLM自作入門』を理解するために、1層1ヘッドの最小構成のGPTから少しずつ発展させながら実装を進めている。前回の記事で、自作GPTに日本語GPT-2モデルを読み込み生成まで出来た。『つくりながら学ぶ！LLM自作入門』を1層1ヘッドの最小構成から始めてみている 1層1ヘッドのGPTを4層に発展させ、生成...

自作GPTにKVキャッシュを実装し、プロンプトキャッシュの仕組みを学んだ - $shibayu36->blog;

この記事のキーワード

同じキーワードの記事

LLMの193倍速い“判断だけのAI”「Jev」、ChatGPTの共著研究者が開発

ChatGPT共同開発者がLLMとは異なる方法で処理するAIモデル「Jev」を開発、GPT-5.6 Terra級の性能でタスクを安価かつ超高速に実行可能

LLMのローカル実行ツール「Ollama」v0.34、「ChatGPT」デスクトップアプリに対応／「ChatGPT」（Codex）アプリでオープンモデルを選択可能。ただし……

トランプ政権「記事のAI学習は著作権侵害ではない」 OpenAIを支持する意見書、対New York Timesなどとの訴訟で

OpenAIが最新モデルに対する強化学習を2週間中断／LLMCが約332億パラメーターの「LLM-jp-4 33B」を公開

「LLM」って何の略？ ChatGPTやジェミちゃんと何が違う？

OpenAI、初の自社AIチップ「ハラペーニョ」発表 ブロードコムと共同開発

OpenAI アルトマンCEO「PCに大量のRAMを搭載するのは問題」と発言。ローカルAIより「クラウドで24時間活用すべき」との考え語る | テクノエッジ TechnoEdge

Uravation、「部門別 ChatGPT 業務プロンプト集 50」を無料公開。10部門の50本を「役割・材料・形式・制約・確かめ方」の5つの型でそろえ、絞り込めるExcelを同梱しました

OpenAI CEOが個人PCにメモリを積むのは「かなりひどい」と発言。DRAMはクラウドに集約すべきと主張

文章のAIっぽさを抑えるプロンプト

【Sakana AI CEOに直撃】 元Google研究者が語るグローバルAIの現在地 ／世界のAI勢力図／ChatGPT登場から3年で激変／日本の勝ち筋は？／AI主権は？／日本の防衛とAI | ビジネス | 東洋経済オンライン

OpenAI、「ChatGPT Pro」月額200ドルプランの利用枠削減を撤回

「ChatGPTが服薬中止をアドバイス」--亡くなった女性の両親がOpenAIを提訴

AIの回答で登場する統計データの40％が裏付ける研究結果などがない「ゾンビ統計」であることが明らかに

ChatGPT Pro全プランとBusiness Premiumの利用上限が2倍に

OpenAI、AIの不正行動を検知する監視体制を強化 暴走前に介入

AIを50体集めてマインクラフトで文明を作らせたら食糧難に陥って配給制度が実施される

OpenAIが「AI五原則」を提案、「人間の意図に忠実であれ」「害を最小限に抑えろ」などの指針を自社モデルに適用

GPT-6.1 Terraと同等のコーディング性能を発揮するAIモデル「Mistral Large 4」が無償公開される

OpenAI、初の自社AIチップ「ハラペーニョ」発表　ブロードコムと共同開発

【Sakana AI CEOに直撃】元Google研究者が語るグローバルAIの現在地／世界のAI勢力図／ChatGPT登場から3年で激変／日本の勝ち筋は？／AI主権は？／日本の防衛とAI | ビジネス | 東洋経済オンライン

OpenAI、AIの不正行動を検知する監視体制を強化暴走前に介入