AIコーディングエージェントにとってハーネスはどれほど重要なのか?

AIコーディングエージェントは同じAIモデルを使っていても、モデルを動かすハーネスによって費用や性能が変わる可能性があります。カリフォルニア大学バークレー校とAIランキングサイト「Arena」の共同研究チームは、7つのモデルと3つのハーネスを組み合わせた21通りを2種類のベンチマークで比較しました。その結果、タスクの成功率は大きく変わらない一方、費用には最大5倍の差が生じ、モデル本来の提供元とは異なるハーネスが最適な場合もあることがわかりました。続きを読む...

GIGAZINE 2026年09月17日 14:00

この記事のキーワード

グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

AIのせいで宿題を採点する意味がなくなったとしてフィールズ賞受賞の数学教授が「提出しただけで評価する」方式に変更

GIGAZINE 10/26 06:12
AI・人工知能 カリフォルニア大学バークレー校 カリフォルニア大学バークレー カリフォルニア バークレー

GPT-6 AstraがAIコーディング性能でトップ級の67点、圧倒的なトークン効率を示すもFable 5.1には届かず

GIGAZINE 09/07 11:00
AI・人工知能 AIコーディング AIモデル ベンチマーク

JetBrains、AIコーディングエージェント「Junie Local」発表。27BモデルをMac上で完全ローカル実行

はてなテクノロジー 08/26 16:29
AI・人工知能 AIコーディングエージェント AIコーディング AIモデル

テオ氏:アップルのファイルシステムは遅すぎる——AIコーディングを全てLinuxに移行し、ストレージを3分の1に削減 — BigGo ファイナンス

はてなテクノロジー 08/21 22:01
AI・人工知能 AIコーディング ベンチマーク AIコーディングエージェント

AIベンチマーク「Intelligence Index v5」発表、2つの新しいベンチマークと3つのアップグレード

GIGAZINE 10/29 05:14
AIモデル AI・人工知能 ベンチマーク

同じ問題を解決してもAIによってコードの増加量に大きな差、AIモデルを比較するベンチマーク「Parsimony」が登場

GIGAZINE 10/20 14:00
AI・人工知能 AIモデル ベンチマーク

すべてのAIコーディングエージェントのコストを閲覧・検索・追跡しローカルで動作する「AgentsView」、Claude Code・Codex・Cursor・Copilot・Geminiなど60種類以上のエージェントを自動検出し全文検索も可能

GIGAZINE 10/17 09:00
AI・人工知能 AIコーディングエージェント AIコーディング

NVIDIAが画像・動画・文章をまとめて理解するオープンウェイトAI「Nemotron 3.5 Super VL」を公開、処理コストを40分の1に削減する事例も

GIGAZINE 10/16 04:10
AI・人工知能 最大5倍 最大5

Jevが画像入力に対応&長大コンテキストに対応&意思決定モデルのベンチマークテストも発表

GIGAZINE 10/15 03:34
AI・人工知能 ベンチマーク AIモデル

生成AI時代に価値が高まるのは「気づき」の感性と「問い」への変換

日経メディカル 10/14 15:00
AI・人工知能 AIモデル ベンチマーク

質問するだけでAIコーディングエージェントが実行ファイル・ライブラリ・アプリなどをリバースエンジニアリングできる「REA」、ソースコードなしで同等機能を実装可能

GIGAZINE 10/13 22:00
AI・人工知能 AIコーディングエージェント AIコーディング

各社のAIがリリース後にどれだけ性能変化したかがグラフでわかるベンチマーク「Nerf Bench」

GIGAZINE 10/12 21:00
AI・人工知能 ベンチマーク AIモデル

jevやGPT-6 Luna Decisionsなどの素早い判断に特化した確率モデルがパックマンをプレイするベンチマーク「jevman」

GIGAZINE 10/09 11:00
AI・人工知能 ベンチマーク AIモデル

DeepSeek製コーディングエージェント「DeepSeek Harness」のデスクトップ版が登場

GIGAZINE 10/05 02:58
AI・人工知能 AIコーディングエージェント AIコーディング

無料&オープンソースのAIコーディングツール「Pi 1.0」が正式リリース、MCP対応や複数のAIモデルを切り替える機能を追加

GIGAZINE 10/02 08:45
AIコーディング AIモデル AI・人工知能

Claude Codeを自分好みにカスタムできるMod機能が登場

GIGAZINE 10/02 03:19
AI・人工知能 AIコーディングエージェント AIコーディング

最先端AIモデルがリリース後にひそかに劣化しているかどうかを検出するためのベンチマーク「livenerf」

GIGAZINE 10/01 06:05
AI・人工知能 ベンチマーク AIモデル

AIエージェントが「画像を貼れない」問題を勝手に解決、343組織の機密スクショ1万3000枚超をGitHubの公開リポジトリに保存していたことが判明

GIGAZINE 09/30 04:10
AI・人工知能 AIコーディングエージェント AIコーディング

「Claude Sonnet 5.5」が登場、前モデルより30%高速・30%安価でGPT-6 Solより高性能

GIGAZINE 09/29 02:11
AI・人工知能 AIモデル ベンチマーク

マイクロソフト、企業内アプリの実行基盤「Copilot Managed Runtime」プレビュー公開。Microsoft 365と同じテナント内でコード実行、管理者による集中管理も

Publickey 09/27 15:59
AI・人工知能 AIコーディングエージェント AIコーディング
GIGAZINEで元記事を読む