関連ニュース
AIに「StarCraft」をリアルタイムで戦わせる「Brood War Bench」が登場、全モデルが初心者レベルながらCodex Astraは18戦全勝
AIエージェントにリアルタイムストラテジーゲーム「StarCraft: Brood War」を操作させて対戦能力を比較するベンチマーク「Brood War Bench」をソフトウェアエンジニアの...
GIGAZINE
09/25 10:50
HarnessTax: How Much Does the Harness Matter for Coding Agents?
What does a coding-agent harness actually add, and at what cost? It turns out your Claude models ...
はてなテクノロジー
09/17 23:10
OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備
OpenAIは2026年7月8日、AIのコーディング能力を測るベンチマーク「SWE-Bench Pro」を詳細に調査した結果、タスクのおよそ30％に評価として成立しない問題があると報告しました。...
GIGAZINE
07/09 03:40
出典メディア
GIGAZINE (3)
はてなテクノロジー (1)
つながり
数字は「Bench」と一緒に出てきた記事の本数。 グラフには強いものだけが出るので、ここが全部です。
ベンチマーク
3
AI・人工知能
3
Claude
2
Codex
2
OpenAI
2
Anthropic / Claude
2
SWE
2
OpenAI / GPT
2
StarCraft:、Brood
1
Does
1
HarnessTax:、How
1
...</a></
1
初心者レベル
1
19種類
1
SWE-Bench
1
OpenAI系
1
Matter
1
AIコーディング問題
1
cost?
1
エージェント
1
model–
1
性能変化
1
Pi—on
1
対戦能力
1
Terminal-Bench
1
スワードロウ
1
AIエージェント
1
What
1
ローンチデー(サービス開始
1
ベン・スワードロウ氏
1
...</a></b
1
ベン・スワードロウ
1
Agents?
1
Code
1
Agents?、What
1
Harness
1
Anthropic
1
Pro
1
Much
1
.net/news
1