OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

OpenAIは2026年7月8日、AIのコーディング能力を測るベンチマーク「SWE-Bench Pro」を詳細に調査した結果、タスクのおよそ30％に評価として成立しない問題があると報告しました。<a href="https://gigazine.net/news/20260709-openai-coding-evaluations/">続きを読む...</a>

OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

この記事のキーワード

同じキーワードの記事

「Grok 4.5」が登場、Claude Opus 4.8と同等性能で料金は安価

OpenAIがカスタム推論チップ「Jalapeño」のベンチマーク結果を公開、高スループットと低レイテンシを単一アーキテクチャで両立

OpenAIが「GPT-5.6」を正式リリース、第三者テストでClaude Fableを超えるコーディング性能を示す

ChatGPTとCodexを統合して幅広いタスクを自律的に進める「ChatGPT ワーク」が登場、GPT-5.6が基盤に

Metaの新AI「Watermelon」はOpenAIのGPT-5.5に匹敵する性能で近日登場

OpenAIがCursorとの提携・モデル提供の終了を通達、「SpaceXがOpenAIの利用規約に従って技術を使うという確信が持てないため」

学生がAIを使うと論理が明確で専門家に近い回答になることがOpenAIの実験で判明

OpenAI・Anthropic・GoogleなどがAIによるサイバー攻撃の防御に関する共同声明を発表

OpenAIは2026年末までにAGIと呼ばれるシステムを開発するだろうとサム・アルトマンCEOが回答

OpenAIがHugging Faceを誤ってハッキングしてしまった件で分析結果を報告、隔離された複数のエージェントがお互いの存在を発見するところから壮大な協力作戦が始まる

大量に存在する画像生成AIを同じプロンプトで比較できる「Image benchmarks」をOpenRouterが公開

ChatGPTが危険な医療アドバイスをしたとしてOpenAIが提訴される、病気の牧師に「神はあなたの体が永遠に壊れ続けるようには設計していない」と助言

ChatGPTでAppleのメッセージアプリを管理できる「Apple Messages Plugin」が登場、メッセージの返信・分類・管理が可能

OpenAIがゼロデータ保持を維持したまま安全性監視を強化する「Private Safety Processing」のプレビュー版を提供開始

DeepSeek V4 Flashはベンチマークスコアは高いが実際のタスクでは苦戦しているという指摘、オーケストレーションに課題

OpenAIが「安全のためにAIの強化学習を2週間停止した」と自社の安全対策をアピール

Hugging Faceを攻撃してしまったOpenAIが「AIからの攻撃を防止する方法10選」を公開、CodexなどのAIツールの活用を呼びかけ

OpenAIの大規模データセンターを作るべくNVIDIAがソフトバンク関連企業に2400億円を投資、2030年までに約96兆円のビジネスチャンスをもたらす計画

OpenAIがAIのもたらす深刻なリスクを評価・軽減することを目的とした危機管理チームが解散

Z.aiがコーディング能力に優れたオープンウェイトAIモデル「GLM-5.3」リリース、前モデル比で50％の性能向上