同じ問題を解決してもAIによってコードの増加量に大きな差、AIモデルを比較するベンチマーク「Parsimony」が登場

AIがプログラムを修正する際に追加したコードと削除したコードの差を測定するオープンソースのベンチマーク「Parsimony」が公開されました。従来のベンチマークで重視されてきた問題の解決率やコストに加えて、コードの増加量からAIモデルを比較できるのが特徴です。続きを読む...

GIGAZINE 2026年10月20日 14:00

この記事のキーワード

グラフで繋がりを見る

同じキーワードの記事

共有しているキーワードが多い順

AIにデータを見せずに処理させるGoogleの完全準同型暗号コンパイラ「HEIR」とは?

GIGAZINE 09/24 03:30
AI・人工知能 AIモデル オープンソース プログラム

AIモデル内部でプログラムを実行できる「Qwenputer」が登場、「AIの中にCPUを作る」という異色の試み

GIGAZINE 10/30 01:53
AI・人工知能 AIモデル プログラム

AIベンチマーク「Intelligence Index v5」発表、2つの新しいベンチマークと3つのアップグレード

GIGAZINE 10/29 05:14
AI・人工知能 ベンチマーク AIモデル

AIツール「LiteLLM」にパスワードを盗む不正プログラムが混入、インストールするだけで別のPythonプログラムにも影響

GIGAZINE 10/22 05:25
AI・人工知能 プログラム AIモデル

PHPの脆弱性、OpenAIのAIで発見 「同様の発見、今後数カ月で急増」(ITmedia NEWS) - Yahoo!ニュース

はてなテクノロジー 10/21 23:50
AI・人工知能 オープンソース AIモデル

PHPの脆弱性、OpenAIのAIで発見 「同様の発見、今後数カ月で急増」

はてなテクノロジー 10/21 17:45
AI・人工知能 オープンソース AIモデル

Claude Codeの代わりが無料で見つかった。好きにAIを乗り換えられる「Qwen Code」導入ガイド

ライフハッカー 10/16 03:45
AI・人工知能 AIモデル オープンソース

Jevが画像入力に対応&長大コンテキストに対応&意思決定モデルのベンチマークテストも発表

GIGAZINE 10/15 03:34
AI・人工知能 ベンチマーク AIモデル

生成AI時代に価値が高まるのは「気づき」の感性と「問い」への変換

日経メディカル 10/14 15:00
AI・人工知能 AIモデル ベンチマーク

各社のAIがリリース後にどれだけ性能変化したかがグラフでわかるベンチマーク「Nerf Bench」

GIGAZINE 10/12 21:00
AI・人工知能 ベンチマーク AIモデル

jevやGPT-6 Luna Decisionsなどの素早い判断に特化した確率モデルがパックマンをプレイするベンチマーク「jevman」

GIGAZINE 10/09 11:00
AI・人工知能 ベンチマーク AIモデル

AIによって開発されたオープンソースのAIアクセラレータ「openTPU」が登場

GIGAZINE 10/07 10:00
AI・人工知能 オープンソース AIモデル

無料&オープンソースのAIコーディングツール「Pi 1.0」が正式リリース、MCP対応や複数のAIモデルを切り替える機能を追加

GIGAZINE 10/02 08:45
AI・人工知能 オープンソース AIモデル

最先端AIモデルがリリース後にひそかに劣化しているかどうかを検出するためのベンチマーク「livenerf」

GIGAZINE 10/01 06:05
AI・人工知能 ベンチマーク AIモデル

「Claude Sonnet 5.5」が登場、前モデルより30%高速・30%安価でGPT-6 Solより高性能

GIGAZINE 09/29 02:11
AI・人工知能 AIモデル ベンチマーク

単価の安いAIモデルを使うとかえってコストが高くつくことがあるという研究結果

GIGAZINE 09/22 01:00
AI・人工知能 AIモデル プログラム

無料でクラウド・ローカルの各AIモデルをOpenAI互換の単一APIでまとめて品質・速度・コストで最適化して管理しAIエージェントがどれだけの金額を使用できるかも制御できるオープンソースのゲートウェイ・ルーター「Experiential」

GIGAZINE 09/21 09:00
AI・人工知能 AIモデル オープンソース

「LLMじゃないAI」が来た! TypeSafe AI「Jev」はなぜ文字列生成を捨てたのか - Qiita

はてなテクノロジー 09/18 07:18
AI・人工知能 AIモデル ベンチマーク

Jevとは何か? 従来型LLMやAIエージェントとの違いを理解する - Qiita

はてなテクノロジー 09/17 14:45
AI・人工知能 AIモデル プログラム

AIコーディングエージェントにとってハーネスはどれほど重要なのか?

GIGAZINE 09/17 14:00
AI・人工知能 AIモデル ベンチマーク
GIGAZINEで元記事を読む