ベンチマーク

AIベンチマーク「Intelligence Index v5」発表、2つの新しいベンチマークと3つのアップグレード

Artificial AnalysisはAIモデルの性能評価を行っている独立機関で、複数のベンチマーク結果をもとにAIの総合性能を算出する「Artificial Analysis Intelli...

C++やRustよりも高速に動作しメモリ使用量も少ないプログラミング言語「Goose」

GooseはAIの支援を受けて開発された革新的なシステムプログラミング言語です。「メモリ安全性」「驚異的な実行速度」「コンパクトなメモリ使用量」を両立させることに成功しており、既存のC++やRu...

読み込み14.9GB/sのPCIe 5.0対応SSD「SANDISK Optimus GX PRO 8100 NVMe SSD」の2TBモデルでベンチマークテストを実行してみたよレビュー

「SANDISK Optimus GX PRO 8100 NVMe SSD」はシーケンシャル読み込み最大1万4900MB/s、シーケンシャル書き込み最大1万4000MB/sという高速転送が可能な...

ChatGPTやGeminiの性格診断結果をArtificial Analysisが公開、Gemini 4 Argonは媚びやすくClaude Fable 5.1は説得力がある

AIの性能分析を行っているArtificial Analysisが、各種AIの性格を分析するベンチマークテスト「AA-PersonalityBench」を開発し、その結果を公開しました。続きを読...

同じ問題を解決してもAIによってコードの増加量に大きな差、AIモデルを比較するベンチマーク「Parsimony」が登場

AIがプログラムを修正する際に追加したコードと削除したコードの差を測定するオープンソースのベンチマーク「Parsimony」が公開されました。従来のベンチマークで重視されてきた問題の解決率やコス...

AIのベンチマークテストは人間の仕事の1割しかカバーできていない

AIの性能を測定するベンチマークテストの中には「人間の仕事をどれだけの精度でこなせるか」を測定するものが多く含まれています。ところが、こうしたベンチマークは「一部のタスク」しかカバーしておらず、...

Vitest v5.0 で新しくなったBenchmarkをCIで実行して比較する - プププなテクブ

Vitest v5.0ではBenchmark APIがリライトされました。 Vitest v5.0からはテストコンテキストから受け取る bench フィクスチャを test() の中で使う形に変...

Jevが画像入力に対応＆長大コンテキストに対応＆意思決定モデルのベンチマークテストも発表

大規模言語モデル(LLM)とは大きく異なる設計の「意思決定モデル」として注目を集めたAIモデル「Jev」が、改良版の「Jev 1.14.0」を2026年10月14日にリリースしました。Jev 1...

音声対話AI「Grok Voice 3.0」が登場、OpenAIやGoogleのモデルを上回る性能でベンチマーク首位に

SpaceXAIが音声対話AIモデル「Grok Voice 3.0」を2026年10月14日に発表しました。業界トップクラスの低遅延かつ低価格で、SpaceXAIは「世界で最も知的な音声対音声モ...

日本語 Decision モデル "saihai" (采配) と、日本語 Decision モデルベンチマークの公開 - A Day in the Life

注意点として、saihai は日本語タスクを解きやすくするため、いくつかのベンチマークタスクの元データセットの train set を学習しているので、ベンチマークの点数は上がりやすくなっていま...

生成AI時代に価値が高まるのは「気づき」の感性と「問い」への変換

2022年11月にChatGPTが一般公開されて以来、テキスト生成AI（人工知能）の性能は飛躍的に向上しました。最新のAIモデルにあっては、多くのベンチマークテストで平均的な人間の知能指数を上回...

各社のAIがリリース後にどれだけ性能変化したかがグラフでわかるベンチマーク「Nerf Bench」

「Nerf Bench」はAIモデルがローンチデー(サービス開始日)からどれだけ性能を維持しているかを評価するベンチマークです。続きを読む...

jevやGPT-6 Luna Decisionsなどの素早い判断に特化した確率モデルがパックマンをプレイするベンチマーク「jevman」

「jevman」は、AIにパックマンをプレイさせて、状況に応じた判断能力を比較するベンチマークです。 AI向けのAPIサービスを提供するOpperが公開しており、6種類のAIモデルにそれぞれ10...

CloudflareがJevっぽい意思決定モデル「Clef」を公開、画像入力に対応しベンチマークではJev超えだがJev作者はベンチマークそのものに懐疑的

Cloudflareが意思決定モデル「Clef」をオープンモデルとして公開しました。意思決定モデルの流行の切っ掛けとなったJevと異なり、画像の入力にも対応しているのが特徴です。続きを読む...

iPhone 18 Proのバッテリー持続時間と有線・無線での充電速度を検証してみたよレビュー

2026年9月18日に登場したiPhone 18 Proについて、GIGAZINEでは外観レビュー、ベンチマークテスト、カメラ性能検証を実施済み。バッテリー持続時間や充電速度も気になったので検証...

モデルはコモディティになる。差をつけるのは Work IQ - 吉田の備忘録

AIについて話すとき、私たちはつい「どのモデルが一番賢いか」という話をしてしまいます。GPTなのか、Claudeなのか、次のモデルはどれだけベンチマークが上がったのか。もちろんモデル性能は重要で...

最先端AIモデルがリリース後にひそかに劣化しているかどうかを検出するためのベンチマーク「livenerf」

ひとたびリリースされたAIモデルの性能はずっと変わらないと思っている人もいるかもしれませんが、過去にはリリース後にAIモデルの性能が低下した事例がたびたび報告されています。そんなリリース後のAI...

ベンチマークでJev超えな意思決定モデル「d1」が登場

AI開発企業のLiquid AIが意思決定モデル「d1」をリリースしました。2026年9月に登場して大きな話題となっている「Jev」と同様の機能を備えており、性能テストでJevを上回ったとのこと...

IBMの量子コンピュータがスーパーコンピュータで100年かかる計算を19秒で完了

IBMの量子プロセッサー「Nighthawk r2」が、量子優位性の初期実証に向けた代表的なベンチマークにおいて、わずか19秒で100万個のサンプルを生成したことをアメリカの理論凝縮系物理学者が...

自分の脳が何B級のAIと同等性能なのか診断できるウェブサイト「HumanBench」が登場、選択問題で人間の力を試してどのAIに性格が似ているかも判定可能

AIは急速に発展しており、ベンチマークスコアが毎日のように更新されています。そんなAIと比べて自分の能力がどれくらいの位置にあるのかを診断できるウェブサイト「HumanBench」が登場しました...

「Claude Sonnet 5.5」が登場、前モデルより30％高速・30％安価でGPT-6 Solより高性能

AnthropicがAIモデル「Claude Sonnet 5.5」をリリースしました。前世代モデルのClaude Sonnet 5と比べて性能が向上しつつ30％の高速化も達成しているとのこと。...

Anthropic、「Claude Sonnet 5.5」を発表 ～30％以上高速に、コストは最大30％減／「Claude 5.5」ファミリーの第2弾。ベンチマークによっては「Opus 5.5」に迫る

AnTuTu 560万点超え！ iPhone 18 Pro Maxをもスコアで圧倒。「Snapdragon 8 Elite Extreme Gen 6」の実力

最新チップ「Snapdragon 8 Elite Extreme Gen 6」搭載機のベンチマークを実施しました。AnTuTuでは驚異の560万点超えを記録し、前世代機やiPhone 18 Pr...

AIに「StarCraft」をリアルタイムで戦わせる「Brood War Bench」が登場、全モデルが初心者レベルながらCodex Astraは18戦全勝

AIエージェントにリアルタイムストラテジーゲーム「StarCraft: Brood War」を操作させて対戦能力を比較するベンチマーク「Brood War Bench」をソフトウェアエンジニアの...

Mac mini (M6 or M5 Pro) ベンチマークレポート | Mac | Mac OTAKARA

Geekbench 6 Geekbench Browserに、ベンチマークアプリ「Geekbench 6」を使用した「Mac mini (M6 or M5 Pro)」のベンチマークデータが投稿さ...

Googleの旗艦AIが先行公開か ベンチマークでAstraとFableを全面凌駕 — BigGo ファイナンス

Googleの次世代旗艦モデル「Gemini 4 Pro」とみられるモデルが、AI競技場「Arena」に「gemini-3.8-flash」の名称で先行公開された。開発者による実測では、Deep...

「iPhone 18 Pro」と「iPhone 17 Pro」のベンチマークスコアを比較してA20 Proチップの実力を検証してみた

「iPhone 18 Pro」が2026年9月18日に登場しました。iPhone 18 Proは2nmプロセスで製造されたA20 Proチップを採用しており、前世代モデルのiPhone 17 P...

「LLMじゃないAI」が来た! TypeSafe AI「Jev」はなぜ文字列生成を捨てたのか - Qiita

はじめに 最近のAIモデルの発表というと、だいたい「またLLM（大規模言語モデル）の新バージョンか」という受け止め方をされることが多いんじゃないでしょうか。 パラメータ数が増えました、ベンチマー...

謎の高性能AIモデル「Union Alpha」が公開される、GPT-6 AstraやClaude Fable 5.1と同等ベンチマークスコア

AIの中継サービス「OpenRouter」などで、開発元を隠匿した「ステルスモデル」として「Union Alpha」というモデルが公開されています。ベンチマークスコアでGPT-6 Astraと同...

AIコーディングエージェントにとってハーネスはどれほど重要なのか？

AIコーディングエージェントは同じAIモデルを使っていても、モデルを動かすハーネスによって費用や性能が変わる可能性があります。カリフォルニア大学バークレー校とAIランキングサイト「Arena」の...

Googleが音声会話AI「Gemini 3.8 Live」と「Gemini 3.8 Live Extended Thinking」をリリース、リアルタイムで会話しながらコーディング可能

Googleがリアルタイムで会話できるAIモデル「Gemini 3.8 Live」と「Gemini 3.8 Live Extended Thinking」をリリースしました。Gemini 3.8...

M6とM5 Ultraのベンチマーク結果がGeekbenchに登場、M5 UltraはマルチコアスコアがM1から6倍も向上

Appleが2026年8月末に発表したM6とM5 Ultraのベンチマーク結果が、ベンチマークソフトウェア「Geekbench」のスコア集積サイトに登場しました。続きを読む...

AIベンチマークに数学を使うのは有害だとして数学者たちが反発

大規模言語モデル(LLM)の数学的能力は目覚ましい進歩を遂げており、数々の難問を解けるレベルにまで到達しました。しかしその一方で、AI企業が数学的問題解決をベンチマークとして推進する動きについて...

Sakana AIが複数モデルの使い分けでGPT-6 Astra超えを達成する「Fugu Ultra v2」をリリース＆コスパに優れた「Fugu Max」も登場

東京に拠点を置くAI企業のSakana AIが、複数のAIモデルにタスクを割り振るシステム「Fugu Ultra v2」と「Fugu Max」を発表しました。Fugu Ultra v2は複数のベ...

「DeepSeek-V4.1-Flash」が登場、複数テストでClaude Opus 5やGPT-5.6 Solを超える性能のオープンモデル

中国企業のDeepSeekがAIモデル「DeepSeek-V4.1-Flash」を2026年9月10日に公開しました。複数のベンチマークテストでClaude Opus 5やGPT-5.6 Sol...

iPhone 18 Proに搭載されるA20 Proチップのベンチマーク結果が流出、CPUは前世代よりも約25％高速化でGPUスコアも約40％向上

AppleがiPhone DuoやiPhone 18 Pro／Pro Maxに搭載した新型SoC「A20 Pro」のGeekbench 6における測定結果が登場しました。シングルコアとマルチコア...

画面が回転するノートPC「VAIO T」のベンチマークテストを実行してみた＆バッテリー持続時間も検証してみたよレビュー

マルチフリップ機構を搭載したノートPC「VAIO T」が2026年9月11日に登場します。画面を回転させて「ノートPCモード」「ビューモード」「タブレットモード」を切り替えられる個性的なPCで、...

小型かつ高性能で日本語応答も可能な中国製AIモデル「MiniCPM5-2B」が登場、2BモデルなのにGemma 4 12Bと同等のベンチマークスコア

中国のAI企業であるOpenBMBがAIモデル「MiniCPM5-2B」を2026年9月7日に公開しました。MiniCPM5-2Bは20億パラメーター規模のモデルですが、40億パラメーター規模の...

GPT-6 AstraがAIコーディング性能でトップ級の67点、圧倒的なトークン効率を示すもFable 5.1には届かず

AIモデルの性能を独自に評価しているArtificial Analysisが、OpenAIの「GPT-6 Astra」のベンチマーク結果を公開しました。コーディングエージェントとしての性能を測る...

BraveがChrome・Edge・Firefoxを速度と性能の両方で上回っているというベンチマーク結果を公開

ウェブブラウザ・Braveが広く使われているライバルであるChrome、Edge、Firefoxとのベンチマーク比較結果を公開しました。テストによると、Braveは他の3つのブラウザに比べてCP...

Metaも新AIモデル「Muse Spark 1.3」 1カ月で大幅強化し「Fable 5に匹敵」

Metaは2日(米国時間)、エージェントタスクやコーディングタスクのパフォーマンスを向上した最新モデル「Muse Spark 1.3」を提供開始した。この数カ月にわたる「Muse Code」や「...

Metaが「Muse Spark 1.3」を発表、ついにAnthropicやOpenAIの最先端モデルに追いつく性能を達成

MetaがAIモデル「Muse Spark 1.3」を現地時間の2026年9月2日にリリースしました。Muse Spark 1.3は長期的なコーディングタスクに対応できるようにトレーニングされて...

DeepSeekが画像認識に対応した「DeepSeek-V4-Flash-Vision-Exp」をオープンモデルとして公開、画像認識を含むタスクでClaude Opus 4.8と同等の性能

中国企業のDeepSeekが「DeepSeek-V4-Flash-Vision-Exp」をオープンモデルとして公開しました。DeepSeek-V4-Flash-Vision-ExphはDeepS...

「Pixel 11」「Pixel 11 Pro」「Pixel 11 Pro Fold」のベンチマークスコア＆バッテリー持続時間＆充電速度を実際に検証してみたよレビュー

2026年8月12日にGoogle製スマートフォン「Google Pixel 11」「Google Pixel 11 Pro」「Google Pixel 11 Pro XL」「Google Pi...

Cloudflareが1.1.1.1のDNSキャッシュを数十バイト単位で削り込んで100TBのメモリを節約

CloudflareがパブリックDNSリゾルバー「1.1.1.1」などで使われているDNSキャッシュのデータ構造を見直し、システム全体で約100TBのメモリを削減したと発表しました。ベンチマーク...

OpenAIがカスタム推論チップ「Jalapeño」のベンチマーク結果を公開、高スループットと低レイテンシを単一アーキテクチャで両立

OpenAIがBroadcomと共同開発した推論システム向けカスタムチップ「Jalapeño(ハラペーニョ)」についてのブリーフィングを行い、ベンチマークスコアを公表しました。Jalapeñoは...

OpenAI、自社チップ「ハラペーニョ」の性能を公表 電力効率やレイテンシ向上

OpenAIは25日(米国時間)、自社開発の推論プラットフォームとして設計した新チップ「Jalapeño」(ハラペーニョ)の実測のベンチマーク結果を公開した。

各種AIのiPhoneでの動作性能を測定した結果がArtificial Analysisによって公開される、コンテキスト長や応答時間を制限して実環境に近い性能を測定

ローカルで実行可能なAIモデルの中にはスマートフォンでの動作も可能な小型モデルも存在します。新たに、AIの性能分析を行っているArtificial Analysisが「iPhone 17 Pro...

NVIDIAのAIエージェント「AVO」がARC-AGI-3で100％を達成、同じベースモデルの別条件での評価は約30％で「実行基盤(ハーネス)」の重要性が示される

NVIDIAが開発するAIエージェントシステム「Agentic Variation Operators(AVO)」が、AIが未知の環境とやり取りしながら推論する能力を測るベンチマーク「ARC-A...