AIエージェントの評価と品質保証 — 「動く」を「信頼できる」に変える検収の技術

AIに実装を任せたあと、何を根拠に受け入れ、改善し、モデルやプロンプトを更新するか。評価仕様、課題集、コードとLLMによる評価、評価器自体の検証、複数試行、継続評価、受け入れ記録を、共通のTypeScriptアプリでつなぎます。既知の六故障を使う評価器実験、一課題を六回実装した比較、四報告のLLM判定を収録。公開...

AIエージェントの評価と品質保証 — 「動く」を「信頼できる」に変える検収の技術

この記事のキーワード

同じキーワードの記事

Google提唱の「SKILL.state」について。プロンプトに型の概念を導入

もうプロンプトは書かなくていい…管理職も活躍できる「ループ・エンジニアリング」の時代がやって来た | Business Insider Japan

ローカルLLMで「Pi」エージェントを動かす

AI エージェントフレームワーク Flue を試してみた

Loop Engineering | Anthropicの上級エンジニアが公開したPDFをベースに複数のX記事の内容を統合して簡潔にまとめ｜MAKE A CHANGE, inc

なぜAIエージェントはウソをつき不正行為を行い協調するのか？

OpenAIのAIエージェントがRubyGemsへの攻撃に関与か、2000件超のパッケージ投稿やAPIキー窃取の試みが判明

GPT-6 AstraとClaude Fableの性能を引き出すハーネス「Fusion」が登場、Claude CodeやCodexで使う場合と同等の性能を示しつつコストを最大39％削減

契約管理プラットフォーマーとして“第2フェーズ”を加速させるドキュサイン レビューAIやAIエージェントを投入

TailscaleのVPNにAIエージェントを組み込める「Aperture」正式リリース。AIによるTailscaleやノードの操作も可能に

自ら、問いに向かい合うことの有難さについて - ニューロサイエンスとマーケティングの間 - Between Neuroscience and Marketing

「AIで解雇した従業員の3割は再雇用に」 Gartnerが指摘する経営層の誤算

無料のオープンソースAIエージェント「goose」、デスクトップアプリ・CLI・APIなどコード・ワークフロー・その他あらゆる用途に対応

AI エージェントとアプリを動かす Cloudflare OS を試してみた

NECが明かす「AIだけの部署」の実態 AI同士で1on1、ストレスチェックで“悩み”も可視化

LINEヤフー「Agent i」、ニュースや商品値下がりを自動チェックするタスク機能

Codexと同じハーネスを使ってAIエージェントを作れる「Agents API」が登場

AIで楽をするつもりが、374プロンプト。会社サイトを作ってわかった5つのこと｜片山良平＠Eldipa代表、paiza創業者

OpenAIのAIエージェントによるハッキング事件で他にも最低10件のサイトが侵害されていたことが判明

GPT-6 Astraが人気すぎてOpenAIのサーバーがピンチでProプランの新規サブスク契約が一時停止されるかも

契約管理プラットフォーマーとして“第2フェーズ”を加速させるドキュサインレビューAIやAIエージェントを投入