AIエージェントの評価と品質保証 — 「動く」を「信頼できる」に変える検収の技術

AIに実装を任せたあと、何を根拠に受け入れ、改善し、モデルやプロンプトを更新するか。評価仕様、課題集、コードとLLMによる評価、評価器自体の検証、複数試行、継続評価、受け入れ記録を、共通のTypeScriptアプリでつなぎます。既知の六故障を使う評価器実験、一課題を六回実装した比較、四報告のLLM判定を収録。公開...

AIエージェントの評価と品質保証 — 「動く」を「信頼できる」に変える検収の技術

この記事のキーワード

同じキーワードの記事

無料でAIエージェントの追跡・評価・プロンプト管理・本番環境の監視ができる「Opik」、セルフホスト可能

文章のAIっぽさを抑えるプロンプト

AWS、AIエージェントを自作できるツール「Strandsハーネス」をオープンソースで公開 特定のLLMに依存せず入れ替え可能

AWS、AIエージェントを自作できるツール「Strandsハーネス」をオープンソースで公開。特定のLLMに依存せず入れ替え可能、任意のコンテナ環境にデプロイ

オントロジー定義から AI エージェントのツールを機械的に生成する

コーディングエージェント時代にソフトウェア設計原則はどう変わる？ 信頼を設計する「ハーネス」と決定論ファースト

全社に OpenCode + LiteLLM を導入してコストを抑えつつ AI 活用を進めている話

AIエージェントの自己改善をどう設計するか / How to Design Self-Improvement for AI Agents

Google提唱の「SKILL.state」について。プロンプトに型の概念を導入

もうプロンプトは書かなくていい…管理職も活躍できる「ループ・エンジニアリング」の時代がやって来た | Business Insider Japan

ローカルLLMで「Pi」エージェントを動かす

AI エージェントフレームワーク Flue を試してみた

Loop Engineering | Anthropicの上級エンジニアが公開したPDFをベースに複数のX記事の内容を統合して簡潔にまとめ｜MAKE A CHANGE, inc

Material 3 Expressiveの画面をブラウザで組み立てて画面同士をつなぎタップして確かめてそのままAIコーディング用のプロンプトにするツール「M3E Canvas」

ゴムマリの業務AIエージェント、『予実管理』を提供開始

OpenAI、AIの不正行動を検知する監視体制を強化 暴走前に介入

MattermostとCohere、オンプレミス、エアギャップ、機密環境に展開可能なソブリンAIで「人とAIエージェントがコラボレーションする現場」を実現

AIが生成したコードは読むべきか？抽象化設計とコードの品質保証 / abstraction-design-and-quality

ドコモSMTBネット銀行、法人向けAIエージェント 振込や資金繰り支援

今、最も使われているプログラミング言語は？ AIコーディングでPython超えて急成長

AWS、AIエージェントを自作できるツール「Strandsハーネス」をオープンソースで公開特定のLLMに依存せず入れ替え可能

コーディングエージェント時代にソフトウェア設計原則はどう変わる？信頼を設計する「ハーネス」と決定論ファースト

OpenAI、AIの不正行動を検知する監視体制を強化暴走前に介入

ドコモSMTBネット銀行、法人向けAIエージェント振込や資金繰り支援