評価ハーネス

AI・機械学習

AIエージェントをテストする!評価ハーネス(Evals)の設計とCI自動テスト入門

プロンプト変更やモデル更新時の性能劣化を防ぐAIエージェントの評価ハーネス設計入門。ツール呼出検証・タスク完遂検証・LLM自動採点の3層テストピラミッドと、pytestを用いたCI自動テストの実装手順を詳しく解説します。
AI・機械学習

ハーネスエンジニアリングとは?AIエージェントを実務で動かす「制御基盤」の設計論

自律型AIエージェントの無限ループやコンテキスト劣化を防ぐ制御基盤「ハーネスエンジニアリング」の設計論。ツール接続・状態永続化・ガードレール・実行監視・自己修復の5大コア要素と、導入前後の実測比較データを詳しく解説します。