第9章 · Best Practices
Eval (評価) と継続的改善
Evaluation
→ で次のスライド · F でフルスクリーン · N で講師ノート · Esc で終了
重要キーワード
Eval
評価
プロンプト/モデルの品質測定
Goldset
理想出力データ
テストケースの集合
LLM-as-Judge
LLM採点
別モデルが採点する評価方式
Regression Test
リグレッションテスト
変更による劣化検出
Eval (評価)
- 概要に絵文字 (Slack 通知が崩れる現場用)
- 概要に末尾ピリオド・句点
- 「ちょっと」「とりあえず」などの曖昧表現
- 「Co-authored-by: Claude」などの追記 (人がコミットする想定) ```
git commit する際にこの規約に従います。Skill 設計の鉄則
- description にトリガーキーワードを散りばめる — 自動発火の精度はここで決まる
- SKILL.md は短く (200〜300 行以内、長くなったら別ファイルに分割)
- 「してはいけないこと」を明記 — 暴走防止
- 更新日を意識 — 規約が古くなる前に保守
Hands-on Exercise
演習: 5 件の Goldset を作って試す
あなたが書いた任意のプロンプトに対し、5 件のテストケース (input + 期待 output) を作成し、現状の正答率を測定。 次に、プロンプトを 1 箇所だけ修正して再測定し、改善か劣化かを判定してください。
🎉
まとめ
お疲れ様でした!