プロンプトの反復改善とEval のクイズ

4 問。すべて選んだら採点ボタンを押してください。

Q1. プロンプト改善で最初にすべきは?

成功の定義とテストケース作成モデルを上位に切替え API キーを再発行 GPU を増設

Q2. プロンプト評価ツールでないのは?

Anthropic Workbench promptfoo LangSmith Photoshop

Q3. 出力が悪いときの最も誠実な仮説は?

モデルが愚かなのが原因プロンプト側に改善余地がある可能性が高いネット回線が遅い OS のバージョンが古い

Q4. LLM-as-Judge の注意点は?

Judge モデルは被評価と同じが必須 Judge と被評価は別モデルが望ましい Judge は 1 回でも複数回でも同じ Judge にユーザー入力をそのまま渡す