プロンプトの改善サイクル試す・見る・直すを繰り返して精度を上げる方法

プロンプトの改善サイクルとは

プロンプトは、書いて終わりではなく、試して、結果を見て、直すことで質が上がります。最初から完璧な指示を書こうとするより、短いサイクルで繰り返し改善するほうが、効率的です。ここでは、プロンプトを改善するための、基本の手順と、問題の診断方法を整理します（プロンプトの基本）。

改善サイクルの基本

修正は、一度に多くを変えず、1か所ずつ行うと、どの変更が効いたかが分かります。

成功の基準を先に決める

改善の前に、「良い出力」の条件を言葉にしておきます。

基準があると、「なんとなく違う」を、具体的な課題に変換できます。

出力の問題と、考えられる原因・打ち手

具体例：要約プロンプトの改善

初稿

「この記事を要約して。」

→ 出力は、長く、焦点がぼやけている。

改善1（目的・読み手・長さを追加）

「この記事を、忙しい経営者向けに、200字以内で要約してください。」

→ 短くなったが、重要な数字が抜けている。

改善2（含めるべき内容を指定）

「…数字の根拠と、結論を必ず含めて…」

→ 目的に近い出力になった。

改善3（形式を固定）

「…『結論／根拠／次のアクション』の3行で出力してください。」

→ 毎回、同じ形式で出力されるようになった。

複数のデータで試す

1つの入力で調子が良くても、他の入力ではうまくいかないことがよくあります。種類の異なる入力を、5〜10件程度用意して、同じプロンプトで試すと、弱点が見つかります（プロンプトの評価方法）。

記録の付け方

簡単な表やメモで十分です。「うまくいった指示」を、テンプレートとして保存します（プロンプトテンプレートの作り方）。

改善しすぎないために

プロンプトの改善サイクルのFAQ（よくある質問）

Q. 何回くらい改善すればよいですか？
A. 目標の基準を満たすまでです。簡単な課題なら数回、複雑な課題なら、より多くかかります。

Q. 改善が進まないときは？
A. 課題を分割する、材料を追加する、モデルを変える、人間が行う部分を残す、といった方法を検討します。

Q. 他の人の良いプロンプトを、そのまま使えますか？
A. 参考にはなりますが、目的・データ・モデルが異なるため、自分の課題で調整が必要です。

筆者の見解（プロンプトの改善サイクル）

プロンプトの改善は、「写真の現像」に似ていると感じます。一度で完成するのではなく、少しずつ調整して、狙った仕上がりに近づけていく。結果を見て、原因を考え、1か所だけ直すという、地味で確実な繰り返しが、結局は最も早い方法だと思います。

プロンプトの改善サイクルの関連項目

• プロンプトの評価方法
• プロンプトテンプレートの作り方
• プロンプトの基本
• LLMアプリの評価

出典（一次情報）

• Prompt engineering overview（Anthropic Documentation）
• Define success criteria and build evaluations（Anthropic Documentation）