小さく試す

1理解する

試作の4つの原則

1. 1つの業務だけ

   ステップ02で決めた業務だけを対象にします。「ついでにこれも」は、うまくいかなかったときに原因が分からなくなります。

2. 少量のデータで

   過去の実データ10〜20件、または伏せ字・ダミーのデータ。全量で試すのは、安定してからです。

3. 本番に影響しない場所で

   本物の受信箱・本物の業務システムには触らせない。コピーしたフォルダ、テスト用のアカウント、あるいは「手で渡す」段階で行います。

4. 期待する結果を先に決める

   試す前に「この10件なら、こう分類されるはず」という正解を自分で作っておきます。正解がないと、エージェントの出力がもっともらしく見えて、ついOKにしてしまいます。

指示書の7つの項目

エージェントに渡す指示書（製品によって「プロンプト」「システム指示」「エージェントの設定」などと呼ばれます）は、次の7つの項目で書くと抜けがありません。ステップ03の分解シートの内容がそのまま材料になります。

試す → 結果を見る → 指示書を直す

最初の指示書で一度にうまくいくことはまずありません。次の回し方で、3〜5回繰り返すのが普通です。

1. 用意した10〜20件を、指示書といっしょにエージェントに渡す。
2. 出力を、先に作った「期待する結果」と1件ずつ照らし合わせる。合っていた件数、間違えた件数、間違え方を記録する。
3. 間違え方を見て、指示書のどの項目が足りなかったかを考える。「料金と資料請求を混同した」なら判断基準の語句を足す、「勝手に送信文を作った」なら禁止事項を足す、など。
4. 指示書を直して、同じ10〜20件でもう一度試す。前回より良くなったかを件数で確かめる。

この繰り返しで、人の手直しが全体の1〜2割以下になれば、試作としては合格ラインです。ゼロを目指す必要はありません。残りは人が直す前提で、ステップ06の安全対策に進みます。

記録を残す

試した日付、使った指示書、件数、結果、直した点を毎回残します。あとでステップ07の評価や、他の人への説明に使います。「なんとなく良くなった」ではなく、「20件中、正解が12→17→19件になった」と言えるようにしておきます。

2自社に当てはめて考える

1. 試作に使うデータを10〜20件用意する。本物を使う場合は、ステップ04で決めたとおり伏せ字などの処理をする。
2. 1件ずつ「期待する結果」を自分で書く（正解表）。
3. 下の記入欄で指示書の7項目を書く。ステップ03の分解シートから手順と判断を写してくる。
4. エージェントに渡して試し、結果を正解表と照らし、試行記録に残す。
5. 指示書を直して繰り返す。手直しが1〜2割以下になったら、このステップは完了。

3自社の情報を記入する — 指示書・試行記録

指示書は7項目で書きます。ステップ03の分解シートから、手順と判断を写してください。 入力は自動でこのブラウザに保存されます。保存しました

4次へ進む条件

次の項目にすべてチェックが入ったら、このステップは完了です。完了にすると、トップページと一覧に印がつき、進み具合として記録されます。

• 試作に使うデータ10〜20件と、その正解表を用意した
• 指示書の7項目を書いた（特に「やってはいけないこと」「迷ったら」）
• 3回以上試し、毎回の結果を件数で記録した
• 人の手直しが全体の1〜2割以下になった（または、ならない理由が分かっている）

ステップ05は完了です。次のステップ06「安全に動かす」へ進んでください。