使い方の改善サイクルを回す。プロンプトの添削とフィードバック

使い始めて半年経った人の使い方を見てみると、最初の頃とまったく変わっていないことがあります。
1年前と同じ書き方で、同じ質のものを出し続けています。
本人のほうは、改善の必要をまったく感じていません。
「いまのままで、使えているから」というわけです。

ただ、他の人と比べてみると、そこには明らかな差があります。
今回は、プロンプトの改善サイクルを組織として回していく話を書いていきます。
品質を組織でそろえる全体像はAIアウトプットの品質を組織でそろえる。標準化とレビュー体制にまとめてあります。

使い方が上達しないまま止まる。だから添削を仕組みにする

なぜ止まってしまうのでしょうか？
理由は3つあります。

出てきたものが一応使えているので、改善の動機がそもそも生まれません。
他の人の使い方が見えないので、自分の水準がどのあたりなのか分かりません。
良くしたいと思ったところで、では何を変えればよいのかが分かりません。

もっとも大きいのが、比較の対象がないという点です。
比較の対象がないからこそ、現状で足りていると感じてしまいます。
上達している人との差は、放っておくと広がっていきます。
上達している人は、より複雑な業務を任せられるようになるからです。

だからこそ、比較と改善の経路のほうを作ります。
これが、この記事で書く対処の中心になります。

やることは、自分が書いた指示について改善点を挙げさせることです。
要点は観点を指定することで、「この指示について、より良い結果を得るための改善点を3つ挙げてください」という形で依頼します。

「7項目のうち何が入っているか」も確認させます。
役割と前提、出力形式、段階、参照範囲、不明を許す、複数案、否定形を使わない、の7つです。
足りない項目を足した版を、そのまま書かせます。

元の版と改善版の両方で試して、結果を比べます。
説明を読むより結果の違いを見るほうがはるかに定着するので、ここが最も効くところです。
その改善版のほうを保存しておき、次からはその改善版を使うと、改善が蓄積していきます。
プロンプトの作法そのものは全社共通のプロンプト作法を決める。押さえるべき7つの基本にまとめてあります。

やり取りの履歴から学ぶと、自分の癖が見える

もう一段深い使い方は、どこにあるのでしょうか？
1つの業務についてのやり取り全体を渡して、それを振り返らせます。
指示の書き方は「このやり取りを振り返って、最初の指示に何を入れておけば往復が減ったかを教えてください」という形です。
往復の回数そのものが、改善の材料になります。

情報が足りなかったのか、形式を指定していなかったのか、あるいは段階に分けていなかったのか。
そこから「最初の指示に入れておくべきだった情報」が分かります。
同じ業務で次回使う指示を、それまでの往復の内容まで含んだ完成版として作らせます。

この方法がもっとも実務的なのは、実際に困った経験から改善していくので、そのぶん身につくからです。
もう1つの使い方は、自分が書いた指示を複数まとめて渡して、その傾向を挙げさせることです。
指示の書き方は「これらの指示に共通する改善点を挙げてください」という形で、そこから「自分の癖」が見えてきます。

よくある癖としては、出力形式を指定しない、読み手を書かない、分量を指定しない、否定形で書く、段階に分けない、といったあたりです。
その癖は、5つを同時に直そうとすると意識のほうが分散してしまうので、1つずつ直していきます。
今月直す癖は1つだけ決めておくと、1か月で1つならきちんと変わります。

1か月後には、直ったかどうかを新しく書いた指示のほうで確かめます。
段階に分ける設計は複雑な業務をAIに任せる指示設計。段階に分けて考えさせるにまとめてあります。

フィードバックを勉強会の教材にして、添削の場をつくる

組織としての活用は、どう進めればよいのでしょうか？
ここが、もっとも効率的な教育になります。

やることは、実際の指示の改善例を勉強会の教材にすることです。
本人の同意を必ず先に得たうえで、改善前と改善後を結果の違いも添えて並べて見せます。
なぜ改善したのか、どの項目が足りていなかったのかも、あわせて説明します。

参加者には、説明を聞いたあとに自分の指示を書き換えてもらいます。
ここが、定着するかどうかの条件になります。

うまくいっている人の指示のほうも、教材にします。
改善例より、既に良い指示のほうが参考になることがあるからです。
その両方を使うと、改善例で「何が足りないか」を学び、良い指示で「どう書くか」を学べます。

もう1つ、人からのフィードバックの経路も作っておきます。
月に1回、指示を持ち寄って見せ合う場です。
時間は30分で、参加者は5〜8人ほどです。
各自が自分の指示を1つ持ってきて、他の人が改善点を挙げます。

他の人の指示を見ること自体が、もっとも効きます。
自分では思いつかない書き方が、そこで見えてくるからです。
同じ業務の人同士だと、より参考になるので、職種別に分けて開催します。

うまくいっている人を、1人入れておきます。
その人の指示が、そのまま基準になるからです。

持ってくる指示は、うまくいっていないものにします。
うまくいっている指示を見せ合うより、困っているものを持ち寄るほうが、学びが大きいからです。
プロンプトを書けない人への対処はプロンプトを書けない人を置いていかない。作成を民主化するにまとめてあります。

改善が起きたかを測る

改善は、どう測ればよいのでしょうか？
効果の確認は3つの指標で行います。
指示の中の項目数、往復の回数、保存されている指示の数です。

7項目のうち何項目が入っているかを見て、5項目以上入っていれば身についています。
測り方は、月に数件、使われている指示を見せてもらって項目数を数えます。
もっとも本質的なのが往復の回数で、減っているのならそれだけ時間が短くなっているということです。

あわせて「1回で使える形が出てくる割合」も見ておきます。
つまり、修正がまったく不要だった割合です。

本人にも直接、「3か月前と比べて、使い方は変わりましたか」と聞いてみます。
変わったと答えるのであれば、それは改善しているということです。
個人の成長サイクルそのものはAIを自分の指導役にする。個人の成長サイクルを組織が支援するにまとめてあります。

改善は強制せず、業務の成果で判断する

この施策には、どんな注意点があるのでしょうか？
改善を評価の項目にしてしまうと、形式的な報告ばかりが増えます。

現状のままで足りている人も、もちろんいます。
使い方が単純であっても、業務そのものが回っているのであれば問題はありません。
上達の速度には個人差があり、同じ支援をしたところで伸びる人と伸びない人がいます。

だからこそ、支援を用意しておいて、使うかどうかは本人に任せます。
支援を使わない人を責めはしませんが、業務の成果のほうが出ていない場合は別の問題として扱います。

上達しなくても業務が回っている状態も、認めておきます。
すべての人が高度な使い方をする必要は、まったくないからです。

判断の目安になるのは、あくまで業務の成果です。
成果が出ているのであれば、使い方そのものは問いません。
校正やチェックの工程は校正・チェック工程を標準化する。誤字から論理矛盾・数値照合までにまとめてあります。

つまずきやすいのは、改善の動機を作らない、比較の対象を見せない、癖を5つ同時に直そうとする、うまくいっている指示だけを見せ合う、改善を評価の項目にする、上達しない人を責める、の6つです。
どれも比較と改善の経路を作って、他の人の指示を見せて、1つずつ直して、困っている指示を持ち寄って、評価には直接使わず、業務の成果で判断すれば避けられます。

比較の対象を手元に置くなら、私たちが提供している組織のAIポータル「AI Portalize」で、検証済みの見本500以上から自分の業務に近いものを探し、自分の指示と見比べることができます。

上達は、比較と改善の経路があるかで決まる

使い方が上達しないのは、現状で足りていると感じる、比較の対象がない、改善の方向が分からない、この3つが原因です。
添削の中心は、自分の指示の改善点を挙げさせて改善版で試し、結果を比べて保存しておくことです。
やり取りの履歴から学ぶのが、もっとも実務的です。
「最初の指示に何を入れておけば往復が減ったか」を聞けば、実際に困った経験から改善するので身につきます。

自分の癖は、複数の指示をまとめて渡して共通する改善点を挙げさせれば見えてきます。
今月直す癖を1つ決めて、1か月後に結果を確認します。

組織としては、指示の改善例を勉強会の教材にし、月1回指示を持ち寄る場も作ります。
測るのは、指示の項目数、往復の回数、保存されている指示の数の3つです。
この改善は強制せず、支援だけを用意しておいて使うかどうかは本人に任せます。
判断の目安は、あくまで業務の成果です。

まずは自分がよく使う指示を1つ渡して、改善点を3つ挙げさせるところから回してみてください。