第38回
作らせたAIに「これで大丈夫?」と聞いてはいけない理由
芳村裕太 · LLC Rip.D
- 営業マネージャー
- AI
- 品質
地方中小企業の AI 導入・活用支援をしているLLC Rip.D(リップ)代表の芳村です。
このブログは営業チームのマネージャー・経営者さまに向けて書いています。
営業領域20年超の現場経験とプロのエンジニアのもとで学んだ AI に関する専門的な知見を融合して、事業活動のお役に立つ情報を「現場の言葉」でわかりやすくお伝えしています。
AIに提案書の構成を作ってもらった。ざっと読んで悪くなさそうだったので、念のため「この内容で大丈夫ですか」と続けて聞いてみる。返ってきたのは「はい、よくまとまっています」という答えだった。
安心してそのまま持って行ったところ、上司から「この前提だと、今回のお客様には合わないのでは」と一言。読み返すと、たしかにそのとおりだった。
この記事でわかること
- AIに確認を頼んでも、なぜ指摘が出てこないのか
- 「大丈夫です」という答えを、どこまで信じてよいか
- 見落としを拾うために、誰に見てもらえばいいのか
AIは、自分が書いたものを正しいものとして扱う
結論からお伝えすると、AIは自分が直前に出した内容と「つじつま」を合わせようとする性質があります。悪気があるわけではなく、そういう仕組みになっているのだと考えたほうが理解しやすいと思います。
同じやり取りの流れの中で「大丈夫ですか」と聞かれると、AIにとってそれは他人の成果物ではなく、自分がさっき書いたものです。人間でも、自分の書いた文章を自分で読み直しても「他者から指摘されそうな部分」を見つけるのは難しい。だから他の人に「これどう思う」と聞くわけですが、AIに確認を頼むとき、私たちはその工程を無意識に飛ばしてしまっています。
厄介なのは、返ってくる答えが自信たっぷりに見えることです。「よくまとまっています」と言い切られて、そのまま安心してしまったことはないでしょうか?
その答えは、検証の結果ではない
もう少し踏み込むと、AIに確認して返ってきた答えは内容を検証した結果というより、会話の流れとして自然な返答だと捉えたほうが実態に近い。
これは、AIが嘘をついているわけではありません。同じ話の続きとして「矛盾しない答えを返しているだけ」。つまり、答えの中身を疑うより、そもそも今の聞き方では検証が起きていないと考えるほうが正確です。
人間でも同じことが起こります。自分で時間をかけて作った資料を自分で何度見直しても、会議で指摘されるようなクリティカルな改善点はまず出てきません。「誰に見せるか」で、出てくるものが変わるのです。
頭が新しい相手に、素材だけ渡す
では、どうすれば見落としが出てくるのか。効くのは、AIにその経緯を持たせないことです。
同じAIでも、それまでのやり取りを共有していない状態なら、目の前の文章は「他人が書いたもの」になります。つじつまを合わせる相手がいないので、素直に意見もくれるし指摘もしてくれる。書いた本人ではなくなった瞬間に、見えるものが変わるということです。
商談前の提案書でも、経営層に上げる月次の報告でも、起きていることは同じです。作った流れを一緒に見てきた相手には、その流れの外側にある見落としが見えません。会議で他部署の人から出る指摘が痛いところを突いているのは、その人だけが経緯の外にいるからだと考えてみるとわかりやすいかもしれません。
やり方そのものは難しくありません。「経緯を切り離した状態」を作るだけで、手間もほとんどかかりません。
今日から始める小さな一歩
AIに作らせたもののうち、そのままお客様や上司に出す予定のものが1つあれば、新しいチャットを開いて本文だけを貼り、「気になる点を3つ挙げてください」と聞いてみてください。
コツは2つあります。1つは、良し悪しを尋ねないこと。数を指定すると、探しに行かざるを得なくなります。もう1つは、どこを見てほしいかを一言添えること。抜け漏れなのか、お客様目線での違和感なのか、数字の整合なのか。人に目を通してもらうときと同じで、見てほしいところを伝えたほうが良い指摘が返ってきます。この一手間で良い気づきが得られる可能性が上がりますし、仮に1つも当たらなければそれで安心もできます。
まとめ
作った本人(AI)に確認を頼んでいる限り、返ってくるのは検証の結果ではなく会話の続き。見落としは、なかなか出てきません。
確認は、作った本人に頼まない——AIも人も、同じ——これが今日の takeaway です。
